Tìm kiếm sự khôn ngoan từ Darwin tới Munger: Sự tin cậy của bằng chứng tình huống

TÁM

SỰ TIN CẬY CỦA BẰNG CHỨNG TÌNH HUỐNG

Các xác suất trước đó

Trên bàn ăn tối, John nói với Mary: “Một trong các nhân viên của chúng ta vừa bị bắt hôm nay vì ăn trộm, cô ta nói cô ta chưa bao giờ làm thế trước đây và sẽ không bao giờ tái phạm.”

Có bao nhiêu khả năng cô ta chưa bao giờ làm nó trước đây? Hãy nhìn vào xác suất ăn trộm trước đó, xem xét ví dụ, một sự kiện hay thuộc tính có tỉ lệ xuất hiện cơ bản là bao nhiêu hay cụ thể đến mức nào, có tính đại diện đến mức nào.

Charles Munger nói với chúng ta cách John nên suy nghĩ:

Nếu bạn dự định bắt 10 vụ tham ô một năm, bao nhiêu cơ hội để bất kỳ vụ nào trong số đó – áp dụng những gì mà Tversky và Kahneman gọi là thông tin về tỷ lệ xuất hiện cơ bản – có người chỉ đã làm điều đó một lần? Và những người đã từng làm điều này trước đó định tái phạm, họ muốn nói gì? Trong lịch sử của công ty, họ luôn luôn nói, “Tôi chưa bao giờ làm điều đó trước đây, và tôi sẽ không bao giờ tái phạm nữa.” Và chúng ta giữ tiền của họ lại. Đó có thể không phải là độc ác, nhưng hành vi kinh khủng đó sẽ lan rộng.

Việc xác định nhân chứng nhìn thấy hay bằng chứng DNA có nghĩa là người này có tội? Một xét nghiệm y học dương tính có nghĩa là người này đã mắc bệnh?

Trong thế kỷ 18, nhà toán học kiêm bộ trưởng Anh Thomas Bayes đã tạo ra một phương pháp đánh giá bằng chứng. Nhà toán học Pháp Pierre Simon de Laplace tạo cho phương pháp này một vỏ bọc hiện đại. Định lý Bayes khiến ta có thể cập nhật xác suất trước đó của một kết quả trong ánh sáng của bằng chứng mới. Nó rất dễ dùng nếu chúng ta thay đổi định dạng xác suất sang định dạng tần suất.

Hãy sử dụng định lý Bayes trong phiên bản đã sửa chữa của bài toán thuê xe cổ điển, nguyên bản được các nhà tâm lý học Daniel Kahneman và Amos Tversky phát triển.

John làm chứng trong phiên tòa: “Tôi đã chứng kiến vụ tai nạn và chiếc xe tham gia có màu xanh lá.”

Cái nhìn của John được kiểm tra độ tin cậy và các bài kiểm tra thiết lập thấy anh ấy có thể xác định đúng màu sắc xanh lá 8 trong số 10 lần. John đã nói “xanh lá” trong 8 trên 10 trường hợp khi có gì đó màu xanh lá và nói “xanh lá” 2 trong 10 trường hợp khi có thứ màu xanh da trời. Có nghĩa là John xác định sai màu 2 trong số 10 lần.

John làm nhân chứng chứng kiến sự việc thì đáng tin bao nhiêu? Bằng chứng nhân chứng luôn chứa mức độ không chắc chắn. Cũng nên nhớ rằng độ tin cậy của bất kỳ quan sát nào không chỉ phụ thuộc vào độ tin cậy của người quan sát – thậm chí nếu John có con mắt tốt – mà còn bởi có bao nhiêu khả năng quan sát của anh ta là đúng với các xác suất trước đó.

Trước hết chúng ta hỏi: Xác suất trước đó của đầu ra là gì? Một sự kiện trước đó chắc chắn bao nhiêu khi dùng để xem xét bằng chứng mới? Mức độ chắc chắn là bao nhiêu để một chiếc xe màu xanh lá tham gia vào vụ tai nạn trước khi ta xem xét bằng chứng của John? Giả sử tần suất tương đối (tỷ lệ các xe với một màu sắc nhất định trong một quần thể cụ thể tại một điểm cụ thể trong chuỗi thời gian) của những chiếc xe màu xanh da trời và màu xanh lá cho chúng ta thông tin về xác suất tham gia tai nạn trước đó. Tỷ lệ những chiếc xe màu xanh da trời và màu xanh lá trong tất cả các loại xe tại thời điểm của tai nạn là bao nhiêu? Giả sử có tổng số 100 chiếc xe trong thành phố. 90 màu xanh da trời và 10 xanh lá. Có nghĩa là xác suất trước đó để chiếc xe tham gia vào tai nạn có màu xanh lá là 10% (10 xe xanh lá trong số 100 xe).

Xác suất (sau đó – sau khi xem xét bằng chứng tình huống) chiếc xe xanh lá mà John đã nói nó màu xanh lá là bao nhiêu?

	Màu xanh lá đã cho	Màu xanh da trời đã cho	Tổng số
John nói “xanh lá”	8 xe (10 x 0.8)	18 xe (90 x 0.2)	26

Nếu 10 trong số 100 xe là xanh lá và John đúng 8 trong 10 lần, thì anh ấy đã xác định 8 chiếc có màu xanh lá. Nếu John nói chiếc xe màu xanh lá và nó không có màu xanh lá, thì anh ấy có lẽ đã xác định 18 trong số 90 chiếc xanh da trời thành xanh lá. Trong số 26 chiếc xe John đã xác định là xanh lá, chỉ có 8 chiếc có màu xanh lá. Có nghĩa là xác suất chiếc xe xanh lá mà John làm chứng trong “chiếc xe tham gia có màu xanh lá” là 31% (8/26). Vậy chiếc xe tham gia có nhiều khả năng là màu xanh da trời hơn.

Trước khi John làm chứng, xác suất trước đó để chiếc xe tham gia có màu xanh lá chỉ là 10%. Khi anh ấy làm chứng “xanh lá”, xác suất đã tăng lên 31%.

“Dựa trên các vụ tai nạn có xe tham gia trong 50 năm, với cùng tỷ lệ màu sắc đã cho, có 3 trên 4 lần chiếc xe tham gia có màu xanh lá.”

Độc lập với tần suất các chiếc xe màu xanh lá và xanh da trời, xác suất tương ứng trước đó là bằng chứng từ các vụ tai nạn trong quá khứ. Cái chúng ta  muốn là bằng chứng đúng để đại diện cho cái có thể xảy ra trước khi chúng ta xem xét bằng chứng mới.

Khi chúng ta có bằng chứng đại diện mới, chúng ta phải cập nhật lại xác suất đại diện trước đó. Hãy hỏi: Chuyện gì xảy ra với các trường hợp tương tự trong quá khứ? Có lý do nào để sửa lại xác suất này không? Hoàn cảnh hay môi trường đã thay đổi? Càng không chắc chắn bao quanh một trường hợp cụ thể, càng nhấn mạnh chúng ta phải tập trung vào xác suất trước đó.

Bằng chứng mạnh thế nào?

Một yếu tố khi đánh giá bằng chứng là tỷ lệ trùng hợp ngẫu nhiên. Nó trả lời cho câu hỏi: Xác suất là bao nhiêu cho một người khác chứ không phải người bị tình nghi này, ngẫu nhiên được chọn, phù hợp với hồ sơ này? Ví dụ, khi đánh giá bằng chứng DNA, sự phù hợp ngẫu nhiên xảy ra khi 2 người khác nhau có chung một hồ sơ DNA.

Sau 5 ngày tìm kiếm, cảnh sát đã tìm thấy người phụ nữ bị siết cổ đến chết. Anh của John, Bill, bị xét xử vì tội giết cô ấy.

Có sự phù hợp trong hồ sơ DNA. Bằng chứng pháp y chống lại Bill là mẫu máu và mô lấy từ hiện trường vụ phạm tội, nó phù hợp với Bill. Có thể Bill hay ai đó khác đã để lại bằng chứng.

Xác suất trùng hợp ngẫu nhiên là bao nhiêu? Có bao nhiêu khả năng có sự phù hợp xảy ra giữa hồ sơ DNA tìm thấy tại hiện trường của vụ giết người và một người được chọn ngẫu nhiên? Có bao nhiêu khả năng hồ sơ của Bill phù hợp với hồ sơ của kẻ đã để lại bằng chứng tại hiện trường? Hồ sơ đó có hiếm không? Hồ sơ càng hiếm, xác suất hồ sơ của Bill phù hợp do ngẫu nhiên càng thấp.

Nhân chứng là chuyên gia y học của bên truy tố ước lượng (ước lượng về tần suất hồ sơ trong quần thể so sánh phù hợp nhất) xác suất để có sự phù hợp như vậy nếu Bill vô tội và sự phù hợp là trùng hợp ngẫu nhiên, chỉ bằng 1 trên 20,000. Có nghĩa là cứ mỗi 20,000 cá nhân, chỉ có 1 người có cùng hồ sơ DNA như cái đã tìm thấy tại hiện trường vụ giết người. Công tố viên biện hộ: “Chỉ có một trong 20,000 cơ hội ai đó khác Bill ngẫu nhiên có cùng hồ sơ với cái đã tìm thấy trong hiện trường vụ giết người. Xác suất do đó chỉ là 1 trên 20,000 để ai đó khác ngoài Bill bỏ lại bằng chứng.” Con số này có ảnh hưởng quan trọng tới phương tiện truyền thông và bồi thẩm đoàn. Bill bị cho là có tội và bị đề nghị án chung thân.

Phán xét đã sai ở đâu? Công tố viên làm mập mờ 2 khả năng. Xác suất Bill vô tội nhưng cho ra có sự phù hợp không giống với xác suất mà có sự phù hợp nhưng Bill vô tội. Công tố viên nên nói: “Xác suất là 1 trên 20,000 để ai đó khác Bill có thể bỏ lại cùng mẫu máu và mô như đã tìm thấy trong hiện trường vụ phạm tội.”

Bồi thẩm đoàn cũng cần xem xét các xác suất trước đó của tội phạm (trước khi đánh giá về bằng chứng pháp y được xem xét. Xác suất mà Bill là kẻ giết người không thể chỉ được tính từ duy nhất bằng chứng pháp y. Bằng chứng khác cần được xem xét. Sự rõ ràng của bằng chứng pháp y luôn phụ thuộc vào các bằng chứng khác. Cảnh sát có dữ liệu khác nào? Ai đó khác biết về Bill? Anh ấy có bằng chứng ngoại phạm không? Anh ấy có ở gần hiện trường vụ phạm tội không? Mỗi mẩu bằng chứng phải được xem xét với nhau, chứ không tách biệt. Có lẽ cũng có lời giải thích không liên quan đến phạm tội về lý do tại sao Bill bỏ lại mẫu máu và mô.

Dựa trên bằng chứng trước khi xem xét bằng chứng pháp y, bồi thẩm đoàn ước tính có 10% khả năng Bill là nguồn gốc của bằng chứng pháp y (90% anh ta không phải và do đó vô tội). Xác suất của sự phù hợp khiến Bill là tội phạm là 1 (con số nhạy cảm là 100%, ví dụ không có các kết quả sai âm tính) vì nếu Bill là nguồn của bằng chứng pháp y và kiểm tra trong phòng thí nghiệm là chính xác, hồ sơ DNA của anh ta sẽ phù hợp. Kết hợp nó với xác suất phù hợp ngẫu nhiên của một cơ hội trong 20,000 (hồ sơ DNA của anh ấy cho thấy ở hiện trường phạm tội chỉ do ngẫu nhiên) cho ra xác suất sau đó để Bill là nguồn gốc của bằng chứng pháp y là 99.96% (0.1/0.100045).

	Phạm tội	Vô tội	Tổng số
Phù hợp	0.1 (10% x 100%)	0.000045 (90% x 1/20,000)	0.100045

Một cách xác định xác suất trước đó là hãy hỏi: Kẻ giết người có thể đến từ cộng đồng nào? Chúng ta cần biết cộng đồng so sánh phù hợp để ước lượng con số này. Vụ giết người xảy ra trong một thành phố 500,000 người. Giả sử bất kỳ ai trong thành phố cũng có thể là tội phạm. Một trong số họ là kẻ giết người. Trong số 499,999 người vô tội, chúng ta có thể hi vọng khoảng 25 người có DNA trùng hợp ngẫu nhiên. Có nghĩa là 26 người (25+ kẻ giết người) có thể là tội phạm. Vì Bill là một trong 26 người này, xác suất để anh ta là tội phạm với bằng chứng pháp y đã đưa ra, là 3.8% (1/26).

Nhưng điều đó có thực sự đúng không? Chỉ đúng nếu tất cả mọi người có xác suất phạm tội là ngang nhau. Ví dụ, tất cả họ đều cùng đi vào hiện trường vụ phạm tội.

Lựa chọn cộng đồng so sánh phù hợp cũng gây ra vấn đề. Nhân chứng là chuyên gia ước lượng xác suất phù hợp ngẫu nhiên như thế nào? Tỷ lệ thực sự trong hồ sơ này là bao nhiêu? Xác suất phù hợp ngẫu nhiên có nghĩa là hồ sơ này chỉ xảy ra ở một người trong số 20,000 cá nhân? Không, tần suất được tính toán chỉ là một ước lượng có thể sai theo một hướng nào đó.

Bằng chứng DNA cũng dễ dàn dựng tại hiện trường vụ phạm tội hơn vân tay chẳng hạn (Bằng chứng DNA dễ sản xuất hay dễ bóp méo hơn). Trong cuốn Scientific Conversations (Đối thoại khoa học) của Claudia Dreifus, nhà toán học pháp y Charles Brenner nói về trường hợp O.J.Simpson và bằng chứng DNA: “Bên bị đã làm gì đó rất thông minh từ quan điểm DNA: Họ nói bằng chứng được ngụy tạo. Chiến lược cơ bản của họ là thậm chí nếu nó phù hợp, nó vẫn phải là sự ngụy tạo. Họ từ bỏ chiến lược không công nhận bằng chứng DNA. Rõ ràng có sự phù hợp trong máu. Họ không bao giờ từ chối nó.”

Trong phiên tòa O.J.Simpson, bên bị biện luận rằng ít hơn 1 trên 1,000 kẻ lạm dụng vợ giết chết vợ mình. Do đó bằng chứng lạm dụng là không hợp lý và không nên thừa nhận trong một phiên tòa xử tội giết người. Nhưng xác suất phù hợp không phải là xác suất một người lạm dụng vợ mình rồi sau đó giết cô ấy. Cộng đồng so sánh tương đương cần xem xét là các bà vợ bị chồng họ lạm dụng rồi sau đó bị ai đó giết. Do đó, câu hỏi tương đương sẽ là: Xác suất một người giết người vợ được cho là anh ta đã lạm dụng và cho là cô ấy bị ai đó giết là bao nhiêu? Và Nicole Brown Simpson bị giết, chứ không chỉ bị lạm dụng.

John Allen Paulos nói trong cuốn Innumeracy (Phi số học), cho trước các thực tế hợp lý về giết người và lạm dụng, nó cho thấy nếu một người lạm dụng vợ mình hay bạn gái mình và sau đó cô ấy bị giết, kẻ lạm dụng là kẻ giết người chiếm 80%. Nhưng nó không có nghĩa là xác suất một người chồng hay bạn trai phạm tội giết người là 80%. Nó chỉ là một phần bằng chứng giữa nhiều cái cần được xem xét.

Lỗi xảy ra trong kiểm tra?

Vâng, một kiểu lỗi gọi là sai dương tính và sai âm tính. Sai dương tính giống như một cảnh báo sai. Sai âm tính là mất tác dụng thực tế. Ví dụ, vài yếu tố có thể ảnh hưởng đến độ tin cậy của kết quả kiểm tra y tế và gây ra sai dương tính là: độ chính xác lâm sàng của phương pháp kiểm tra (so sánh với vài “chuẩn vàng”), sự chuẩn bị của bệnh nhân, điều kiện y tế, phép trị liệu và lỗi thí nghiệm. Người ta cũng có thể gây ra lỗi khi chọn lọc và xử lý các mẫu, trong việc dịch các kết quả kiểm tra hay trong báo cáo kết quả kiểm tra một cách đúng đắn.

John kiểm tra dương tính với một bệnh hiếm có tỷ lệ tử vong 80%. Anh ấy đã sợ hãi biết bao.

Cơ hội để ai đó (một người được chọn ngẫu nhiên và thuộc về cùng nhóm rủi ro với John) thực sự bị bệnh này với kết quả xét nghiệm dương tính cho trước là bao nhiêu?

Giá trị tiên đoán của kiểm tra phụ thuộc vào độ chính xác lâm sàng của kiểm tra và các xác suất trước đó hay tỷ lệ các cá nhân có bệnh này trong quần thể chúng ta kiểm tra tại một thời điểm cho trước (tỷ lệ hiện hành). Độ chính xác lâm sàng được tạo bởi độ nhạy cảm (tần suất kiểm tra dương tính mà kết quả lại là các mẫu âm tính) và đặc tính (tần suất kiểm tra âm tính nhưng cho kết quả là các mẫu dương tính).

Giả sử quần thể có 100,000 người.

Tần suất những người mắc bệnh trong quần thể là 0.1%, ví dụ một trong 1,000 người bị bệnh đó. Trước kiểm tra, John có 0.1% cơ hội bị bệnh và 99.9% cơ hội không bị bệnh. Nếu kiểm tra 100% chính xác, 100 người nên kiểm tra dương tính và 99,900 người nên kiểm tra âm tính. Đó là những xác suất trước đó.

Kiểm tra có độ nhạy 97% hay đó là tỷ lệ dương tính đúng. Có nghĩa là 97 trong 100 người bị bệnh sẽ kiểm tra ra kết quả dương tính là đúng. Cũng có nghĩa là 3 trong số 100 người bị bệnh cho ra kết quả âm tính là sai (sai âm tính).

Kiểm tra có 95% đặc tính hay đó là tỷ lệ đúng âm tính. Có nghĩa là 95 trong số 100 người không bị bệnh sẽ cho ra kết quả âm tính đúng. 5% là không đúng. 5% số người không bệnh hay 4,995 người kiểm tra cho ra dương tính sai (sai dương tính).

Vì John được thông báo kết quả là dương tính, thông tin anh ta cần là tần suất những người kiểm tra dương tính và mắc bệnh (đúng dương tính) và tần suất những người kiểm tra dương tính nhưng không mắc bệnh (sai dương tính).

	Bị bệnh	Không bị bệnh	Tổng số
Kiểm tra dương tính	97 (100 x 0.97)	4,995 (99,990 x 0.05)	5,092

Trong số mỗi 1,000 người thuộc về một nhóm có cùng rủi ro như John, chúng ta có thể hy vọng rằng có 19 người bị căn bệnh chết người này với kết quả kiểm tra dương tính (97/5,092). Xác suất để John bị mắc căn bệnh chết người này khi kết quả kiểm tra của anh ấy là dương tính là khoảng 1.9% hay rất thấp. Trong số 5,092 cuộc kiểm tra, hầu hết là sai dương tính, cho thấy họ bị bệnh khi thực tế không có bệnh đó.

Chuyện gì nếu một người kiểm tra ngẫu nhiên cho ra kết quả âm tính? Có 3 sai âm tính và 94,905 đúng âm tính, có nghĩa là nhiều hơn 99.9% cơ hội người đó không bị căn bệnh này.

Nhãn “đã kiểm tra dương tính” có thể đáng sợ nhưng nên nhớ rằng kiểm tra không phải là bệnh. Kiểm tra có thể rơi vào một nhóm sai dương tính. Nhưng tình huống xấu nhất là gì? Là thuộc về nhóm sai dương tính – bị chuẩn đoán là mắc bệnh nhưng thực tế không mắc, hay sai âm tính – bị chuẩn đoán là không mắc bệnh nhưng lại mắc?

Xác suất trước đó càng cao, hay căn bệnh càng phổ biến, kết quả đầu ra của kiểm tra càng đáng tin cậy. Ngược lại, xác suất trước đó càng thấp hay căn bệnh càng hiếm, kết quả kiểm tra càng không đáng tin cậy. Thậm chí một kiểm tra có độ chính xác cao cũng cho ra một kết quả không đáng tin cậy nếu nó kiểm tra một căn bệnh không phổ biến. Điều này cho thấy cá nhân bị kiểm tra không thuộc về nhóm người có nguy cơ cao bị bệnh đó.

Hãy hỏi: Tần suất người mắc bệnh là bao nhiêu trong quần thể so sánh tương đương trước khi tôi xem xét bằng chứng tình huống cụ thể? Kiểm tra y tế có độ chính xác bao nhiêu?

Lý luận trên có thể dùng để hỗ trợ đánh giá độ tin cậy của các bài kiểm tra chuẩn đoán hay các thủ tục sàng lọc. Vài ví dụ được sàng lọc hay chuẩn đoán của bệnh ung thư vú, ung thư tuyến tiền liệt, ung thư đại trực tràng, HIV hay dùng ma túy.

Ước lượng tần suất sai dương tính và sai âm tính cũng quan trọng khi đánh giá độ tin cậy của các bài kiểm tra nói dối (sử dụng trong thẩm vấn tội phạm hay khi sàng lọc nhân viên) và hệ thống định danh.

Trong các bài kiểm tra nói dối, sai dương tính xảy ra khi những người vô tội bị cho là dối trá. Sai âm tính xảy ra khi kẻ có tội bị xác định là không dối trá.

Trong các hệ thống định danh, sai dương tính khi hệ thống chấp nhận phù hợp trong khi không có sự phù hợp nào. Sai âm tính khi hệ thống thất bại trong nhận diện sự phù hợp dù thực tế có 1 sự phù hợp.

Xác suất sai dương tính cũng là một yếu tố để xem xét khi đánh giá giá trị các bằng chứng DNA. Có nghĩa là bồi thẩm đoàn trong trường hợp của Bill cũng cần quan tâm tới tỷ lệ sai dương tính. Bồi thẩm đoàn cần hỏi: Xác suất bao nhiêu để phòng thí nghiệm báo cáo có sự phù hợp giữa 2 mẫu không phù hợp? Một sự phù hợp được báo cáo không nhất thiết là một sự phù hợp thực sự trong thực tế. Lỗi có thể xảy ra. Giải thích có thể với sự phù hợp pháp y có lẽ bị sai do ô nhiễm (ngẫu nhiên hoặc cố ý), xử lý sai bằng chứng, hay đổi mẫu. Ví dụ, trong một vụ hiếp dâm, các nhà kỹ thuật của phòng thí nghiệm tội phạm cảnh sát Houston nói với bồi thẩm đoàn rằng họ tìm thấy sự phù hợp về DNA giữa DNA của kẻ hiếp dâm với người đàn ông bị tình nghi. Người đó bị kết án năm 1999 và bị đưa tới nhà tù thụ án 25 năm. Năm 2003, Sở cảnh sát Houston nói rằng DNA đó không phải từ người đàn ông bị kết án.

Khi đánh giá bằng chứng tình huống, chúng ta phải xem xét xác suất trước đó, xác suất của sự phù hợp ngẫu nhiên, và xác suất sai dương tính.

<< Phần 3: Chương BẢY

Phần 3: Chương CHÍN >>