← Tất cả các tuần · Phase 4: Suy luận & Chẩn đoán · khoảng 270 phút

Tuần 9: Tương quan, nhân quả và bias

Bản nháp, đang chờ duyệt nội dung

Phase 4 chuyển từ “chuyện gì đã xảy ra” sang “vì sao nó xảy ra” và “có thật không”. Đây là phase quan trọng nhất cho người làm business: phần lớn quyết định sai đến từ một kết luận nhân quả không có cơ sở.

Bài 9.1. Tương quan không phải nhân quả [7]

Hai biến cùng tăng giảm (tương quan) có thể vì:

1. A gây ra B (nhân quả thật).
2. B gây ra A (đảo chiều): cửa hàng bán chạy nên được cấp thêm ngân sách quảng cáo, chứ không phải quảng cáo làm bán chạy.
3. Một biến thứ ba C gây ra cả A và B: đây là confounder (biến gây nhiễu).
4. Tình cờ, nhất là khi dữ liệu ít hoặc thử rất nhiều cặp biến.

Ví dụ confounder: khách dùng app chi tiêu nhiều hơn khách không dùng app. App làm khách chi nhiều hơn? Có thể, nhưng cũng có thể khách trung thành vừa hay cài app vừa hay mua nhiều. “Mức trung thành” là confounder.

Bẫy so sánh trước/sau: “sau khi ra mắt tính năng, doanh thu tăng 15%”. Nhưng trong cùng giai đoạn còn có mùa vụ, khuyến mãi khác, đối thủ thay đổi giá… So trước/sau mà không có nhóm so sánh thì không tách được tác động của tính năng.

Bài 9.2. Sampling và các loại bias [7]

Sampling (lấy mẫu) là chọn một phần để suy ra toàn bộ. Mẫu chỉ đáng tin khi nó đại diện cho tổng thể. Sampling bias xảy ra khi cách chọn mẫu làm mẫu khác tổng thể một cách có hệ thống. Mẫu lớn không sửa được sampling bias.

Ví dụ kinh điển về survivorship: trong Thế chiến II, người ta định gia cố những chỗ trên máy bay trở về có nhiều vết đạn. Abraham Wald chỉ ra: phải gia cố chỗ không có vết đạn, vì máy bay trúng đạn ở đó đã không trở về.

Bài 9.3. Regression to the mean [7]

Kết quả quan sát = năng lực thật + may rủi. Khi chọn ra các đối tượng cực đoan (tệ nhất hoặc tốt nhất), ta chọn trúng cả những đối tượng đang gặp may rủi cực đoan. Kỳ sau may rủi không lặp lại, nên kết quả tự quay về gần mức trung bình, dù không ai làm gì cả.

Ví dụ: chọn 10 cửa hàng có doanh số tệ nhất tháng này để đào tạo lại. Tháng sau cả 10 cửa hàng đều cải thiện. Đào tạo có hiệu quả không? Chưa biết: một phần (có khi toàn bộ) mức cải thiện là regression to the mean.

Bài 9.4. Randomization: nhóm control và treatment [7]

Cách mạnh nhất để chứng minh nhân quả là thí nghiệm có chia ngẫu nhiên:

• Treatment: nhóm nhận can thiệp (được đào tạo, thấy giao diện mới).
• Control: nhóm không nhận can thiệp, nhưng mọi thứ khác giống hệt.
• Chia ngẫu nhiên (randomization): mỗi đối tượng được tung đồng xu để vào nhóm nào.

Vì chia ngẫu nhiên, mọi confounder, kể cả những thứ ta không đo được (mức trung thành, tính cách, may rủi), được phân bổ gần đều giữa hai nhóm. Khác biệt sau thí nghiệm khi đó chủ yếu do can thiệp.

Thực hành: EDA end-to-end với Titanic [7]

EDA (exploratory data analysis) là quy trình khám phá có kỷ luật:

1. Câu hỏi: điều gì liên quan đến khả năng sống sót?
2. Giả thuyết: “phụ nữ và trẻ em được ưu tiên lên xuồng”, “hạng vé cao gần xuồng cứu sinh hơn”.
3. Bằng chứng: tính tỷ lệ, so sánh nhóm, vẽ chart.
4. Kết luận: ghi rõ đây là tương quan hay có cơ sở nhân quả, và confounder nào có thể có.

Dữ liệu: titanic.csv, 891 hành khách. Cột chính: survived (1 = sống sót), pclass (hạng vé 1–3), sex, age, fare.

Viết kết luận của bạn trước khi đọc tiếp. Gợi ý: hạng 1 có tỷ lệ nữ cao hơn hạng 3, nên một phần chênh lệch theo hạng vé là do giới tính (confounder). Nhưng ngay cả khi tách theo giới tính, hạng 1 vẫn sống sót nhiều hơn, nên hạng vé có liên quan riêng. Đây vẫn là tương quan: hạng vé đi kèm vị trí cabin, sự giàu có, tiếng nói… ta không tách được nguyên nhân cụ thể.

Luyện tập tình huống

Tóm tắt tuần

• Tương quan có thể do nhân quả, đảo chiều, confounder hoặc tình cờ. Ghi rõ “tương quan” hay “nhân quả”.
• Bias: selection, survivorship, confirmation, thiếu không ngẫu nhiên. Mẫu lớn không sửa được bias.
• Chọn đối tượng cực đoan → regression to the mean → cần nhóm control.
• Chia ngẫu nhiên làm confounder phân bổ đều: cách mạnh nhất để kết luận nhân quả.