Accuracy 99% mà không bắt được gian lận nào
← Tất cả các tuần · Phase 5: Dự báo · khoảng 270 phút
Tuần 13: Phân loại và hồi quy
Bản nháp, đang chờ duyệt nội dung
Sau tuần này bạn có thể:
- Đọc confusion matrix và chỉ ra model hay nhầm ở đâu.
- Cân nhắc chi phí của false positive và false negative theo từng bài toán.
- Tính precision và recall bằng tay từ confusion matrix.
- Đánh giá một model hồi quy bằng MAE so với baseline.
- Biết decision tree và logistic regression làm gì, ở mức một câu.
Video sắp có.
Audio tóm tắt tuần (NotebookLM) sắp có.
Tuần 12 hỏi “model có tốt hơn đoán bừa không?”. Tuần này hỏi sâu hơn: model sai kiểu gì, và kiểu sai đó tốn kém thế nào cho doanh nghiệp.
Bài 13.1. Confusion matrix và hai loại sai lầm [7]
Với bài toán hai lớp (có / không), mỗi dự đoán rơi vào một trong 4 ô:
| Dự đoán: Có | Dự đoán: Không | |
|---|---|---|
| Thực tế: Có | True positive (TP): bắt đúng | False negative (FN): bỏ sót |
| Thực tế: Không | False positive (FP): báo nhầm | True negative (TN): bỏ qua đúng |
Hai loại sai có chi phí khác nhau, tuỳ bài toán:
| Bài toán | Sai nào tệ hơn | Vì sao |
|---|---|---|
| Sàng lọc bệnh | False negative | Bỏ sót người bệnh nguy hiểm hơn bắt người khoẻ đi xét nghiệm thêm |
| Lọc email spam | False positive | Chặn nhầm email hợp đồng tệ hơn để lọt vài email rác |
| Phát hiện gian lận thẻ | Thường là FN | Bỏ sót gian lận gây mất tiền; nhưng FP quá nhiều làm khách khó chịu |
Ý chính bắt buộc: tuỳ bài toán mà ưu tiên giảm loại sai nào. Trước khi chọn model, hỏi: bỏ sót một ca tốn bao nhiêu, báo nhầm một ca tốn bao nhiêu?
Bài 13.2. Precision và recall [6]
- Precision = TP / (TP + FP): trong những ca model báo “có”, bao nhiêu % đúng? Precision thấp = nhiều báo nhầm.
- Recall = TP / (TP + FN): trong những ca thực tế “có”, model bắt được bao nhiêu %? Recall thấp = bỏ sót nhiều.
Thường không tối ưu được cả hai cùng lúc: hạ ngưỡng báo động thì recall tăng nhưng precision giảm. Chọn điểm cân bằng theo chi phí của bài 13.1.
Accuracy dễ đánh lừa khi dữ liệu mất cân bằng. Nếu chỉ 1% giao dịch là gian lận, model “luôn đoán không gian lận” đạt accuracy 99%, nhưng recall bằng 0: không bắt được ca nào.
Quay lại Iris: đọc confusion matrix để biết model hay nhầm loài nào với loài nào, rồi tự tính precision và recall.
Iris: confusion matrix, precision và recall
Hai loài hay bị nhầm là versicolor và virginica: kích thước cánh hoa của chúng chồng lấn nhau, còn setosa tách hẳn.
Bài 13.3. Hồi quy và MAE [6]
Linear regression (hồi quy tuyến tính) dự đoán một con số bằng tổng có trọng số của các feature: điểm chất lượng ≈ a × nồng độ cồn + b × độ chua + … Ưu điểm: đơn giản, dễ giải thích.
MAE (mean absolute error): trung bình độ lệch tuyệt đối. MAE = 0,5 nghĩa là trung bình đoán lệch 0,5 điểm. Dễ hiểu với người không làm kỹ thuật vì cùng đơn vị với đại lượng cần đoán.
Baseline cho hồi quy: luôn đoán giá trị trung bình của train.
Wine Quality: linear regression so với baseline
Linear regression giảm sai số từ khoảng 0,67 xuống 0,50 điểm. Có đáng không? Tuỳ mục đích: đủ để xếp loại sơ bộ, chưa đủ thay chuyên gia nếm rượu.
Bài 13.4. Decision tree và logistic regression [5]
- Decision tree: chuỗi câu hỏi có/không (“nồng độ cồn trên 10,5%? độ chua dưới 0,6?”) dẫn tới dự đoán. Dễ giải thích, dễ overfit nếu cây quá sâu.
- Logistic regression: dù tên là “regression”, dùng cho phân loại; cho ra xác suất thuộc lớp “có” (ví dụ 0,73 khả năng huỷ). Chọn ngưỡng (0,5 hay 0,2) để đổi xác suất thành quyết định, và ngưỡng đó chính là nơi đánh đổi precision với recall.
Câu hỏi nhanh
Luyện tập tình huống
Tình huống: model gian lận accuracy 99%
Bối cảnh. Đội IT báo cáo: 'Model phát hiện gian lận mới đạt accuracy 99% trên dữ liệu test, đề xuất đưa vào vận hành.' Tỷ lệ giao dịch gian lận thực tế khoảng 1%.
Câu hỏi. Con số 99% nói lên điều gì? Bạn cần hỏi thêm gì trước khi đồng ý?
Câu trả lời đã nộp sẽ được khoá lại, không sửa được.
Đáp án mẫu
- Baseline “luôn đoán không gian lận” đã đạt 99%, nên accuracy 99% chưa chứng minh model có giá trị.
- Cần hỏi: recall của lớp gian lận (bắt được bao nhiêu % ca gian lận thật?), precision (trong các cảnh báo, bao nhiêu % đúng?), confusion matrix đầy đủ.
- Quy ra tiền: mỗi ca bỏ sót mất bao nhiêu, mỗi cảnh báo nhầm tốn bao nhiêu công kiểm tra và làm phiền khách; chọn ngưỡng theo đó.
Tình huống: sàng lọc bệnh và lọc spam
Bối cảnh. Bạn được giao đánh giá hai model: (1) model sàng lọc sớm một bệnh nguy hiểm từ kết quả khám tổng quát; (2) model lọc email spam cho hộp thư công ty.
Câu hỏi. Với mỗi bài toán, nên ưu tiên giảm false positive hay false negative? Chỉ số nào nên theo dõi?
Câu trả lời đã nộp sẽ được khoá lại, không sửa được.
Đáp án mẫu
- Sàng lọc bệnh: ưu tiên giảm false negative (không bỏ sót người bệnh) → theo dõi recall. Báo nhầm chỉ tốn thêm một lần xét nghiệm.
- Lọc spam: ưu tiên giảm false positive (không chặn nhầm email quan trọng) → theo dõi precision của lớp spam. Lọt vài email rác chỉ gây phiền.
- Nguyên tắc chung: so chi phí của hai loại sai, rồi chọn ngưỡng.
Tóm tắt tuần
- Confusion matrix: TP, FP (báo nhầm), FN (bỏ sót), TN.
- Precision: báo “có” thì đúng bao nhiêu. Recall: cái “có” thật bắt được bao nhiêu.
- Dữ liệu mất cân bằng → accuracy đánh lừa. So với baseline, xem precision/recall.
- Hồi quy: báo MAE so với baseline “đoán trung bình”.