← Tất cả các tuần · Phase 2: Mô tả · khoảng 270 phút
Tuần 6: Tư duy metric, funnel, cohort và Pareto
Bản nháp, đang chờ duyệt nội dung
- Định nghĩa một metric rõ ràng: tử số, mẫu số, kỳ, bộ lọc.
- Phân biệt rate và count; nhận ra Goodhart's law và đặt metric đối trọng.
- Đọc scatter plot và hệ số tương quan; biết con số đó nói được gì và không nói được gì.
- Tính funnel, lập bảng cohort, đo mức độ tập trung (Pareto 80/20).
- Dùng pivot, melt, datetime và rolling trong pandas.
Video sắp có.
Audio tóm tắt tuần (NotebookLM) sắp có.
Tuần cuối của Phase 2 chuyển từ “tính đúng con số” sang “chọn đúng con số”. Một metric định nghĩa mơ hồ sẽ làm hai phòng ban cãi nhau dù cả hai đều tính đúng.
Bài 6.1. Tư duy metric [7]
Định nghĩa đủ 4 phần
Mỗi metric cần ghi rõ:
- Tử số: đếm hoặc cộng cái gì? (số đơn bị huỷ)
- Mẫu số: so với cái gì? (số đơn đặt, hay số đơn đã xác nhận?)
- Kỳ: theo ngày đặt hay ngày huỷ? Tháng nào?
- Bộ lọc: có loại đơn test, đơn nội bộ, đơn trùng không?
“Tỷ lệ huỷ đơn tháng 6 là 8%” chưa phải là một định nghĩa. “Số đơn đặt trong tháng 6 bị huỷ trước khi giao, chia cho tổng số đơn đặt trong tháng 6, đã loại đơn test” mới là định nghĩa.
Rate và count
- Count (số tuyệt đối): 500 khiếu nại. Cho biết quy mô công việc.
- Rate (tỷ lệ): 500 khiếu nại / 100.000 đơn = 0,5%. Cho biết chất lượng, so sánh được giữa các kỳ và các nhóm có quy mô khác nhau.
Count tăng có thể chỉ vì quy mô tăng. Luôn hỏi: con số này nên là count hay rate? Thường nên báo cả hai.
Goodhart’s law
Khi một thước đo trở thành mục tiêu, nó không còn là thước đo tốt nữa.
Ví dụ: KPI là “số cuộc gọi xử lý mỗi giờ” → nhân viên cúp máy sớm, khách phải gọi lại. KPI là “số dòng code” → code dài dòng. Cách giảm rủi ro: đặt metric đối trọng (counter-metric) đi kèm, ví dụ số cuộc gọi kèm tỷ lệ khách gọi lại trong 7 ngày.
Bài 6.2. Tương quan và scatter plot [6]
Scatter plot đặt mỗi quan sát thành một điểm theo hai biến. Hệ số tương quan (Pearson, ký hiệu r) đo mức độ hai biến cùng tăng giảm theo đường thẳng, từ −1 đến 1:
| r | Đọc là |
|---|---|
| gần 1 | Cùng tăng, khá thẳng hàng |
| gần 0 | Không có quan hệ tuyến tính (có thể vẫn có quan hệ cong) |
| gần −1 | Một biến tăng thì biến kia giảm |
Ba điều tương quan không nói được:
- Nhân quả. Bán kem và số vụ đuối nước cùng tăng vào mùa hè; kem không gây đuối nước.
- Quan hệ phi tuyến. r ≈ 0 vẫn có thể là đường cong rất rõ (nhớ Anscombe bộ II).
- Độ lớn tác động. r = −0,5 không có nghĩa “tăng chiết khấu 1% thì lợi nhuận giảm 0,5”.
Viết một câu cho con số này. Ví dụ: “Trong dữ liệu, các dòng chiết khấu sâu có lợi nhuận thấp hơn rõ rệt (r ≈ −0,47). Con số này chưa chứng minh chiết khấu gây lỗ: có thể sản phẩm khó bán mới bị giảm giá sâu.”
Bài 6.3. Funnel và cohort [6]
Funnel (phễu)
Funnel theo dõi người dùng qua các bước nối tiếp: truy cập → thêm vào giỏ → checkout → mua.
- Tỷ lệ từng bước = số ở bước sau / số ở bước trước.
- Tỷ lệ tổng = số ở bước cuối / số ở bước đầu = tích các tỷ lệ từng bước.
- Bước có tỷ lệ thấp nhất là chỗ rơi rụng lớn nhất, thường là nơi nên cải thiện trước.
Cohort
Cohort là nhóm khách có chung một mốc bắt đầu, ví dụ cùng năm mua lần đầu. Bảng cohort cho biết mỗi nhóm còn quay lại bao nhiêu % ở các kỳ sau.
Vì sao cần cohort: tổng số khách hoạt động có thể tăng nhờ khách mới, che mất việc khách cũ đang rời bỏ. Cohort tách hai hiện tượng đó ra.
Bài 6.4. Pareto: mức độ tập trung [6]
Nguyên lý Pareto (80/20): một phần nhỏ nguyên nhân tạo ra phần lớn kết quả. 80/20 chỉ là hình ảnh; con số thật cần đo. Câu hỏi business: top 20% khách hàng (sản phẩm, cửa hàng) đóng góp bao nhiêu % doanh thu?
- Tập trung cao: tập trung chăm sóc nhóm đầu, nhưng rủi ro lớn nếu mất vài khách.
- Tập trung thấp: doanh thu phân tán, ít phụ thuộc, nhưng khó ưu tiên.
Với dữ liệu mẫu, top 20% khách chỉ đóng góp khoảng 39% Sales: thấp hơn nhiều so với hình ảnh 80/20. Đừng mặc định 80/20; hãy đo.
Thực hành Python: pivot, melt, datetime, rolling [6]
- pivot / pivot_table: dạng dài → dạng rộng (mỗi Category một cột). Dễ đọc cho người xem.
- melt: dạng rộng → dạng dài. Dễ groupby, dễ vẽ.
- datetime:
.dt.year,.dt.month,.dt.to_period("M"),.dt.day_name(). - rolling: trung bình trượt, làm mượt nhiễu để thấy xu hướng.
Luyện tập tình huống
Tình huống: hai định nghĩa tỷ lệ huỷ đơn
Bối cảnh. Tháng 6: 10.000 đơn được đặt, 8.000 đơn được xác nhận (2.000 đơn huỷ trước khi xác nhận: hết hàng, khách đổi ý), và 400 đơn huỷ sau khi đã xác nhận. Phòng Vận hành báo tỷ lệ huỷ 24%, phòng Kho báo 5%.
Câu hỏi. Mỗi phòng đang dùng định nghĩa nào? Khi nào dùng định nghĩa nào? Nên báo cáo thế nào để không cãi nhau?
Câu trả lời đã nộp sẽ được khoá lại, không sửa được.
Đáp án mẫu
- Vận hành: (2.000 + 400) / 10.000 = 24%, mẫu số là tổng đơn đặt. Đo trải nghiệm đặt hàng tổng thể: khách đặt 100 đơn thì 24 đơn không thành.
- Kho: 400 / 8.000 = 5%, mẫu số là đơn đã xác nhận. Đo huỷ sau cam kết: lỗi giao hàng, khách đổi ý sau khi chốt.
- Cả hai đều đúng, nhưng trả lời câu hỏi khác nhau. Báo cáo nên ghi rõ tử số và mẫu số ngay cạnh con số, đặt tên khác nhau (tỷ lệ huỷ trên đơn đặt, tỷ lệ huỷ sau xác nhận), và thống nhất một định nghĩa chính cho KPI.
Lỗi hay gặp: so 24% của tháng này với 5% của tháng trước; tranh luận con số nào “đúng” thay vì hỏi đang đo cái gì.
Tình huống: KPI số ticket đóng mỗi ngày
Bối cảnh. Trưởng nhóm CSKH đặt KPI: mỗi nhân viên đóng ít nhất 40 ticket mỗi ngày, ai vượt sẽ được thưởng. Sau 2 tháng, số ticket đóng mỗi ngày tăng 35%, nhưng điểm hài lòng khách hàng giảm.
Câu hỏi. Điều gì có thể đã xảy ra? Bạn đề xuất đo thế nào?
Câu trả lời đã nộp sẽ được khoá lại, không sửa được.
Đáp án mẫu
- Goodhart’s law: metric thành mục tiêu thì bị tối ưu theo cách dễ nhất. Có thể nhân viên đóng vội ticket chưa giải quyết xong, tách một vấn đề thành nhiều ticket, chọn ticket dễ làm trước, đẩy ticket khó sang người khác.
- Dấu hiệu kiểm tra: tỷ lệ ticket bị mở lại, số ticket trên mỗi khách, thời gian xử lý ticket khó.
- Đề xuất: giữ số ticket đóng như metric quy mô, nhưng thêm metric đối trọng: tỷ lệ mở lại trong 7 ngày, điểm hài lòng sau ticket (CSAT), tỷ lệ giải quyết ngay lần đầu. Thưởng dựa trên tổ hợp, không dựa trên một con số.
Lỗi hay gặp: kết luận nhân viên làm việc hiệu quả hơn chỉ vì count tăng.
Tóm tắt tuần và chuẩn bị Checkpoint 2
- Metric = tử số + mẫu số + kỳ + bộ lọc. Báo cả count và rate.
- Mỗi KPI cần một metric đối trọng (Goodhart).
- Tương quan: hướng và độ chặt của quan hệ tuyến tính; không phải nhân quả.
- Funnel: tỷ lệ tổng = tích tỷ lệ từng bước; tìm bước rơi rụng lớn nhất.
- Cohort tách khách mới và khách cũ; Pareto: đo, đừng mặc định 80/20.