← Tất cả các tuần · Phase 2: Mô tả · khoảng 240 phút
Tuần 4: Tóm tắt một biến
Bản nháp, đang chờ duyệt nội dung
- Chọn đúng mean hay median để báo cáo, và giải thích vì sao.
- Đo độ phân tán bằng độ lệch chuẩn, IQR và percentile.
- Nhận ra phân phối lệch và outlier, biết xử lý thế nào trước khi kết luận.
- Chọn chart theo câu hỏi và kiểu biến; vẽ được histogram, boxplot, line, bar bằng matplotlib.
- Dùng groupby để tóm tắt theo nhóm.
Video tóm tắt cả tuần (tạo bằng NotebookLM). Xem trước khi đọc để nắm bức tranh chung.
Podcast ngắn về mean và median, phân phối lệch, outlier và chọn chart. Nghe trước hoặc sau khi đọc bài.
Phase 2 là phân tích mô tả (descriptive): trả lời câu hỏi “chuyện gì đã xảy ra?”. Nghe đơn giản, nhưng phần lớn kết luận sai trong công ty bắt nguồn từ một con số mô tả chọn sai. Tuần này bắt đầu với việc tóm tắt một biến.
Bài 4.1. Mean, median và khi nào chúng khác nhau [7]
- Mean (trung bình cộng): tổng chia số phần tử.
- Median (trung vị): giá trị đứng giữa khi xếp từ nhỏ đến lớn. Một nửa nhỏ hơn, một nửa lớn hơn.
- Mode: giá trị xuất hiện nhiều nhất, hay dùng cho biến categorical.
Ví dụ: lương của 5 nhân viên là 10, 12, 13, 15, 200 (triệu). Mean = 50 triệu, median = 13 triệu. “Lương trung bình 50 triệu” đúng về toán học nhưng không mô tả được ai trong nhóm.
Quy tắc: phân phối lệch hoặc có outlier thì mean bị kéo về phía giá trị cực đoan, median ổn định hơn. Khi mean và median cách xa nhau, đó là tín hiệu phải nhìn phân phối.
Bài 4.2. Độ phân tán và percentile [7]
Hai cửa hàng cùng doanh thu trung bình 100 triệu/ngày. Cửa hàng A dao động 95–105, cửa hàng B dao động 20–300. Chỉ báo mean thì hai cửa hàng giống nhau, nhưng vận hành khác hẳn. Độ phân tán cho biết dữ liệu trải rộng cỡ nào.
| Thước đo | Ý nghĩa | Khi nào dùng |
|---|---|---|
| Range | Lớn nhất − nhỏ nhất | Nhìn nhanh, nhưng 1 outlier là sai lệch |
| Độ lệch chuẩn (standard deviation) | Trung bình các giá trị cách mean bao xa | Phân phối gần đối xứng |
| Percentile | P90 = 90% giá trị nhỏ hơn mức này | Mô tả “phần lớn” và “phần đuôi” |
| IQR | P75 − P25: khoảng của 50% ở giữa | Phân phối lệch, có outlier |
Percentile rất hữu dụng trong business: “90% đơn được giao trong 3 ngày” (P90 = 3 ngày) nói nhiều hơn “trung bình 2 ngày”.
Bài 4.3. Hình dạng phân phối và outlier [6]
- Đối xứng: mean ≈ median. Ví dụ chiều cao người trưởng thành.
- Lệch phải (đuôi dài bên phải): mean lớn hơn median. Ví dụ doanh thu theo đơn, thu nhập, số lượt xem. Phần lớn dữ liệu business có dạng này.
- Outlier: giá trị khác biệt hẳn phần còn lại. Quy tắc thường dùng: nằm ngoài khoảng P25 − 1,5×IQR đến P75 + 1,5×IQR.
Outlier không phải lúc nào cũng là lỗi. Trước khi xoá, hỏi: đây là lỗi nhập liệu (giá 1 tỷ cho cây bút), hay một sự kiện thật (khách doanh nghiệp đặt đơn lớn)? Xoá outlier thật là xoá mất thông tin quan trọng nhất.
Bài 4.4. Chọn chart theo câu hỏi [6]
Chart tốt bắt đầu từ câu hỏi, không phải từ dữ liệu.
| Câu hỏi | Chart nên dùng | Ví dụ |
|---|---|---|
| Giá trị phân bố thế nào? | Histogram, boxplot | Phân phối giá trị đơn hàng |
| Thay đổi theo thời gian? | Line | Doanh thu theo tháng |
| So sánh giữa các nhóm? | Bar (xếp theo độ lớn) | Doanh thu theo vùng |
| Hai biến liên quan thế nào? | Scatter | Chiết khấu và lợi nhuận |
| Tỷ trọng các phần? | Bar xếp chồng, hoặc pie khi chỉ 2–3 phần | Cơ cấu doanh thu theo Category |
Ba lỗi hay gặp: dùng line cho biến categorical (nối các vùng bằng đường thẳng), trục y không bắt đầu từ 0 ở bar chart làm phóng đại chênh lệch, và pie chart có quá nhiều phần.
Thực hành Python [6]
1. Mean, median, percentile
2. Tìm outlier bằng quy tắc IQR
Nhìn các dòng outlier: chúng là lỗi hay là đơn thật (sản phẩm đắt, số lượng lớn)?
3. Ba chart, ba câu hỏi
4. groupby: tóm tắt theo nhóm
Luyện tập tình huống
Tình huống: Anscombe's quartet
Bối cảnh. Bốn bộ dữ liệu nhỏ, mỗi bộ 11 cặp (x, y). Một đồng nghiệp tính mean, variance và hệ số tương quan của cả 4 bộ, thấy gần như giống hệt nhau, nên kết luận 4 bộ dữ liệu 'giống nhau'. Hãy chạy ô code bên dưới trước khi trả lời.
Câu hỏi. Bốn bộ có thực sự giống nhau không? Bài học rút ra là gì?
Câu trả lời đã nộp sẽ được khoá lại, không sửa được.
Đáp án mẫu
Thống kê tóm tắt giống nhau (mean x = 9, mean y ≈ 7,5, tương quan ≈ 0,82) nhưng hình dạng dữ liệu hoàn toàn khác: bộ I gần tuyến tính, bộ II là đường cong, bộ III có 1 outlier, bộ IV gần như mọi x bằng nhau trừ 1 điểm.
Bài học: luôn vẽ dữ liệu. Con số tóm tắt có thể che giấu hoàn toàn cấu trúc thật.
Ôn bằng thẻ ghi nhớ
15 thẻ ôn lại các khái niệm của tuần. Thẻ “chưa nhớ” sẽ quay lại cuối lượt.
Còn 15 thẻ trong lượt này
Tóm tắt tuần
- Mean và median cách xa nhau → phân phối lệch → báo median và nhìn phân phối.
- Báo kèm độ phân tán: IQR, percentile (P90) thường có ích hơn độ lệch chuẩn với dữ liệu business.
- Outlier: kiểm tra là lỗi hay sự kiện thật trước khi xử lý.
- Chart bắt đầu từ câu hỏi. Luôn vẽ dữ liệu.