Buổi 1. Giới thiệu

Data Mining là gì?

Data mining là quá trình trích xuất tri thức/hình mẫu hữu ích từ dữ liệu lớn, thường kết hợp thống kê, học máy và cơ sở dữ liệu. Mục tiêu là biến dữ liệu thô ➜ insight hỗ trợ quyết định (dự đoán, phân khúc, phát hiện bất thường…).

Vị trí trong KDD (Knowledge Discovery in Databases)

KDD gồm nhiều bước; data mining là “khâu lõi” tìm mẫu/luật:

1. Hiểu bài toán & dữ liệu →

2. Thu thập & tích hợp →

3. Làm sạch & tiền xử lý →

4. Data mining (xây mô hình/tìm luật) →

5. Đánh giá & diễn giải →

6. Triển khai & giám sát.

Các nhiệm vụ chính

• Phân lớp (Classification): gán nhãn (spam/ham, churn/non-churn).

• Hồi quy (Regression): dự đoán giá trị số (doanh thu, giá nhà).

• Phân cụm (Clustering): nhóm đối tượng tương đồng (phân khúc khách hàng).

• Luật kết hợp (Association Rule Mining): “mua A hay mua kèm B”.

• Phát hiện bất thường (Anomaly/Outlier): gian lận, lỗi cảm biến.

• Giảm chiều (Dimensionality Reduction): nén & làm nổi bật cấu trúc (PCA).

Thuật toán tiêu biểu

• Phân lớp/hồi quy: Logistic/Linear Regression, Decision Tree, Random Forest, Gradient Boosting, SVM, kNN, Naive Bayes.

• Phân cụm: k-means, Hierarchical, DBSCAN.

• Luật kết hợp: Apriori, FP-Growth.

• Giảm chiều: PCA (giải thích), t-SNE/UMAP (trực quan).

Quy trình thực hành (gợi ý)

1. Đặt bài toán kinh doanh (KPI, rủi ro/chí phí).

2. Chuẩn hóa dữ liệu: làm sạch, xử lý thiếu/mất cân bằng, mã hóa biến, scale.

3. Khám phá dữ liệu (EDA): thống kê, trực quan hóa, giả thuyết.

4. Chọn nhiệm vụ & thuật toán phù hợp mục tiêu và ràng buộc (thời gian, tài nguyên, giải thích được).

5. Huấn luyện/đánh giá: chia train/validation/test, cross-validation.

6. Triển khai: API/batch job/dashboards; giám sát drift & tái huấn luyện.

Đánh giá mô hình (tuỳ nhiệm vụ)

• Phân lớp: Accuracy, Precision/Recall, F1, ROC-AUC, PR-AUC; ma trận nhầm lẫn.

• Hồi quy: MSE, RMSE, MAE,

  R2R

  .

• Phân cụm: Silhouette, Calinski-Harabasz, Davies-Bouldin.

• Luật kết hợp: Support, Confidence, Lift.

Thách thức thường gặp

• Dữ liệu bẩn/thiếu, mất cân bằng lớp, rò rỉ dữ liệu.

• Overfitting/underfitting, chọn đặc trưng kém.

• Tính giải thích được vs độ chính xác.

• Quyền riêng tư & đạo đức (ẩn danh hóa, tối thiểu hóa dữ liệu, kiểm soát truy cập).

Ứng dụng nhanh

• Bán lẻ: market basket analysis, gợi ý sản phẩm.

• Tài chính: chấm điểm tín dụng, phát hiện gian lận.

• Y tế: dự báo nguy cơ, phân tầng bệnh nhân.

• Công nghiệp/IoT: bảo trì dự đoán, phát hiện lỗi.

Ví dụ mini (ý tưởng)

• Bài toán: Dự đoán rời bỏ khách hàng (churn).

• Nhiệm vụ: Phân lớp.

• Chỉ số ưu tiên: Recall/F1 cho lớp “churn”.

• Tiền xử lý: Xử lý thiếu, one-hot categorical, scale numeric, cân bằng lớp (SMOTE/weight).

• Mô hình: Tree-based (dễ giải thích) + baseline Logistic.

• Triển khai: API dự đoán + dashboard theo dõi drift & F1 hàng tuần.

So sánh nhanh

• Data Mining: trọng tâm tìm mẫu/hình mẫu từ dữ liệu.

• Machine Learning: nhấn mạnh mô hình hóa & tối ưu tổng quát hóa.

• BI/Analytics: báo cáo, chỉ số, mô tả/quy nạp (chưa chắc có mô hình dự đoán).

• Thực tế, ba mảng gối lên nhau trong một pipeline dữ liệu hiện đại.

Nếu bạn muốn, mình có thể chuyển phần này thành sơ đồ quy trình hoặc làm một checklist triển khai theo chính bài toán của bạn.