Khái niệm KDD
KDD (Knowledge Discovery in Databases - Khám phá tri thức trong cơ sở dữ liệu) định nghĩa quy trình rộng rãi khám phá tri thức trong dữ liệu và nhấn mạnh ứng dụng cấp cao của các kỹ thuật khai thác dữ liệu cụ thể. Đây là lĩnh vực quan tâm của các nhà nghiên cứu: trí tuệ nhân tạo, học máy, nhận dạng mẫu, cơ sở dữ liệu, thống kê, thu thập tri thức cho hệ thống chuyên gia, trực quan hóa dữ liệu.
Đặc điểm quy trình
Quy trình khám phá tri thức là lặp lại (iterative) và tương tác (interactive), bao gồm 9 bước. Quy trình lặp lại ở mọi giai đoạn, có nghĩa là quay lại các hành động trước đó có thể cần thiết. Quy trình có nhiều phương pháp sáng tạo - không có công thức duy nhất hoặc phân loại khoa học hoàn chỉnh cho quyết định đúng ở mỗi bước và loại ứng dụng. Do đó cần hiểu quy trình và các yêu cầu, khả năng ở mỗi giai đoạn.
6 bước chính của quy trình KDD
- Phát triển sự hiểu biết (Developing an understanding): Bước sơ bộ thiết yếu. Thiết lập bối cảnh cho các quyết định về biến đổi, thuật toán, biểu diễn, v.v. Người chịu trách nhiệm dự án KDD phải hiểu và đặc trưng hóa mục tiêu của người dùng cuối và môi trường quá trình khám phá tri thức diễn ra (bao gồm kiến thức tiên nghiệm liên quan).
- Tạo tập dữ liệu mục tiêu (Creating a target data set): Chọn tập dữ liệu hoặc nhắm đến tập con biến/mẫu dữ liệu để thực hiện khám phá. Bước này thiết yếu vì khai thác dữ liệu học và tìm thấy từ dữ liệu truy cập được - đây là cơ sở bằng chứng xây dựng mô hình. Nếu thiếu thuộc tính quan trọng, toàn bộ nghiên cứu có thể thất bại. Càng nhiều thuộc tính được xem xét càng tốt.
- Làm sạch và tiền xử lý dữ liệu (Data cleaning and pre-processing): Làm sạch dữ liệu: điền giá trị thiếu, làm mượt dữ liệu nhiễu, xác định và loại bỏ giá trị ngoại lai, loại bỏ sự không nhất quán trong dữ liệu.
- Phân tích khám phá và chọn mô hình/giả thuyết (Exploratory analysis and model and hypothesis selection): Chọn thuật toán khai thác dữ liệu và phương pháp tìm mẫu dữ liệu. Quyết định mô hình và tham số phù hợp, khớp phương pháp khai thác cụ thể với tiêu chí dài hạn của quy trình KDD.
- Khai thác dữ liệu (Data mining): Tìm kiếm mẫu quan tâm dưới dạng biểu diễn cụ thể hoặc tập hợp các biểu diễn: quy tắc phân loại/cây, hồi quy, phân cụm. Người dùng hỗ trợ đáng kể phương pháp khai thác bằng cách thực hiện đúng các bước trước.
- Hành động dựa trên tri thức phát hiện (Acting on the discovered knowledge): Sử dụng tri thức trực tiếp, tích hợp vào hệ thống khác cho hành động tiếp theo, hoặc chỉ tài liệu hóa và báo cáo cho các bên liên quan. Bao gồm kiểm tra và giải quyết xung tiềm năng với tri thức đã chấp nhận (hoặc trích xuất) trước đó.
Lưu ý: Quy trình KDD thường được mô tả với 9 bước, trong đó các bước 3-5 có thể chia nhỏ hơn.