Định nghĩa KDD
KDD (Knowledge Discovery in Databases) là quy trình rộng rãi khám phá tri thức trong dữ liệu, nhấn mạnh ứng dụng cấp cao của các kỹ thuật khai thác dữ liệu cụ thể. Lĩnh vực quan tâm: AI, machine learning, pattern recognition, databases, statistics, knowledge acquisition, data visualization.
Mục tiêu chính của KDD
Trích xuất tri thức từ thông tin trong bối cảnh cơ sở dữ liệu lớn, bằng cách sử dụng thuật toán khai thác dữ liệu để nhận diện được coi là tri thức. KDD được xem như quá trình phân tích khám phá và mô hình hóa tự động các kho dữ liệu lớn. KDD là quy trình có tổ chức nhận diện các mẫu hợp lệ, hữu ích, dễ hiểu từ tập dữ liệu lớn và phức tạp.
Đặc điểm KDD
- Phi tầm thường (Non-trivial): Bao gồm tìm kiếm hoặc suy diễn, không phải tính toán đơn giản các lượng định sẵn (như tính trung bình).
- Hợp lệ, mới, có thể hữu ích, logic: Các mẫu được xác định phải thỏa mãn các tiêu chí này.
- Nhiều bước, lặp lại nhiều lần: Bao gồm chuẩn bị dữ liệu, tìm kiếm mẫu, đánh giá tri thức, tinh chỉnh.
Mối quan hệ KDD và Data Mining
Data Mining là cốt lõi (core) của quy trình KDD - bước áp dụng thuật toán phân tích và khám phá cụ thể để liệt kê các mẫu (mô hình) trên dữ liệu dưới giới hạn hiệu quả tính toán.
- Không gian mẫu thường vô hạn, liệt kê mẫu cần tìm kiếm trong không gian này.
- Ràng buộc tính toán thực tế giới hạn nghiêm trọng không gian con có thể phân tích.
Các thành phần của quy trình KDD
- Sử dụng cơ sở dữ liệu cùng chọn lọc, tiền xử lý, lấy mẫu, biến đổi cần thiết.
- Áp dụng phương pháp khai thác dữ liệu (thuật toán) để liệt kê mẫu từ nó.
- Đánh giá sản phẩm khai thác để nhận diện tập con mẫu được coi là tri thức.
Thành phần khai thác dữ liệu quan tâm đến phương pháp thuật toán trích xuất và liệt kê mẫu từ dữ liệu. Toàn bộ quy trình KDD bao gồm đánh giá và diễn giải mẫu đã khai thác để quyết định mẫu nào được coi là tri thức mới.