Tổng quan thách thức khai thác dữ liệu
Khai thác dữ liệu (Data Mining) đối mặt với nhiều thách thức kỹ thuật và phương pháp luận. Dưới đây là 6 thách thức chính:
1. Hiệu quả và khả năng mở rộng của thuật toán
Để trích xuất tri thức từ lượng lớn dữ liệu trong cơ sở dữ liệu, thuật toán phát hiện tri thức phải hiệu quả và mở rộng được cho cơ sở dữ liệu lớn. Thời gian chạy phải dự đoán được và chấp nhận được. Thuật toán độ phức tạp mũ hoặc đa thức bậc cao không thực tế.
2. Tính hữu ích, chắc chắn và biểu đạt kết quả
Tri thức phát hiện phải phản ánh chính xác nội dung cơ sở dữ liệu và hữu ích cho ứng dụng cụ thể. Sự không hoàn hảo phải được định lượng bằng các đo lường bất định (quy tắc xấp xỉ, quy tắc định lượng). Dữ liệu nhiễu và ngoại lệ phải xử lý khéo léo. Cần nghiên cứu hệ thống về đo lường chất lượng tri thức phát hiện (thú vị, tin cậy) thông qua mô hình thống kê, phân tích, mô phỏng.
3. Biểu diễn các loại kết quả khai thác dữ liệu
Nhiều loại tri thức khác nhau có thể được phát hiện. Cần xem xét tri thức từ nhiều góc độ và trình bày dưới nhiều dạng. Yêu cầu định nghĩa yêu cầu khai thác và tri thức phát hiện bằng ngôn ngữ cao cấp hoặc giao diện đồ họa để người không chuyên môn cũng xác định nhiệm vụ và hiểu kết quả. Hệ thống cần chọn kỹ thuật biểu diễn tri thức biểu đạt.
4. Khai thác tri thức tương tác ở nhiều mức trừu tượng
Vì khó dự đoán chính xác điều gì sẽ được phát hiện, truy vấn khai thác cấp cao phải được coi như "mồi câu" tiết lộ dấu vết thú vị để khám phá thêm. Khai thác tương tác cho phép người dùng tinh chỉnh yêu cầu, thay đổi tiêu chí dữ liệu, sâu hơn quá trình, xem kết quả ở nhiều mức trừu tượng và góc độ.
5. Khai thác thông tin từ nhiều nguồn dữ liệu
Mạng máy tính cục bộ và diện rộng (Internet) kết nối nhiều nguồn dữ liệu tạo thành cơ sở dữ liệu phân tán, dị chất lớn. Khai thác tri thức từ nhiều nguồn có định dạng/ngữ nghĩa khác nhau đặt ra yêu cầu mới. Ngược lại, khai thác dữ liệu giúp phát hiện quy luật cấp cao trong cơ sở dữ liệu dị chất mà hệ thống truy vấn đơn giản khó tìm thấy. Kích thước lớn, phân tán rộng, độ phức tạp tính toán thúc đẩy phát triển thuật toán khai thác song song và phân tán.