Data mining là quy trình tìm tương quan, pattern, xu hướng mới từ dữ liệu lớn dùng pattern recognition, thống kê, toán học. Phân tích dataset thực tế khám phá mối quan hệ bất ngờ, tóm tắt bản ghi mới logic và hữu ích.
Nhiệm vụ data mining định nghĩa trong data mining query, đầu vào cho hệ thống data mining. Query biểu diễn bằng data mining task primitives. Các primitive cho phép user tương tác với hệ thống trong quá trình khám phá để điều hướng hoặc kiểm tra kết quả từ nhiều góc độ.
Nhiệm vụ data mining:
Tập dữ liệu liên quan cần khai thác – Xác định phần DB hoặc tập thông tin user quan tâm. Bao gồm thuộc tính DB hoặc chiều data warehouse (relevant attributes/dimensions).
Loại kiến thức cần khai thác – Xác định chức năng data mining: đặc trưng hóa (characterization), phân biệt (discrimination), association/correlation, classification, prediction, clustering, outlier analysis, evolution analysis.
Kiến thức nền dùng trong khám phá – Kiến thức về domain giúp định hướng khám phá và đánh giá pattern. Concept hierarchies (phân cấp khái niệm) là dạng phổ biến, cho phép khai thác ở nhiều mức trừu tượng.
Đo lường thú vị và ngưỡng đánh giá pattern – Dùng để hướng dẫn khai thác hoặc sau khám phá để đánh giá pattern. Loại kiến thức khác nhau có measure khác nhau.
Biểu diễn kỳ vọng để trực quan hóa pattern – Dạng trình bày pattern: rules, tables, charts, graphs, decision trees, cubes.
Ngôn ngữ truy vấn data mining có thể thiết kế kết hợp các primitive, cho phép user linh hoạt tương tác. Hỗ trợ giao diện đồ họa thân thiện. Thúc đẩy giao tiếp data mining với các hệ thống dữ liệu khác và tích hợp vào môi trường xử lý dữ liệu hoàn chỉnh.
Thiết kế ngôn ngữ data mining toàn diện thách thức vì bao quát nhiều chức năng (characterization đến evolution analysis). Mỗi task yêu cầu riêng. Cần hiểu sâu sức mạnh, hạn chế, cấu trúc nền tảng các task data mining.