Data mining là quy trình tìm tương quan, pattern, xu hướng mới hữu ích từ lượng lớn dữ liệu trong kho, dùng pattern recognition, thống kê, toán học. Phân tích dataset thực tế khám phá mối quan hệ bất ngờ, tóm tắt bản ghi theo cách mới logic và hữu ích cho chủ sở hữu dữ liệu.
Là quy trình lựa chọn, khám phá, mô hình hóa lượng lớn thông tin để tìm quy luật/quan hệ ban đầu không biết, đạt kết quả rõ ràng, có lợi cho chủ CSDL.
Data Mining tương tự Data Science. Thực hiện bởi một người, tình huống cụ thể, dataset cụ thể, có mục tiêu. Gồm các dịch vụ: text mining, web mining, audio/video mining, pictorial data mining, social media mining. Hoàn thành qua phần mềm đơn giản hoặc chuyên dụng.
Outsourcing data mining: công việc nhanh hơn, chi phí vận hành thấp. Công ty chuyên dụng dùng công nghệ mới lưu dữ liệu không thể tìm thủ công. Có tấn dữ liệu trên nhiều nền tảng nhưng kiến thức truy cập hạn chế.
Thách thức lớn: phân tích dữ liệu trích xuất thông tin thiết yếu để giải quyết vấn đề hoặc phát triển công ty. Nhiều công cụ/ky thuật động để khai thác dữ liệu và tìm ra quyết định tốt hơn.
Data mining còn gọi là Knowledge Discovery in Database (KDD). Knowledge discovery là quy trình lặp bao gồm các bước:
- Data cleaning – Loại bỏ nhiễu và thông tin không nhất quán.
- Data integration – Kết nối nhiều nguồn dữ liệu.
- Data selection – Lấy dữ liệu liên quan đến phân tích từ DB.
- Data transformation – Chuyển đổi/liên kết dữ liệu thành dạng phù hợp khai thác (tóm tắt, tổng hợp).
- Data mining – Giai đoạn quan trọng: dùng phương pháp thông minh trích xuất pattern dữ liệu.
- Pattern evaluation – Nhận diện pattern thực sự thú vị định nghĩa kiến thức dựa trên độ thú vị.
- Knowledge presentation – Trình bày kiến thức khai thác bằng trực quan hóa và biểu diễn kiến thức.