Khái niệm và bản chất
Khai thác dữ liệu là quá trình tìm mối tương quan, mẫu, xu hướng mới hữu ích từ lượng lớn dữ liệu trong kho lưu trữ, dùng công nghệ nhận dạng mẫu (thống kê, toán học). Phân tích tập dữ kiện phát hiện mối quan hệ chưa ngờ, tóm tắt dữ liệu cách mới vừa logic vừa hữu ích.
Là quy trình lựa chọn, khám phá, mô hình hóa lượng lớn thông tin để tìm quy luật/quan hệ ban đầu chưa biết, đạt kết quả rõ ràng, hữu ích cho chủ sở hữu CSDL. Data Mining tương tự Data Science - do người thực hiện, bối cảnh cụ thể, tập dữ liệu cụ thể, có mục tiêu. Bao gồm nhiều dịch vụ: text mining, web mining, audio/video mining, pictorial data mining, social media mining. Thực hiện qua phần mềm đơn giản hoặc chuyên dụng cao.
Lợi ích outsourcing khai thác dữ liệu
Ngoài ra, outsourcing giúp công việc nhanh hơn, chi phí vận hành thấp. Doanh nghiệp chuyên dụng dùng công nghệ mới lưu trữ dữ liệu không thể tìm thủ công. Có hàng tấn dữ liệu trên nhiều nền tảng nhưng tri thức truy cập rất hạn chế.
Các tên gọi khác
Tiếp cận tìm mẫu hữu ích trong dữ liệu có nhiều tên: knowledge extraction (trích xuất tri thức), data discovery (khám phá dữ liệu), data harvesting (thu hoạch dữ liệu), data archaeology (khoa học dữ liệu), data pattern processing (xử lý mẫu dữ liệu). Được dùng bởi thống kê gia, nhà phân tích dữ liệu, cộng đồng hệ thống thông tin quản trị (MIS).
Sự phát triển lịch sử
- Quy trình khám phá tri thức trong cơ sở dữ liệu (KDD) được phát明 tại workshop KDD đầu tiên năm 1989 (Piatetsky-Shapiro 1991) khẳng định tri thức là sản phẩm cuối cùng của khám phá dựa trên dữ liệu.
- Được phổ biến trong AI và machine learning.
- KDD định nghĩa quy trình hoàn chỉnh khám phá tri thức hữu ích từ dữ liệu; Data Mining định nghĩa bước cụ thể trong quy trình này - áp dụng thuật toán cụ thể trích xuất mẫu từ dữ liệu.
- Sự khác biệt giữa quy trình KDD và bước data-mining (trong quy trình) là điểm trung tâm.
Các bước khác trong KDD
Chuẩn bị dữ liệu, lựa chọn dữ liệu, làm sạch dữ liệu, kết hợp kiến thức tiên nghiệm phù hợp, phân tích đúng kết quả khai thác - tất cả quan trọng để đảm bảo tri thức hữu ích được chuyển hóa từ dữ liệu.
Ứng dụng mù quáng các kỹ thuật khai thác dữ liệu (bị chỉ trích đúng là "data dredging" trong văn헌 thống kê) là hoạt động nguy hiểm, dễ dẫn đến phát hiện mẫu vô nghĩa và không hợp lệ.