Khai phá dữ liệu là quá trình tìm mối tương quan, mẫu và xu hướng hữu ích mới bằng cách duyệt qua lượng lớn dữ liệu lưu trữ trong kho, sử dụng công nghệ nhận dạng mẫu bao gồm kỹ thuật thống kê và toán học. Đây là phân tích tập dữ liệu thực tế để khám phá mối quan hệ không ngờ và tóm tắt bản ghi theo cách mới vừa logic vừa hữu ích cho chủ sở hữu dữ liệu.
Đây là thủ tục chọn lọc, khám phá và mô hình hóa lượng lớn thông tin để tìm sự chính quy hoặc quan hệ ban đầu không biết để có kết quả rõ ràng và có lợi cho chủ cơ sở dữ liệu.
Khai phá dữ liệu tương tự Khoa học dữ liệu. Nó được thực hiện bởi một người, trong tình huống cụ thể, trên tập dữ liệu cụ thể, với mục tiêu. Giai đoạn này chứa nhiều loại dịch vụ bao gồm khai phá văn bản, khai phá web, âm thanh và video, hình ảnh, và mạng xã hội. Hoàn thành qua phần mềm đơn giản hoặc chuyên biệt.
Metarules cho phép người dùng xác định dạng cú pháp của luật mà họ quan tâm khai phá. Các dạng luật có thể được dùng như ràng buộc để cải thiện hiệu quả giai đoạn khai phá. Metarules có thể dựa trên kinh nghiệm, kỳ vọng hoặc trực giác của nhà phân tích về dữ liệu hoặc có thể được tạo tự động dựa trên lược đồ cơ sở dữ liệu.
Khai phá hướng dẫn bởi Metarule − Giả sử bạn là nhà phân tích thị trường cho AllElectronics, bạn có quyền truy cập dữ liệu định nghĩa khách hàng (tuổi, địa chỉ, xếp hạng tín dụng) và danh sách giao dịch khách hàng.
Bạn đang tìm các luật liên kết giữa đặc điểm khách hàng và mặt hàng khách hàng mua. Tuy nhiên, thay vì tìm tất cả các luật liên kết phản ánh các mối quan hệ này, bạn chỉ quan tâm đến việc quyết định cặp đặc điểm khách hàng nào thúc đẩy bán phần mềm văn phòng.
Ví dụ một metarule như sau:
P₁(X, Y) ∧ P₂(X, W) ⇒ buys(X, "office software")
trong đó P₁ và P₂ là biến vị ngữ được khởi tạo thành thuộc tính từ cơ sở dữ liệu cho trước trong giai đoạn khai phá, X là biến định nghĩa khách hàng, và Y và W nhận giá trị của thuộc tính được gán cho P₁ và P₂, tương ứng.
Nói chung, người dùng có thể xác định danh sách thuộc tính được xem xét để khởi tạo với P₁ và P₂. Do đó, một tập mặc định có thể được dùng.
Nói chung, một metarule hình thành một giả thuyết về các mối quan hệ mà người dùng quan tâm đến việc nhận thức hoặc xác nhận. Hệ thống khai phá dữ liệu có thể tìm kiếm các luật phù hợp với metarule cho trước. Ví dụ:
age(X, "30...39") ∧ income(X, "41K...60K") ⇒ buys(X, "office software")