Khai thác dữ liệu (Data Mining) là giai đoạn khám phá các mối tương quan, mẫu hình và xu hướng mới hữu ích bằng cách duyệt qua lượng lớn bản ghi lưu trữ trong kho dữ liệu, sử dụng các công nghệ nhận diện mẫu bao gồm các kỹ thuật thống kê và số học. Đây là quá trình phân tích các tập dữ liệu thực tế để phát hiện những mối quan hệ chưa từng ngờ tới và tóm tắt dữ liệu theo những cách mới vừa hợp lý vừa hữu ích cho chủ sở hữu dữ liệu.
Quá trình này bao gồm lựa chọn, khám phá và mô hình hóa lượng lớn thông tin để tìm ra các quy luật hoặc mối quan hệ ban đầu chưa biết, từ đó đạt được kết quả rõ ràng và có giá trị cho chủ sở hữu cơ sở dữ liệu.
Khai thác dữ liệu tương tự như Khoa học dữ liệu (Data Science). Nó được thực hiện bởi một người, trong một tình huống cụ thể, trên một tập dữ liệu đặc định, với một mục tiêu nhất định. Giai đoạn này bao gồm nhiều loại chức năng như khai thác văn bản (text mining), khai thác web (web mining), khai thác âm thanh và video, khai thác dữ liệu mô tả (descriptive data mining) và khai thác mạng xã hội. Công việc hoàn thành thông qua phần mềm từ đơn giản đến chuyên dụng cao.
Nhờ outsourcing khai thác dữ liệu, toàn bộ công việc có thể hoàn thành nhanh hơn với chi phí vận hành thấp. Các công ty chuyên biệt cũng có thể sử dụng công nghệ mới để lưu trữ dữ liệu mà không thể tìm thấy thủ công. Có hàng tấn dữ liệu trên nhiều nền tảng, nhưng kiến thức truy cập được lại rất hạn chế.
Thách thức lớn nhất là phân tích dữ liệu để trích xuất thông tin thiết yếu có thể dùng để giải quyết vấn đề hoặc phát triển doanh nghiệp. Có nhiều công cụ và kỹ thuật động để khai thác dữ liệu và suy ra quyết định tốt hơn từ nó.
Chức năng khai thác tập mục thường xuyên (frequent itemset) phức tạp vì khó tìm ra mối quan hệ mạnh giữa các mục dữ liệu ở các phương pháp trừu tượng thấp hoặc nguyên thủy do sự thưa thớt của thông tin trong không gian đa chiều.
Mối liên kết mạnh được tìm thấy ở các mức khái niệm cao có thể đại diện cho kiến thức phổ thông, nhưng những gì đại diện cho kiến thức phổ thông đối với người dùng này có thể mới mẻ đối với người khác. Do đó, khai thác dữ liệu cần cung cấp khả năng khai thác các quy tắc liên kết ở nhiều mức trừu tượng và chuyển đổi dễ dàng giữa các không gian trừu tượng khác nhau.
Dưới đây là các lý do khiến khai thác tập mục thường xuyên trở nên khó khăn:
Số lượng phép tính cần thiết để tạo ra các quy tắc liên kết tăng theo cấp số nhân với số lượng mục và độ phức tạp của các quy tắc được xem xét.
Các mục được coi là giống nhau ngoại trừ một đặc điểm nhận dạng, như loại sản phẩm. Không phải mọi bài toán đều phù hợp với mô tả này.
Nhiệm vụ khó khăn nhất là xác định tập hợp mục phù hợp để sử dụng trong phân tích. Bằng cách khái quát hóa các mục, có thể đảm bảo tần suất của các mục dùng trong phân tích ở mức tương đương.
Khó khăn trong việc tạo ra quy tắc liên kết khi có các mục hiếm khi xuất hiện trong rất ít giao dịch.