KDD là viết tắt của Knowledge Discovery in Databases (Khám phá tri thức trong cơ sở dữ liệu). Nó định nghĩa quy trình rộng khám phá tri thức trong dữ liệu và nhấn mạnh ứng dụng mức cao của các kỹ thuật khai thác dữ liệu cụ thể. Đây là lĩnh vực quan tâm của các nhà nghiên cứu trong nhiều lĩnh vực, như trí tuệ nhân tạo, học máy, nhận diện mẫu, cơ sở dữ liệu, thống kê, thu thập tri thức cho hệ thống chuyên gia, và trực quan hóa dữ liệu.
Mục tiêu chính của quy trình KDD là trích xuất tri thức từ thông tin trong bối cảnh cơ sở dữ liệu lớn. Nó làm điều này bằng cách sử dụng thuật toán Khai thác Dữ liệu để nhận diện cái được coi là tri thức.
Khám phá Tri thức trong Cơ sở dữ liệu được xem như một phân tích khám phá và mô hình hóa có chương trình của các kho dữ liệu lớn. KDD là quy trình có tổ chức xác định các mẫu hợp lệ, hữu ích, và dễ hiểu từ tập dữ liệu lớn và phức tạp.
Khai thác Dữ liệu là cốt lõi của quy trình KDD, như việc suy ra các thuật toán điều tra bản ghi, phát triển mô hình, và khám phá các mẫu trước đó không biết. Mô hình được dùng để trích xuất tri thức từ thông tin, phân tích thông tin, và dự đoán thông tin.
Khai thác dữ liệu là một bước trong quy trình KDD bao gồm áp dụng các thuật toán phân tích và khám phá dữ liệu mà, dưới giới hạn hiệu quả tính toán chấp nhận được, làm một liệt kê cụ thể các mẫu (hoặc mô hình) trên dữ liệu.
Quy trình KDD bao gồm sử dụng cơ sở dữ liệu cùng với một số lựa chọn, tiền xử lý, lấy mẫu con, và biến đổi cần thiết của nó; sử dụng phương pháp khai thác dữ liệu (thuật toán) để liệt kê mẫu từ nó; và đánh giá sản phẩm của khai thác dữ liệu để nhận diện tập con của các mẫu được liệt kê được coi là tri thức.
Các bước liên quan trong quy trình khám phá tri thức như sau:
- Lựa chọn (Selection) – Dữ liệu cần cho quy trình khai thác dữ liệu được thu thập từ nhiều nguồn. Do đó, bước đầu tiên là chọn tập dữ liệu hoặc tập trung vào tập con biến hoặc mẫu dữ liệu mà khám phá sẽ được thực hiện.
- Làm sạch và tiền xử lý dữ liệu (Data cleaning and preprocessing) – Dữ liệu được dùng bởi quy trình có thể chứa giá trị thiếu hoặc sai nên các phép toán cơ bản bao gồm loại bỏ nhiễu, thu thập thông tin cần thiết để mô hình hóa hoặc tính toán cho nhiễu, quyết định kỹ thuật xử lý trường dữ liệu thiếu, và tính toán thông tin trình tự thời gian, được hoàn thành ở bước thứ hai của quy trình KDD.
- Biến đổi dữ liệu (Data transformation) – Bước này bao gồm tìm đặc trưng hữu ích để biểu diễn dữ liệu tùy thuộc vào mục tiêu nhiệm vụ. Với giảm chiều hoặc phương pháp biến đổi, số biến hiệu quả đang xem xét có thể được giảm, hoặc biểu diễn bất biến cho dữ liệu có thể được khám phá.
- Khai thác dữ liệu (Data mining) – Dựa trên nhiệm vụ khai thác dữ liệu đang thực hiện, bước này áp dụng thuật toán cho dữ liệu đã biến đổi, tìm kiếm các mẫu quan tâm trong một dạng biểu diễn cụ thể hoặc tập hợp các biểu diễn cụ thể, bao gồm quy tắc phân loại hoặc cây, hồi quy, và phân cụm.
- Diễn giải mẫu đã khai thác (Interpreting mined patterns) – Bước này cũng có thể liên quan đến trực quan hóa các mẫu và mô hình được trích xuất hoặc trực quan hóa dữ liệu cho trước trong các mô hình được trích xuất.