Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Tại sao dùng Support và Confidence trong khai thác dữ liệu?

Hỗ trợ (Support) là một đo lường thực chất (substantial measure) vì một quy tắc có hỗ trợ rất thấp có thể xuất hiện dễ dàng bởi cơ hội (chance). Quy tắc hỗ trợ thấp cũng khả thi là nhàm chán (tedious) từ quan điểm kinh doanh vì nó không thể có lợi để quảng bá các mặt hàng mà người dùng hiếm khi mua cùng nhau.

Một quy tắc liên kết (association rule) là mô tả suy ra (implication description) dạng X→Y trong đó X và Y là tập mục rời rạc (disjoint itemsets), tức là X∩Y=∅. Độ bền (strength) của một quy tắc liên kết có thể được tính theo thuật ngữ hỗ trợ (support) và độ tin cậy (confidence). Hỗ trợ quyết định một quy tắc có sẵn như thế nào cho một tập dữ liệu cho trước, trong khi độ tin cậy quyết định mặt hàng trong Y xuất hiện bao nhiêu lần trong các giao dịch bao gồm X.

Độ tin cậy (Confidence) đo lường độ chính xác của suy ra được tạo bởi một quy tắc. Đối với quy tắc dạng X→Y, độ tin cậy càng lớn, càng dễ chấp nhận Y hiện diện trong các giao dịch bao gồm X. Độ tin cậy cũng cung cấp ước lượng của xác suất có điều kiện của Y cho trước X.

Kết quả phân tích liên kết (Association analysis) phải được thực hiện cẩn thận. Suy ra được tạo bởi quy tắc liên kết không nhất thiết chỉ ra nhân quả (causality). Thay vào đó, nó gợi ý một mối quan hệ đồng xuất hiện (co-occurrence relationship) mạnh mẽ giữa các yếu tố trong tiền đề (antecedent) và kết quả (consequent) của quy tắc. Nhân quả cần kiến thức về thuộc tính nguyên nhân và kết quả trong thông tin và thường chứa các mối quan hệ xuất hiện theo thời gian.

Vấn đề khai thác quy tắc liên kết có thể được nêu như sau:

Khám phá Quy tắc Liên kết (Association Rule Discovery) — Cho một tập giao dịch T, khám phá một số quy tắc có hỗ trợ ≥ minsup và độ tin cậy ≥ minconf, nơi minsup và minconf là ngưỡng hỗ trợ và độ tin cậy tương ứng.

Một phương pháp brute-force cho khai thác quy tắc liên kết là tính hỗ trợ và độ tin cậy cho mỗi quy tắc áp dụng. Phương pháp này tốn kém mạnh vì có số mũ các quy tắc có thể được sao chép từ một tập dữ liệu.

Một bước gốc để cải thiện triển khai thuật toán khai thác quy tắc liên kết là tách rời yêu cầu hỗ trợ và độ tin cậy. Nếu tập mục là lẻ (infrequent), do đó tất cả sáu quy tắc ứng viên có thể được cắt tỉa trực tiếp mà không cần tính giá trị độ tin cậy của chúng.

Do đó, một chiến lược chung offshore bởi một số thuật toán khai thác quy tắc liên kết là phân giải vấn đề thành hai nhiệm vụ phụ chính:

Tạo tập mục thường xuyên (Frequent Itemset Generation) — Mục tiêu là khám phá một số tập mục đáp ứng ngưỡng. Các tập mục này được gọi là tập mục thường xuyên (frequent itemsets).

Tạo quy tắc (Rule Generation) — Mục tiêu là trích xuất một số quy tắc độ tin cậy cao từ các tập mục thường xuyên được khám phá ở bước trước. Các quy tắc này được gọi là quy tắc mạnh (strong rules). Yêu cầu tính toán cho tạo tập mục thường xuyên thường tốn kém hơn tạo quy tắc.