Khái quát hóa dữ liệu tóm tắt dữ liệu bằng cách thay thế các giá trị cấp thấp (bao gồm giá trị số cho thuộc tính tuổi) bằng khái niệm cấp cao (bao gồm trẻ, trung niên, và cao niên). Do đó, đó là quy trình trừu tượng hóa một tập lớn thông tin liên quan đến nhiệm vụ trong cơ sở dữ liệu từ mức khái niệm thấp tương đối sang các mức khái niệm cao hơn.
Dưới đây là hai phương pháp cho khái quát hóa hiệu quả và linh hoạt của tập dữ liệu lớn:
Phương pháp OLAP – Công nghệ khối dữ liệu (data cube) có thể được xem như phương pháp dựa trên kho dữ liệu, hướng tiền tính toán, góc nhìn vật thể hóa. Nó thực hiện tổng hợp ngoại tuyến trước khi truy vấn OLAP hoặc khai thác dữ liệu được chuyển cho xử lý.
Phương pháp quy nạp hướng thuộc tính (Attribute-oriented induction approach) – Đây là phương pháp phân tích dữ liệu trực tuyến, dựa trên khái quát hóa, hướng truy vấn cơ sở dữ liệu quan hệ. Trong quy nạp hướng thuộc tính, trước hết, thông tin liên quan nhiệm vụ được thu thập dùng truy vấn cơ sở dữ liệu quan hệ và sau đó khái quát hóa được thực hiện dựa trên kiểm tra các giá trị riêng biệt của mỗi thuộc tính trong tập dữ liệu liên quan.
Khái quát hóa được thực hiện bằng cách loại bỏ thuộc tính. Bằng cách kết hợp các tuple khái quát hóa giống nhau và tích lũy số lượng của chúng thực hiện tổng hợp, giảm kích thước tập dữ liệu khái quát hóa và trình bày tương tác với người dùng.
Nguyên tắc cơ bản của phương pháp quy nạp hướng thuộc tính –
- Tập trung dữ liệu (Data focusing) – Dữ liệu phải liên quan nhiệm vụ, như chiều và kết quả là quan hệ gốc.
- Loại bỏ thuộc tính (Attribute-removal) – Có thể chọn tập thuộc tính liên quan hoặc loại bỏ thuộc tính A nếu có tập lớn giá trị cụ thể cho A nhưng không có toán tử khái quát hóa trên A, hoặc khái niệm cấp cao của A được định nghĩa dưới dạng thuộc tính bổ sung.
- Khái quát hóa thuộc tính (Attribute generalization) – Nếu có tập lớn giá trị riêng biệt cho A, và tồn tại tập toán tử khái quát hóa trên A, thì chọn toán tử và khái quát hóa A.
- Đặc trưng hóa phân tích (Analytical characterization) – Là phương pháp thống kê tiền xử lý dữ liệu để lọc bỏ thuộc tính không liên quan hoặc xếp hạng thuộc tính liên quan. Phép đo phân tích liên quan thuộc tính có thể dùng để phân tích thuộc tính không liên quan có thể loại khỏi quy trình mô tả khái niệm. Việc bao gồm bước tiền xử lý này vào đặc trưng hóa lớp hoặc so sánh được định nghĩa là đặc trưng hóa phân tích.
Lý do cho phân tích liên quan thuộc tính
Có một số lý do cho phân tích liên quan thuộc tính như sau:
Có thể xác định chiều nào nên bao gồm.
Có thể đạt mức khái quát hóa cao.
Có thể giảm số thuộc tính hỗ trợ chúng ta hiểu mẫu dễ dàng.
Khái niệm cơ bản đằng sau phân tích liên quan thuộc tính là đánh giá một số phép đo có thể tính độ liên quan của thuộc tính về một lớp hoặc phương pháp cho trước. Các phép đo này bao gồm information gain, ambiguity, và correlation coefficient.