Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Giảm Số Lượng (Numerosity Reduction) Là Gì?

Trong giảm số lượng, thể tích dữ liệu được giảm bằng cách chọn dạng biểu diễn dữ liệu thay thế, nhỏ hơn. Các kỹ thuật có thể tham số hoặc không tham số. Với phương pháp tham số, mô hình ước lượng dữ liệu, chỉ lưu tham số mô hình thay vì dữ liệu thực tế, ví dụ: mô hình log-linear. Phương pháp không tham số lưu biểu diễn giảm của dữ liệu bao gồm histogram, cụm (clustering) và lấy mẫu (sampling).

Các kỹ thuật giảm số lượng:

Hồi quy và Mô Hình Log-Linear − Dùng để xấp xỉ dữ liệu. Trong hồi quy tuyến tính, dữ liệu khớp với đường thẳng. Ví dụ: biến y (phụ thuộc) mô hình hóa như hàm tuyến tính của x (độc lập) với phương trình y = wx + b, phương sai y hằng số.

Mô Hình Log-Linear − Dùng để xấp xỉ phân phối xác suất đa chiều rời rạc. Cho tập tuple n chiều (theo n thuộc tính), xem mỗi tuple như điểm trong không gian n chiều. Mô hình log-linear đo xác suất mỗi điểm trong không gian đa chiều cho tập thuộc tính đã rời rạc, dựa trên tập con nhỏ hơn các tổ hợp chiều. Điều này cho phép tạo trường dữ liệu chiều cao từ không gian chiều thấp.

Histogram − Sử dụng binning để xấp xỉ phân phối dữ liệu, dạng phổ biến của giảm dữ liệu. Histogram cho thuộc tính A chia phân phối dữ liệu của A thành các tập con rời rạc (bucket). Nếu mỗi bucket chỉ biểu diễn một cặp giá trị-tần suất, gọi là bucket đơn (singleton bucket).

Cụm (Clustering) − Xem tuple dữ liệu như đối tượng. Phân hoạch đối tượng thành nhóm/cụm sao cho đối tượng trong cùng cụm "tương đồng" và "khác biệt" với đối tượng cụm khác. Thường định nghĩa bằng độ "gần" trong không gian, dựa trên hàm khoảng cách.

Chất lượng cụm có thể định nghĩa bằng đường kính (khoảng cách lớn nhất giữa hai đối tượng trong cụm). Khoảng cách centroid là thước đo thay thế, là khoảng cách trung bình từ mỗi đối tượng cụm đến centroid cụm (điểm "đối tượng trung bình").

Lấy Mẫu (Sampling) − Dùng như phương pháp giảm dữ liệu vì cho phép tập dữ liệu lớn được biểu diễn bằng mẫu ngẫu nhiên nhỏ hơn nhiều (hoặc tập con) của thông tin.