Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Giảm Chiều (Dimensionality Reduction) Là Gì?

Trong giảm chiều, mã hóa hoặc biến đổi dữ liệu được áp dụng để có biểu diễn giảm hoặc "nén" của dữ liệu gốc. Nếu dữ liệu gốc có thể tái tạo từ dữ liệu nén không mất thông tin, gọi là giảm không mất mát (lossless). Nếu dữ liệu tái tạo chỉ xấp xỉ dữ liệu gốc, gọi là giảm mất mát (lossy).

Hai phương pháp giảm mất mát:

  • Biến Đổi Wavelet (Wavelet Transforms) − Biến đổi wavelet rời rạc (DWT) là kỹ thuật xử lý tín hiệu tuyến tính, khi áp dụng cho vectơ dữ liệu X, biến đổi nó thành vectơ X' các hệ số wavelet. Hai vectơ cùng độ dài. Khi dùng cho giảm dữ liệu, xem mỗi tuple như vectơ dữ liệu n chiều, X = (x₁, x₂, ..., xₙ) chỉ n phép đo trên tuple từ n thuộc tính cơ sở dữ liệu.

DWT liên quan chặt chẽ đến biến đổi Fourier rời rạc (DFT). Nói chung, DWT đạt nén mất mát tốt hơn. Nếu giữ cùng số hệ số cho DWT và DFT của một vectơ dữ liệu, phiên bản DWT cho xấp xỉ chính xác hơn dữ liệu gốc. Do đó, cho xấp xỉ tương đương, DWT cần ít dung lượng hơn DFT.

Biến đổi wavelet áp dụng cho dữ liệu đa chiều, bao gồm khối dữ liệu (data cube). Thực hiện bằng cách áp dụng biến đổi cho chiều thứ nhất, sau đó chiều thứ hai, v.v. Độ phức tạp tính toán tuyến tính theo số ô trong khối.

Biến đổi wavelet cho kết quả tốt trên dữ liệu thưa (sparse), lệch (skewed) và dữ liệu thuộc tính có thứ tự. Nén mất mát bằng wavelet tốt hơn nén JPEG (tiêu chuẩn thương mại hiện tại). Ứng dụng thực tế: nén ảnh vân tay, thị giác máy tính, phân tích chuỗi thời gian, làm sạch dữ liệu.

  • Phân Tích Thành Phần Chính (PCA) − Còn gọi là phương pháp Karhunen-Loeve (K-L). Tìm k vectơ trực giao n chiều biểu diễn tốt nhất dữ liệu (k ≤ n). Dữ liệu gốc chiếu lên không gian nhỏ hơn, dẫn đến giảm chiều. Kết hợp bản chất thuộc tính bằng cách tạo tập biến thay thế nhỏ hơn. Dữ liệu gốc chiếu lên tập nhỏ này.