Data cleaning (làm sạch dữ liệu) là điền giá trị thiếu, làm mượt dữ liệu nhiễu (noisy), phân tích và loại bỏ giá trị ngoại lai (outliers), loại bỏ không nhất quán (inconsistencies). Đôi khi dữ liệu ở nhiều mức độ chi tiết khác yêu cầu, ví dụ cần độ tuổi 20-30, 30-40, 40-50 mà dữ liệu nhập là ngày sinh. Làm sạch bằng cách tách dữ liệu thành kiểu phù hợp.
Các loại làm sạch dữ liệu
- Missing Values (Giá trị thiếu) – Điền giá trị phù hợp. Các cách:
- Bỏ qua tuple nếu nhiều thuộc tính thiếu.
- Điền thủ công.
- Dùng hằng số toàn cục.
- Dùng giá trị trung bình thuộc tính.
- Dùng giá trị có xác suất cao nhất.
- Noisy data (Dữ liệu nhiễu) – Nhiễu là sai số ngẫu nhiên hoặc phương sai biến đo lường. Các phương pháp làm mượt:
- Binning – Làm mượt giá trị bằng cách tham khảo "láng giềng" (giá trị xung quanh). Phân chia giá trị thành các bucket/bin. Vì tham khảo láng giềng → local smoothing.
- Regression – Khớp dữ liệu vào hàm (hồi quy). Linear regression tìm đường thẳng tốt nhất cho 2 biến. Multiple linear regression mở rộng cho >2 biến, khớp không gian đa chiều.
- Clustering – Phân cụm giúp xác định outliers. Giá trị giống nhau gom cụm, giá trị ngoài cụm là outliers.
- Kết hợp máy tính và kiểm tra thủ công – Outliers nhận diện bởi máy và người. Pattern outliers có thể mô tả hoặc rác. Pattern có giá trị ngạc nhiên xuất ra danh sách.
- Inconsistent data (Dữ liệu không nhất quán) – Không nhất quán ghi nhận trong các transaction, nhập liệu, hoặc tích hợp đa nguồn. Một số redundancy nhận diện bằng phân tích tương quan. Tích hợp chính xác từ nhiều nguồn giảm thiểu redundancy.