Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các nhiệm vụ trong tiền xử lý dữ liệu (Data Preprocessing) là gì?

Có các bước chính liên quan đến tiền xử lý dữ liệu, cụ thể là: làm sạch dữ liệu, tích hợp dữ liệu, giảm dữ liệu, và biến đổi dữ liệu như sau:

Làm sạch dữ liệu (Data Cleaning) − Các trình làm sạch dữ liệu hoạt động để "làm sạch" thông tin bằng cách điền giá trị thiếu, làm mịn thông tin nhiễu, nhận diện hoặc loại bỏ giá trị ngoại lai, và giải quyết sự lệch. Nếu người dùng hiểu dữ liệu bẩn, họ không tin kết quả khai phá dữ liệu nào đã được dùng.

Hơn nữa, dữ liệu bẩn có thể gây nhầm lẫn cho giai đoạn khai phá, dẫn đến đầu ra không ổn định. Một số trình khai phá có giai đoạn xử lý thông tin không hoàn chỉnh hoặc nhiễu, chúng không phải lúc nào cũng mạnh mẽ. Thay vào đó, chúng có thể tập trung vào ngăn chặn overfitting thông tin vào hàm được mô hình hóa.

Tích hợp dữ liệu (Data Integration) − Tích hợp dữ liệu là thủ tục hợp nhất dữ liệu từ một vài nguồn khác biệt. Khi thực hiện tích hợp dữ liệu, phải làm việc về dư thừa dữ liệu, sự không nhất quán, trùng lặp, v.v. Trong khai phá dữ liệu, tích hợp dữ liệu là phương pháp tiền xử lý bản ghi bao gồm hợp nhất dữ liệu từ một vài nguồn dữ liệu dị chất thành dữ liệu liên kết để giữ và cung cấp góc nhìn thống nhất của dữ liệu.

Tích hợp dữ liệu đặc biệt quan trọng trong ngành y tế. Dữ liệu tích hợp từ nhiều dữ liệu bệnh nhân và phòng khám hỗ trợ bác sĩ nhận diện rối loạn y tế và bệnh bằng cách tích hợp dữ liệu từ nhiều hệ thống vào góc nhìn đơn lẻ của dữ liệu hữu ích từ đó có thể suy ra cái nhìn sâu sắc có lợi.

Giảm dữ liệu (Data Reduction) − Mục tiêu của Giảm dữ liệu là biểu diễn nó compacter. Khi kích thước dữ liệu nhỏ hơn, đơn giản hơn để dùng thuật toán phức tạp và tốn kém tính toán. Giảm dữ liệu có thể về mặt số hàng (bản ghi) hoặc số cột (chiều).

Trong giảm chiều, lược đồ mã hóa dữ liệu được dùng để đạt được mô tả giảm hoặc "nén" của dữ liệu ban đầu. Ví dụ bao gồm phương pháp nén dữ liệu (ví dụ: biến đổi wavelet và phân tích thành phần chính), chọn tập con thuộc tính (ví dụ: loại bỏ thuộc tính không liên quan), và xây dựng thuộc tính (ví dụ: tập nhỏ thuộc tính hữu ích hơn được tạo từ tập ban đầu).

Trong giảm số lượng (numerosity reduction), dữ liệu được khôi phục bằng mô tả thay thế nhỏ hơn dùng mô hình tham số như hồi quy hoặc mô hình log-linear hoặc mô hình phi tham số như histogram, cụm, lấy mẫu, hoặc tổng hợp dữ liệu.

Biến đổi dữ liệu (Data transformation) − Trong biến đổi dữ liệu, nơi dữ liệu được biến đổi hoặc liên kết thành hình thức áp dụng cho khai phá bằng cách thực hiện các phép toán tóm tắt hoặc tổng hợp. Trong Biến đổi dữ liệu, bao gồm:

Làm mịn (Smoothing) − Hoạt động để loại bỏ nhiễu từ dữ liệu. Kỹ thuật này bao gồm binning, hồi quy, và cụm hóa.

Tổng hợp (Aggregation) − Trong tổng hợp, nơi hàm tóm tắt hoặc tổng hợp được áp dụng cho dữ liệu. Ví dụ, dữ liệu bán hàng hàng ngày có thể được tổng hợp để tính tổng số tháng và năm. Thủ tục này thường dùng trong phát triển khối dữ liệu cho phân tích bản ghi ở nhiều độ chi tiết.