Tiền xử lý dữ liệu là quá trình làm sạch dữ liệu, loại bỏ dữ liệu không hợp lệ, nhiễu, thay thế dữ liệu bằng các giá trị phù hợp, v.v.
Tiền xử lý dữ liệu về cơ bản là tác vụ thu thập tất cả dữ liệu (được thu thập từ nhiều nguồn hoặc một nguồn duy nhất) vào một định dạng chung hoặc các tập dữ liệu thống nhất (tùy thuộc vào loại dữ liệu). Đầu ra của một bước trở thành đầu vào cho bước tiếp theo, và cứ như vậy.
Giá trị trung bình có thể cần được loại bỏ khỏi dữ liệu đầu vào để đạt được kết quả cụ thể. Hãy tìm hiểu cách thực hiện điều này bằng thư viện scikit-learn.
Ví dụ
import numpy as np
from sklearn import preprocessing
input_data = np.array([
[34.78, 31.9, -65.5],
[-16.5, 2.45, -83.5],
[0.5, -87.98, 45.62],
[5.9, 2.38, -55.82]
])
print("Giá trị trung bình là:", input_data.mean(axis=0))
print("Giá trị độ lệch chuẩn là:", input_data.std(axis=0))
data_scaled = preprocessing.scale(input_data)
print("Giá trị trung bình đã bị loại bỏ:", data_scaled.mean(axis=0))
print("Độ lệch chuẩn đã bị loại bỏ:", data_scaled.std(axis=0))
Đầu ra
Giá trị trung bình là: [ 6.17 -12.8125 -39.8 ] Giá trị độ lệch chuẩn là: [18.4708067 45.03642047 50.30754615] Giá trị trung bình đã bị loại bỏ [-2.60208521e-18 -8.32667268e-17 -1.11022302e-16] Độ lệch chuẩn đã bị loại bỏ [1. 1. 1.]
Giải thích
Nhập các gói thư viện cần thiết.
Tạo dữ liệu đầu vào bằng thư viện NumPy.
Tính toán giá trị trung bình và độ lệch chuẩn.
Hiển thị kết quả trên console.
Sử dụng hàm
preprocessing.scale()để loại bỏ giá trị trung bình và độ lệch chuẩn khỏi dữ liệu (chuẩn hóa dữ liệu).Hiển thị dữ liệu đã được chuẩn hóa trên console.
Lưu ý: Hàm preprocessing.scale() thực hiện chuẩn hóa Z-score, biến đổi dữ liệu sao cho giá trị trung bình bằng 0 và độ lệch chuẩn bằng 1.