Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Phân Loại Dữ Liệu (Data Classification) Là Gì?

Phân loại là phương pháp khai thác dữ liệu dùng dự đoán thành viên nhóm cho instance dữ liệu. Là thủ tục hai bước. Bước đầu, xây dựng mô hình định nghĩa tập lớp dữ liệu hoặc phương pháp xác định. Mô hình phát triển bằng cách xem xét tuple CSDL định nghĩa bởi thuộc tính.

Mỗi tuple được coi thuộc về lớp định nghĩa trước, quyết định bởi một thuộc tính, gọi là thuộc tính nhãn lớp (class label attribute). Trong khung phân loại, tuple dữ liệu cũng gọi là mẫu (samples), ví dụ (examples), hoặc đối tượng (objects). Các tuple phân tích phát triển mô hình cùng tạo thành tập dữ liệu huấn luyện (training data set). Các tuple đơn lẻ tạo thành tập huấn luyện gọi là mẫu huấn luyện (training samples) và chọn ngẫu nhiên từ tổng thể mẫu.

Vì nhãn lớp của mỗi mẫu huấn luyện được hỗ trợ, thủ tục này cũng gọi là học có giám sát (supervised learning). Trong học không giám sát (unsupervised learning), nhãn lớp mẫu huấn luyện ẩn danh, và nhiều lớp cần học có thể không biết trước.

Mô hình học được mô tả dưới dạng quy tắc phân loại, cây quyết định, hoặc công thức số. Ví dụ: cho CSDL dữ liệu tín dụng người dùng, quy tắc phân loại học được để xác định người dùng có tín dụng tốt hay khá. Quy tắc dùng phân loại mẫu dữ liệu tương lai, hỗ trợ hiểu tốt nội dung CSDL.

Phương pháp holdout là kỹ thuật đơn giản áp dụng tập test mẫu có nhãn lớp. Mẫu này chọn ngẫu nhiên và độc lập với mẫu huấn luyện. Hiệu quả mô hình trên tập test cho trước là phần trăm mẫu test được phân loại đúng bởi mô hình. Với mỗi mẫu test, nhãn lớp thật so sánh với dự đoán lớp của mô hình học cho mẫu đó.

Nếu hiệu quả mô hình ước lượng dựa trên tập huấn luyện, ước lượng này có thể lạc quan vì mô hình học xu hướng overfit dữ liệu (tức là kết hợp một số bất thường cụ thể của thông tin huấn luyện không hiện diện trong tổng thể mẫu). Do đó, tập test được dùng.

  • Học (Learning) − Thông tin huấn luyện phân tích bởi thuật toán phân loại. Do đó, thuộc tính nhãn lớp là xếp hạng tín dụng, mô hình học hoặc bộ phân loại mô tả dưới dạng quy tắc phân loại.

  • Phân Loại (Classification) − Dữ liệu test dùng đo hiệu quả quy tắc phân loại. Nếu hiệu quả chấp nhận được, quy tắc dùng cho phân loại tuple dữ liệu mới.