Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các phép biến đổi khai thác dữ liệu là gì?

Khai thác dữ liệu là quá trình tìm các tương quan, mẫu, và xu hướng mới hữu ích bằng cách chuyển qua lượng lớn dữ liệu lưu trữ trong kho, sử dụng công nghệ nhận diện mẫu bao gồm kỹ thuật thống kê và toán học. Là phân tích tập dữ liệu thực tế để khám phá mối quan hệ không ngờ tới và tóm tắt bản ghi theo phương pháp mới vừa logic vừa hữu ích cho chủ sở hữu dữ liệu.

Có nhiều phép biến đổi của khai thác dữ liệu như sau:

Gắn cờ sự thật bình thường, bất thường, ngoài giới hạn, hoặc không thể – Đánh dấu sự thật được đo lường với cờ đặc biệt có thể hoàn toàn hữu ích. Một số sự thật được đo lường có thể chính xác nhưng rất bất thường. Có lẽ sự thật này được thiết lập trên mẫu nhỏ hoặc hoàn cảnh cụ thể.

Sự thật khác có thể hiện diện trong dữ liệu nhưng phải được coi là không thể hoặc không thể giải thích. Đối với mỗi hoàn cảnh này, tốt hơn là đánh dấu dữ liệu với cờ trạng thái để nó có thể được ràng buộc vào hoặc ra khỏi phân tích, thay vì xóa giá trị bất thường khỏi bảng.

Một cách tốt để xử lý các trường hợp này là tạo chiều trạng thái dữ liệu đặc biệt cho bản ghi sự thật. Có thể dùng chiều này như ràng buộc và định nghĩa trạng thái của mỗi sự thật.

Nhận diện giá trị ngẫu nhiên hoặc nhiễu từ ngữ cảnh và che mặt nạ – Một trường hợp đặc biệt của biến đổi trước là nhận diện khi hệ thống legacy đã cung cấp số ngẫu nhiên thay vì sự thật thực. Điều này có thể xảy ra khi không có giá trị nào được ý định giao bởi hệ thống legacy, nhưng một số còn lại trong bộ đệm đã được truyền xuống kho dữ liệu. Khi trường hợp này được xác định, số ngẫu nhiên nên được khôi phục bằng giá trị null.

Áp dụng xử lý thống nhất cho giá trị null – Công cụ khai thác dữ liệu nhạy cảm với sự phân biệt giữa "không thể tồn tại" và "tồn tại nhưng không biết". Một số chuyên gia khai thác dữ liệu gán giá trị có xác suất cao nhất hoặc trung vị trong trường hợp thứ hai để phần còn lại của bản ghi bảng sự thật có thể tham gia phân tích.

Điều này có thể được thực hiện hoặc trong dữ liệu gốc bằng cách ghi đè giá trị null với giá trị ước lượng, hoặc có thể được xử lý bởi công cụ khai thác dữ liệu tinh vi biết cách xử lý dữ liệu null với các tùy chọn phân tích khác nhau.

Gắn cờ bản ghi sự thật với trạng thái thay đổi – Một biến đổi dữ liệu hữu ích là thêm chỉ báo trạng thái đặc biệt vào bản ghi bảng sự thật để chỉ ra rằng trạng thái của tài khoản đó (hoặc khách hàng hoặc sản phẩm hoặc vị trí) vừa thay đổi hoặc sắp thay đổi. Chỉ báo trạng thái được triển khai như một chiều trạng thái trong thiết kế star join.