Data mining là quy trình tìm tương quan, pattern, xu hướng mới từ dữ liệu lớn dùng pattern recognition, thống kê, toán học. Phân tích dataset thực tế khám phá mối quan hệ bất ngờ, tóm tắt bản ghi mới logic và hữu ích.
Các vấn đề liên quan:
- Vấn đề quyền riêng tư (Privacy) – Vấn đề cơ bản, không phải công nghệ mà xã hội. Phân tích giao dịch thường nhật thu thập thói quen mua sắm, sở thích cá nhân.
- Vấn đề toàn vẹn dữ liệu (Data integrity) – Thách thức triển khai: hợp nhất thông tin mâu thuân/dư thừa từ nhiều nguồn. Ví dụ: ngân hàng lưu tài khoản thẻ tín dụng trên DB khác nhau. Địa chỉ chủ thẻ khác nhau. Phần mềm phải chuyển đổi và chọn địa chỉ mới nhất.
- Cấu trúc quan hệ (Relational) hay đa chiều (Multidimensional) – Vấn đề kỹ thuật: relational (bảng, ad-hoc query) hay multidimensional (cubes, mảng, subset theo category). Multidimensional hỗ trợ data mining đa chiều tốt hơn, nhưng relational hoạt động tốt hơn môi trường client/server.
- Chi phí (Cost) – Query data mining càng hiệu quả → thông tin càng giá trị → áp lực thu thập nhiều dữ liệu hơn → cần hệ thống lớn, nhanh, đắt hơn.
- Chất lượng dữ liệu (Data quality) – Thách thức lớn nhất. Độ chính xác và toàn vẹn. Cấu trúc và tính nhất quán cũng ảnh hưởng. Dữ liệu trùng lặp, thiếu tiêu chuẩn, cập nhật không kịp thời, lỗi người → giảm hiệu quả data mining phức tạp.
- Tương tác vận hành (Interoperability) – Khả năng hệ thống/dữ liệu hoạt động với hệ thống khác dùng tiêu chuẩn chung. Cho data mining, interoperability của DB và phần mềm cần thiết để tìm kiếm/phân tích nhiều DB cùng lúc và tương thích hoạt động data mining đa cơ quan.