Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Tích Hợp Dữ Liệu (Data Integration) Là Gì?

Tích hợp dữ liệu là giai đoạn kết hợp dữ liệu từ nhiều nguồn phân tán. Khi triển khai tích hợp, cần xử lý sự dư thừa, không nhất quán, trùng lặp. Trong khai thác dữ liệu, tích hợp dữ liệu là kỹ thuật tiền xử lý gộp dữ liệu từ nhiều nguồn dị chất thành dữ liệu liên tục để giữ và hỗ trợ góc nhìn tổng hợp của thông tin.

Nó kết hợp dữ liệu từ nhiều nguồn thành kho dữ liệu liên tục, bao gồm trong kho dữ liệu (data warehousing). Nguồn có thể là nhiều cơ sở dữ liệu, khối dữ liệu, hoặc file phẳng. Có nhiều vấn đề cần cân nhắc khi tích hợp dữ liệu.

  • Tích hợp schema và khớp đối tượng có thể phức tạp. Ví dụ: khớp nhận diện thực thể (emp_id trong CSDL này và emp_no trong CSDL khác), vấn đề này có thể ngăn ngừa bằng metadata.

  • Dư thừa là vấn đề khác. Thuộc tính như doanh thu hàng năm có thể dư thừa nếu có thể dẫn xuất từ thuộc tính khác. Không nhất quán đặt tên thuộc tính/chiều cũng tạo dư thừa trong tập dữ liệu xuất hiện.

  • Một số dư thừa có thể phát hiện bằng phân tích tương quan. Cho hai thuộc tính, phân tích này tính mức độ một thuộc tính ngụ ý thuộc tính kia, dựa trên dữ liệu có sẵn. Với thuộc tính số, đánh giá tương quan giữa A và B bằng hệ số tương quan (Pearson's product-moment coefficient):

$$r_{A,B}=\frac{\sum_{i=1}^{n}(a_{i}-A')(b_{i}-B')}{N\sigma _{A}\sigma _{B}}=\frac{\sum_{i=1}^{n}(a_{i}b_{i})-NA'B'}{N\sigma _{A}\sigma _{B}}$$

trong đó N là số tuple, a_i và b_i là giá trị tương ứng của A và B trong tuple i, A' và B' là giá trị trung bình, σ_A và σ_B là độ lệch chuẩn, Σ(a_i b_i) là tổng tích chéo AB.

Tương quan không ngụ ý nhân quả. Nếu A và B tương quan, không nhất thiết A gây B hoặc B gây A. Ví dụ: trong CSDL dân số, thuộc tính số bệnh viện và số trộm xe trong khu vực tương quan. Không có nghĩa một gây ra cái kia. Cả hai thường liên quan đến thuộc tính thứ ba như dân số.

Vấn đề quan trọng thứ ba trong tích hợp dữ liệu là phát hiện và giải quyết xung đột giá trị dữ liệu. Ví dụ: cho cùng thực thể thực tế, giá trị thuộc tính từ nhiều nguồn có thể khác nhau. Do khác biệt biểu diễn, thang đo, hoặc mã hóa.