Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Trích Xuất Dữ Liệu (Data Extraction) Là Gì?

Trích xuất là dịch vụ lấy thông tin từ hệ thống nguồn để hỗ trợ thêm trong môi trường kho dữ liệu. Là thủ tục đầu tiên của quy trình ETL. Sau trích xuất, dữ liệu này chuyển đổi và nạp vào kho dữ liệu. Hệ thống nguồn cho kho dữ liệu thường là phần mềm xử lý giao dịch. Hệ thống nguồn cho kho dữ liệu phân tích bán hàng có thể là hệ thống nhập đơn hàng ghi lại tất cả hoạt động đơn hàng hiện tại.

Trích xuất dữ liệu là nơi dữ liệu được xem xét và di chuyển qua để lấy thông tin liên quan từ nguồn dữ liệu (như CSDL) trong thiết kế xác định. Xử lý dữ liệu thêm hoàn thành, chứa chèn metadata và tích hợp dữ liệu khác; thủ tục khác trong quy trình làm việc dữ liệu.

Thể tích lớn trích xuất dữ liệu xuất hiện từ nguồn dữ liệu không cấu trúc và nhiều cấu trúc dữ liệu. Dữ liệu không cấu trúc này có thể bất kỳ dạng: bảng, chỉ mục, phân tích.

Dữ liệu trong kho xuất hiện từ nhiều nguồn, kho dữ liệu cần ba kỹ thuật khác nhau dùng dữ liệu đến. Các quy trình gọi là Trích Xuất, Chuyển Đổi, và Nạp (ETL).

Quy trình trích xuất dữ liệu chứa truy xuất thông tin từ nguồn dữ liệu rối rắm. Trích xuất dữ liệu nạp vào giai đoạn staging của CSDL quan hệ. Do đó logic trích xuất dùng và hệ thống nguồn được hỏi dữ liệu dùng giao diện lập trình phần mềm.

Loại Công Cụ Trích Xuất Dữ Liệu

Các loại công cụ trích xuất dữ liệu:

Công cụ xử lý batch (Batch processing tools) − Công cụ trích xuất dữ liệu kế thừa xây dữ liệu theo batch, thường ngoài giờ làm việc để giảm ảnh hưởng dùng lượng lớn công suất đánh giá. Cho setting đóng, on-premise với tập nguồn dữ liệu tương đối đồng nhất, giải pháp trích xuất batch có thể là phương pháp tốt nhất.

Công cụ mã nguồn mở (Open source tools) − Công cụ open source phù hợp ngân sách hạn chế, xem xét khung hỗ trợ và kiến thức trong khu vực. Nhiều nhà cung cấp cung cấp phiên bản giới hạn hoặc "light" sản phẩm như open-source.

Công cụ dựa trên đám mây (Cloud-based tools) − Công cụ đám mây là thế hệ hiện tại sản phẩm trích xuất. Mục tiêu trích xuất dữ liệu thời gian thực như phần tử ETL/ELT và công cụ đám mây xuất sắc trong không gian này, tận dụng mọi thứ đám mây hỗ trợ lưu trữ và phân tích dữ liệu. Công cụ này cũng lấy ra vấn đề bảo mật và tuân thủ vì nhà cung cấp đám mây hiện nay tiếp tục nhắm vào lĩnh vực này, loại bỏ yêu cầu xây dựng chuyên môn này nội bộ.