Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các lĩnh vực của khai thác văn bản trong khai thác dữ liệu

Khai thác văn bản còn gọi là phân tích văn bản. Là quy trình chuyển đổi văn bản phi cấu trúc thành dữ liệu có cấu trúc để phân tích đơn giản. Áp dụng NLP để máy hiểu ngôn ngữ con người và xử lý tự động.

Là thủ tục trích xuất thông tin đáng kể từ văn bản ngôn ngữ chuẩn. Dữ liệu từ tin nhắn, bản ghi, email, tệp viết bằng ngôn ngữ phổ thông. Dùng để rút ra thông tin hữu ích hoặc mẫu hình.

Các lĩnh vực của khai thác văn bản trong khai thác dữ liệu:

Truy xuất thông tin (Information Retrieval) – Được coi là bổ sung cho truy xuất tệp và các văn bản được khai báo được xử lý để hợp nhất. Do đó truy xuất tài liệu được theo sau bởi thủ tục tóm tắt văn bản và tập trung vào truy vấn do người dùng hình thành. Hệ thống IR hỗ trợ thu hẹp tập bản ghi liên quan đến vấn đề cụ thể. Khai thác văn bản dùng thuật toán phức tạp cho tập tài liệu lớn. IR cũng làm tiến bộ phân tích đáng kể bằng cách giảm số tài liệu.

Khai thác dữ liệu (Data Mining) – Tìm mối tương quan, mẫu hình, xu hướng mới hữu ích bằng cách duyệt qua lượng lớn dữ liệu lưu trữ, dùng công nghệ nhận diện mẫu thống kê/toán học. Phân tích tập dữ liệu thực tế để phát hiện mối quan hệ chưa ngờ và tóm tắt dữ liệu theo cách mới, hợp lý, hữu ích. Trong khai thác dữ liệu, mẫu ẩn của dữ liệu được xem xét theo nhiều thể loại thành dữ liệu hữu ích. Dữ liệu tập hợp trong kho dữ liệu (data warehouse) để phân tích, chạy thuật toán khai thác dữ liệu. Dữ liệu hỗ trợ ra quyết định hiệu quả, cắt giảm chi phí, tăng doanh thu.

Xử lý ngôn ngữ tự nhiên (NLP) – Nghệ thuật ngôn ngữ con người. Mục đích NLP trong khai thác văn bản: cung cấp hệ thống trong quy trình trích xuất dữ liệu làm đầu vào. Phát triển ứng dụng NLP khó vì máy tính thường yêu cầu con người "nói" với chúng bằng ngôn ngữ lập trình cụ thể, tự do, có cấu trúc cao. Lời nói con người thường không chính xác, dựa trên nhiều biến phức tạp: lóng, bối cảnh xã hội, phương ngữ vùng miền.

Trích xuất thông tin (Information Extraction - IE) – Nhiệm vụ tự động trích xuất dữ liệu có cấu trúc từ phi cấu trúc. Trong trường hợp chung, hoạt động này xử lý văn bản ngôn ngữ con người dùng NLP.