Khai thác văn bản còn gọi là phân tích văn bản. Là quy trình chuyển đổi văn bản phi cấu trúc thành dữ liệu có cấu trúc để phân tích đơn giản. Áp dụng NLP để máy hiểu ngôn ngữ con người và xử lý tự động.
Là quá trình trích xuất thông tin thiết yếu từ văn bản ngôn ngữ chuẩn. Dữ liệu từ tin nhắn, bản ghi, email, tệp viết bằng ngôn ngữ phổ thông. Khai thác văn bản thường dùng để rút ra thông tin hữu ích hoặc mẫu hình.
Là phương pháp tự động dùng NLP để suy ra thông tin giá trị từ văn bản phi cấu trúc. Bằng cách chuyển dữ liệu thành thông tin máy hiểu, khai thác văn bản tự động hóa việc xác định văn bản theo cảm xúc, chủ đề và ý định.
Có hai phương pháp: Lọc (Filtering) và Stemming (Streaming). Lọc loại bỏ từ không mong muốn hoặc dữ liệu liên quan. Stemming hỗ trợ gốc cho các từ liên quan. Sau stemming, mỗi từ được xác định bởi nút gốc của nó.
Mục tiêu chính của khai thác văn bản: cho phép người dùng trích xuất thông tin từ tài sản dựa trên văn bản và xử lý các hoạt động như Truy xuất (Retrieval), Trích xuất (Extraction), Tóm tắt (Summarization), Phân loại (Categorization - có giám sát), Phân cụm (Clustering - không giám sát), Phân đoạn (Segmentation) và Liên kết (Association).
Lý do chính áp dụng khai thác văn bản: cạnh tranh gay gắt trong ngành kinh doanh, các tổ chức tìm giải pháp tăng giá trị để cạnh tranh. Với cạnh tranh tăng và góc nhìn người dùng thay đổi, tổ chức đầu tư lớn để có giải pháp phân tích dữ liệu người dùng và đối thủ nhằm cải thiện khả năng cạnh tranh.
Khai thác văn bản hữu ích cho quản lý dữ liệu văn bản. Dữ liệu văn bản phi cấu trúc, khó thao tác, mơ hồ, do đó khai thác văn bản trở thành phương pháp hữu ích nhất cho trao đổi dữ liệu trong khi khai thác dữ liệu dùng cho dữ liệu kinh doanh.
Mỗi ngày tạo ra lượng lớn bản ghi và dữ liệu mới qua hoạt động kinh tế, học thuật, xã hội, nhiều với giá trị kinh tế - xã hội tiềm năng. Cần các kỹ thuật bao gồm khai thác văn bản, dữ liệu và phân tích để khai thác tiềm năng này. Mục tiêu là giảm nỗ lực lấy dữ liệu từ tập lớn tài liệu văn bản.
- Dữ liệu có cấu trúc (Structured Data) – Lưu trữ trong database SQL bảng hàng/cột. Có khóa quan hệ, dễ ánh xạ vào trường thiết kế trước. Dữ liệu được xử lý nhiều nhất và dễ quản lý nhất.
- Dữ liệu bán cấu trúc (Semi-structured data) – Không nằm trong database quan hệ nhưng có đặc điểm tổ chức giúp phân tích dễ dàng. Có thể lưu trong database quan hệ (khó với một số loại), cấu trúc bán giúp tiết kiệm không gian, độ chính xác hoặc tính toán.
- Dữ liệu phi cấu trúc (Unstructured data) – Chiếm khoảng 80% dữ liệu. Bao gồm văn bản và đa phương tiện: email, tệp word, video, ảnh, audio, bài thuyết trình, trang web, tài liệu kinh doanh.