Khai thác văn bản còn gọi là phân tích văn bản (text analysis). Là quá trình chuyển đổi văn bản phi cấu trúc thành dữ liệu có cấu trúc để phân tích dễ dàng. Khai thác văn bản áp dụng xử lý ngôn ngữ tự nhiên (NLP), cho phép máy hiểu ngôn ngữ con người và xử lý tự động.
Khai thác văn bản là quá trình tự động dùng NLP để trích xuất thông tin giá trị từ văn bản phi cấu trúc. Bằng cách chuyển dữ liệu thành thông tin máy hiểu, khai thác văn bản tự động hóa việc phân loại văn bản theo cảm xúc, chủ đề và ý định.
Các kỹ thuật khai thác văn bản chính:
Trích xuất thông tin (Information Extraction) – Bước đầu phân tích văn bản phi cấu trúc. Dịch vụ tự động trích xuất dữ liệu có cấu trúc từ tài liệu phi cấu trúc và bán cấu trúc máy đọc được.
Tóm tắt (Summarization) – Mục tiêu tạo văn bản chính xác từ lượng lớn tài liệu. Tóm tắt tự động là quy trình giảm tài liệu bằng chương trình máy tính để tạo bản tóm tắt giữ lại điểm quan trọng nhất. Là thành phần của học máy và khai thác dữ liệu.
Theo dõi chủ đề (Topic Tracking) – Hệ thống theo dõi chủ đề hỗ trợ hồ sơ người dùng dựa trên tìm kiếm trước và dự đoán tài liệu khác hiệu quả dựa trên hồ sơ. Là công nghệ được phát triển và dùng trong quy trình khai thác văn bản.
Phân loại (Classification) – Quá trình tìm chủ đề chính của tệp bằng cách gắn siêu dữ liệu và phân tích tài liệu. Tìm số lượng từ và từ đó quyết định chủ đề. Văn bản được phân loại vào nhãn lớp định nghĩa trước.
Phân loại theo thể loại (Categorization) – Gán thể loại định nghĩa trước cho tài liệu văn bản tự do. Hỗ trợ quan điểm khái niệm của tập tài liệu và có ứng dụng thực tế quan trọng.
Phân cụm (Clustering) – Được coi là bài toán học không giám sát quan trọng nhất, xử lý việc tìm cấu trúc trong tập dữ liệu không có nhãn.
Liên kết khái niệm (Concept Linkage) – Dùng để tìm tài liệu liên quan. Cơ chế duyệt tài liệu thay vì tìm kiếm. Cung cấp khả năng liên kết tài liệu liên quan.
Xử lý ngôn ngữ tự nhiên (NLP) – Ngôn ngữ tự nhiên là ngôn ngữ con người, xử lý bằng ngôn ngữ máy tính, toàn bộ tương tác gọi là NLP. Mục tiêu chính là thiết kế hệ thống máy tính kiểm tra, hiểu và tạo ra NLP.