Khai thác văn bản còn gọi là phân tích văn bản. Là quy trình chuyển đổi văn bản phi cấu trúc thành dữ liệu có cấu trúc để phân tích đơn giản. Áp dụng NLP để máy hiểu ngôn ngữ con người và xử lý tự động.
Là thủ tục suy ra thông tin đáng kể từ văn bản ngôn ngữ chuẩn. Dữ liệu từ tin nhắn, bản ghi, email, tệp viết bằng ngôn ngữ phổ thông. Dùng để rút ra thông tin hữu ích hoặc mẫu hình.
Là phương pháp tự động dùng NLP để suy ra thông tin giá trị từ văn bản phi cấu trúc. Bằng cách chuyển dữ liệu thành thông tin máy hiểu, khai thác văn bản tự động hóa phân loại văn bản theo cảm xúc, chủ đề, ý định.
Trong khai thác dữ liệu văn bản, dùng trên dữ liệu văn bản. Có thể đọc và phân tích thông tin văn bản. Trong khai thác văn bản, mẫu được trích xuất từ dữ liệu phi cấu trúc hoặc văn bản ngôn ngữ tự nhiên. Đầu vào là văn bản phi cấu trúc, đầu ra là văn bản có cấu trúc.
Khai thác văn bản bao gồm tập tài liệu dạng pdf, doc, docx, txt, v.v. Sau khi nhận tài liệu, dùng Tiền xử lý (so với NLT – Văn bản ngôn ngữ tự nhiên) của văn bản và các phương pháp khai thác văn bản. Do đó, phân tích tài liệu văn bản cuối cùng tìm ra kiến thức.
Có hai phương pháp: Lọc (Filtering) và Stemming (Streaming). Lọc loại bỏ từ không mong muốn hoặc thông tin liên quan. Stemming cung cấp gốc cho từ liên quan. Sau stemming, mỗi từ được thiết kế bởi nút gốc của nó.
Khai thác văn bản là lĩnh vực bùng nổ áp dụng cho ứng dụng kinh doanh. Bùng nổ do nhận thức cao về TM và giá công cụ TM giảm xuống mức thấp hôm nay.
Phân tích thủ công dữ liệu văn bản phi cấu trúc càng trở nên không thực tế, do đó phương pháp khai thác văn bản được phát triển để tự động hóa quá trình phân tích dữ liệu.
Mục tiêu chính: cho phép người dùng trích xuất bản ghi từ tài sản văn bản và xử lý các dịch vụ: Truy xuất, Trích xuất, Tóm tắt, Phân loại (có giám sát), Phân cụm (không giám sát), Phân đoạn, Liên kết.
Lý do chính áp dụng khai thác văn bản: cạnh tranh mạnh hơn trong kinh doanh, tổ chức tìm giải pháp tăng giá trị. Với cạnh tranh tăng và góc nhìn người dùng thay đổi, tổ chức đầu tư lớn để có giải pháp phân tích dữ liệu người dùng và đối thủ cải thiện khả năng cạnh tranh.