Khai thác văn bản còn gọi là phân tích văn bản. Là quá trình chuyển đổi văn bản phi cấu trúc thành dữ liệu có cấu trúc để phân tích dễ dàng. Cần NLP để máy học ngôn ngữ con người và xử lý tự động.
Được định nghĩa là quá trình trích xuất thông tin thiết yếu từ văn bản ngôn ngữ chuẩn. Dữ liệu từ tin nhắn, tài liệu, email, tệp viết bằng ngôn ngữ phổ thông. Khai thác văn bản thường dùng để rút ra thông tin hữu ích hoặc mẫu hình từ dữ liệu đó.
Là quy trình tự động dùng NLP để suy ra thông tin giá trị từ văn bản phi cấu trúc. Bằng cách chuyển dữ liệu thành thông tin máy hiểu, khai thác văn bản tự động hóa phân loại văn bản theo cảm xúc, chủ đề và ý định.
Quy trình khai thác văn bản bao gồm các bước sau để trích xuất dữ liệu từ tệp:
Thu thập tài liệu (Document Gathering) – Thu thập tài liệu văn bản có mặt dưới nhiều định dạng: pdf, word, html, css, v.v.
Tiền xử lý tài liệu (Document Pre-Processing) – Xử lý tài liệu đầu vào để loại bỏ sự dư thừa, không nhất quán, từ độc lập, stemming và chuẩn bị cho bước tiếp theo. Các giai đoạn:
- Tokenization – Xử lý tài liệu như chuỗi ký tự, nhận diện từ đơn lẻ: tách chuỗi thành các đơn vị (token).
- Loại bỏ từ dừng (Stop word Removal) – Loại bỏ từ thường xuất hiện như: a, an, but, and, of, the, v.v.
- Stemming – Stem là tập từ tự nhiên có nghĩa tương tự. Xác định gốc của từ cụ thể. Có hai phương pháp: Inflectional và derivational stemming. Thuật toán nổi tiếng: Porter's algorithm (ví dụ: resignation, resigned, resigns → resigning).
Chuyển đổi văn bản (Text Transformation) – Tài liệu là tập từ (đặc trưng) và số lần xuất hiện. Hai phương pháp biểu diễn: Mô hình không gian vectơ (Vector Space Model) và Túi từ (Bag of words).
Chọn đặc trưng (Feature Selection / Attribute Selection) – Giảm dung lượng cơ sở dữ liệu, tối thiểu hóa phương pháp tìm kiếm bằng cách loại bỏ đặc trưng không liên quan từ tài liệu đầu vào.
Khai thác dữ liệu / Chọn mẫu (Data Mining / Pattern Selection) – Kết hợp quy trình khai thác dữ liệu truyền thống với khai thác văn bản. Cơ sở dữ liệu có cấu trúc từ giai đoạn trước giúp áp dụng các kỹ thuật khai thác dữ liệu kinh điển.
Đánh giá (Evaluate) – Tính toán kết quả. Kết quả có thể loại bỏ hoặc dùng cho chuỗi quy trình tiếp theo.