Khai phá văn bản còn được gọi là phân tích văn bản. Đây là quy trình chuyển đổi văn bản phi cấu trúc thành dữ liệu có cấu trúc để phân tích đơn giản. Khai thác văn bản áp dụng xử lý ngôn ngữ tự nhiên (NLP), cho phép máy móc biết ngôn ngữ của con người và xử lý tự động.
Nó được định nghĩa là quá trình trích xuất thông tin cần thiết từ văn bản ngôn ngữ chuẩn. Một số dữ liệu mà nó có thể tạo ra thông qua tin nhắn văn bản, hồ sơ, email, tệp được viết bằng văn bản ngôn ngữ phổ biến. Khai thác văn bản thường được sử dụng để rút ra thông tin chi tiết hoặc mô hình có lợi từ dữ liệu đó.
Khai thác văn bản là một phương pháp tự động sử dụng xử lý ngôn ngữ tự nhiên để thu được những hiểu biết có giá trị từ văn bản phi cấu trúc. Nó có thể là chuyển đổi dữ liệu thành thông tin mà các thiết bị có thể học, khai thác văn bản tự động hóa phương pháp xác định văn bản theo tình cảm, chủ đề và ý định.
Có hai phương pháp là Lọc và Truyền trực tuyến. Lọc có thể loại bỏ các từ không mong muốn hoặc dữ liệu có liên quan. Dòng từ hỗ trợ gốc cho các từ liên kết. Sau khi sử dụng phương pháp phát trực tuyến, mỗi từ được xác định bởi nút gốc của nó.
Các mục tiêu chính của khai thác văn bản là cho phép người dùng trích xuất thông tin từ nội dung dựa trên văn bản và xử lý các hoạt động như Truy xuất, Trích xuất, Tóm tắt, Phân loại (được giám sát) và Phân cụm (không được giám sát), Phân đoạn và Liên kết.
Lý do chính sau khi áp dụng khai thác văn bản là sự cạnh tranh mạnh mẽ hơn trong ngành kinh doanh, một số tổ chức đang tìm kiếm các giải pháp giá trị gia tăng để cạnh tranh với các tổ chức khác. Với việc nâng cao mức độ hoàn thiện trong kinh doanh và thay đổi quan điểm của người dùng, các tổ chức đang nhận được những khoản đầu tư lớn để có được một giải pháp có thể phân tích dữ liệu của người dùng và đối thủ nhằm cải thiện khả năng cạnh tranh.
Khai thác văn bản có lợi cho việc quản lý dữ liệu dạng văn bản. Dữ liệu văn bản không có cấu trúc, khó thao tác và không rõ ràng, do đó, khai thác văn bản trở thành phương pháp hữu ích nhất để trao đổi dữ liệu trong khi khai thác dữ liệu được sử dụng trên dữ liệu kinh doanh.
Có rất nhiều hồ sơ và dữ liệu mới được tạo ra mỗi ngày thông qua các hoạt động kinh tế, học thuật và xã hội, với nhiều giá trị tiềm năng đáng kể về kinh tế và xã hội.
Có một số kỹ thuật bao gồm khai thác văn bản và dữ liệu và phân tích là cần thiết để khai thác tiềm năng này. Mục tiêu của phương pháp này là giảm bớt những nỗ lực cần thiết để lấy dữ liệu từ một bộ tài liệu văn bản khổng lồ.
- Dữ liệu có cấu trúc - Nó liên quan đến tất cả các bản ghi có thể được lưu trong cơ sở dữ liệu SQL trong bảng với các hàng và cột. Chúng có một khóa quan hệ và có thể được ánh xạ một cách đơn giản vào các trường được thiết kế trước. Ngày nay, những dữ liệu đó được xử lý nhiều nhất trong quá trình phát triển và là phương pháp đơn giản nhất để xử lý thông tin.
- Dữ liệu bán cấu trúc - Dữ liệu bán cấu trúc là dữ liệu không có trong cơ sở dữ liệu quan hệ nhưng có một số tính năng tổ chức giúp phân tích đơn giản hơn. Với một số quy trình, nó có thể lưu chúng vào cơ sở dữ liệu quan hệ (có thể rất khó đối với một số loại dữ liệu bán cấu trúc), nhưng cấu trúc bán cấu trúc tồn tại để giảm bớt không gian, độ chắc chắn hoặc tính toán.
- Dữ liệu phi cấu trúc - Dữ liệu phi cấu trúc mô tả khoảng 80% dữ liệu. Nó chứa văn bản và nội dung đa phương tiện. Nó chứa các tin nhắn e-mail, tệp xử lý văn bản, video, ảnh, tệp âm thanh, bản trình bày, trang web và một số loại tài liệu kinh doanh.