Khai thác văn bản (Text Mining)
Còn gọi là phân tích văn bản. Là quy trình chuyển đổi văn bản phi cấu trúc thành dữ liệu có cấu trúc để phân tích đơn giản. Áp dụng NLP để máy hiểu ngôn ngữ con người và xử lý tự động.
Là quá trình trích xuất thông tin thiết yếu từ văn bản ngôn ngữ chuẩn. Dữ liệu từ tin nhắn, bản ghi, email, tệp viết bằng ngôn ngữ phổ thông. Dùng để rút ra thông tin hữu ích hoặc mẫu hình.
Là phương pháp tự động dùng NLP để suy ra thông tin giá trị từ văn bản phi cấu trúc. Bằng cách chuyển dữ liệu thành thông tin máy hiểu, tự động hóa việc xác định văn bản theo cảm xúc, chủ đề, ý định.
Có hai phương pháp: Lọc (loại bỏ từ không mong muốn/dữ liệu liên quan) và Stemming (hỗ trợ gốc từ liên quan). Sau stemming, mỗi từ được xác định bởi nút gốc.
Mục tiêu chính: cho phép trích xuất thông tin từ tài sản văn bản và xử lý: Truy xuất, Trích xuất, Tóm tắt, Phân loại (có giám sát), Phân cụm (không giám sát), Phân đoạn, Liên kết.
Khai thác dữ liệu (Data Mining)
Là quá trình tìm mối tương quan, mẫu hình, xu hướng mới hữu ích bằng cách duyệt qua lượng lớn dữ liệu lưu trữ, dùng công nghệ nhận diện mẫu bao gồm kỹ thuật thống kê và toán học. Phân tích tập dữ liệu thực tế để phát hiện mối quan hệ chưa ngờ và tóm tắt dữ liệu theo cách mới, hợp lý, hữu ích.
Là thủ tục lựa chọn, khám phá, mô hình hóa lượng lớn thông tin để tìm quy luật/mối quan hệ ban đầu không biết, đạt kết quả rõ ràng, có lợi cho chủ sở hữu database.
Khai thác dữ liệu tương tự Khoa học dữ liệu. Thực hiện bởi một người, tình huống cụ thể, tập dữ liệu đặc định, có mục tiêu. Bao gồm các dịch vụ: khai thác văn bản, web, âm thanh/video, dữ liệu hình ảnh, mạng xã hội. Hoàn thành qua phần mềm đơn giản hoặc chuyên dụng.
Outsourcing khai thác dữ liệu giúp hoàn thành nhanh hơn, chi phí thấp. Công ty chuyên dụng dùng công nghệ mới lưu dữ liệu không tìm thủ công được. Hàng tấn dữ liệu trên nhiều nền tảng nhưng kiến thức truy cập hạn chế.
Thách thức lớn: phân tích dữ liệu trích xuất thông tin thiết yếu giải quyết vấn đề/phát triển doanh nghiệp. Nhiều công cụ/ky thuật động để khai thác dữ liệu và ra quyết định tốt hơn.