Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Kỹ thuật lập chỉ mục văn bản là gì?

Có một số kỹ thuật lập chỉ mục truy xuất văn bản phổ biến như chỉ mục đảo ngược (inverted indices) và tệp chữ ký (signature files).

Chỉ mục đảo ngược (Inverted Index) – Chỉ mục đảo ngược là cấu trúc chỉ mục duy trì hai bảng được lập chỉ mục hash hoặc B+-tree: document_table và term_table, trong đó document_table bao gồm một tập hợp bản ghi tài liệu, mỗi bản ghi gồm hai trường: doc_id và posting_list, nơi posting_list là danh sách các phương thức (hoặc con trỏ đến phương thức) xuất hiện trong tài liệu, được sắp xếp theo một số phép đo độ liên quan.

term_table bao gồm một tập hợp bản ghi thuật ngữ, mỗi bản ghi gồm hai trường: term_id và posting_list, nơi posting_list chỉ định danh sách định danh bản ghi mà thuật ngữ xuất hiện.

Có thể tìm tất cả tài liệu liên quan đến một tập hợp thuật ngữ cho trước. Được dùng để tìm tất cả thuật ngữ liên quan đến một tập hợp tài liệu cho trước. Ví dụ: để tìm tất cả tài liệu liên quan đến một tập thuật ngữ, trước tiên tìm danh sách định danh tài liệu trong term table cho mỗi thuật ngữ, sau đó giao chúng để lấy tập hợp bản ghi liên quan.

Chỉ mục đảo ngược được sử dụng rộng rãi trong ngành. Chúng đơn giản để thực thi. Danh sách posting có thể khá dài, làm yêu cầu lưu trữ khá lớn. Chúng dễ triển khai nhưng không tốt trong việc quản lý từ đồng nghĩa (hai từ khác nhau có cùng nghĩa) và từ đa nghĩa (một từ có nhiều nghĩa).

Tệp chữ ký là tệp lưu trữ dữ liệu chữ ký cho mỗi bản ghi trong cơ sở dữ liệu. Mỗi chữ ký có kích thước cố định b bit định nghĩa các thuật ngữ. Một thiết kế mã hóa đơn giản như sau. Mỗi bit của chữ ký bản ghi được khởi tạo thành 0.

Một bit được đặt thành 1 nếu thuật ngữ nó định nghĩa xuất hiện trong bản ghi. Chữ ký S1 khớp với chữ ký S2 nếu mỗi bit được đặt trong chữ ký S2 cũng được đặt trong S1. Vì thường có nhiều thuật ngữ hơn bit có sẵn, nhiều thuật ngữ có thể được ánh xạ vào cùng một bit.

Các ánh xạ nhiều-một này làm cho tìm kiếm tốn kém vì bản ghi khớp với chữ ký truy vấn không nhất thiết chứa tập từ khóa của truy vấn. Các bản ghi phải được truy xuất, phân tích, stemmed và kiểm tra. Cải tiến có thể thực hiện bằng cách trước tiên thực hiện phân tích tần suất, stemming, và lọc từ dừng, sau đó sử dụng phương pháp hashing và kỹ thuật mã hóa chồng chéo để mã hóa danh sách phương thức thành biểu diễn bit.