Python - Gán nhãn từ loại (PoS Tagging) và Lemmatization sử dụng spaCy

spaCy là một trong những thư viện phân tích văn bản tốt nhất. spaCy xuất sắc trong các tác vụ trích xuất thông tin quy mô lớn và là một trong những thư viện nhanh nhất thế giới. Nó cũng là cách tốt nhất để chuẩn bị văn bản cho học sâu. spaCy nhanh và chính xác hơn NLTKTagger và TextBlob.

Cài đặt như thế nào?

pip install spacy
python -m spacy download en_core_web_sm

Ví dụ

# import và tải thư viện
import spacy
# python -m spacy download en_core_web_sm
nlp = spacy.load("en_core_web_sm")

# POS-TAGGING
# Xử lý toàn bộ văn bản
text = ("""My name is Vishesh. I love to work on data science problems. Please check out my github profile!""")
doc = nlp(text)
# Token và Tag
for token in doc:
    print(token, token.pos_)
# Bạn muốn danh sách các token động từ
print("Động từ:", [token.text for token in doc if token.pos_ == "VERB"])

# Lemmatization: Là quá trình gom nhóm các dạng biến thể của một từ
# để chúng có thể được phân tích như một mục duy nhất,
# được xác định bởi lemma của từ, hoặc dạng từ điển.
import spacy
# Tải tokenizer tiếng Anh, tagger,
# parser, NER và vector từ
nlp = spacy.load("en_core_web_sm")
# Xử lý toàn bộ văn bản
text = ("""My name is Vishesh. I love to work on data science problems. Please check out my github profile!""")
doc = nlp(text)
for token in doc:
    print(token, token.lemma_)