Cho một chuỗi ký tự và đơn vị tài liệu định nghĩa, tokenization là tác vụ cắt nhỏ thành các mảnh, gọi là token, có thể loại bỏ ký tự như dấu câu. Trong ngữ cảnh NLTK và Python, đơn giản là quá trình đưa mỗi token vào list để thay vì lặp qua từng chữ cái, ta lặp qua token.
Ví dụ, cho chuỗi đầu vào −
Hi man, how have you been?
Kết quả sẽ là −
['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']
Có thể tokenize văn bản này dùng word_tokenize từ NLTK. Ví dụ,
Ví dụ
from nltk.corpus import stopwords from nltk.tokenize import word_tokenize my_sent = "Hi man, how have you been?" tokens = word_tokenize(my_sent) print(tokens)
Kết quả
Điều này sẽ cho kết quả −
['Hi', 'man', ',', 'how', 'have', 'you', 'been', '?']