Sau khi tiền xử lý và vector hóa văn bản, việc kiểm tra mẫu dữ liệu giúp xác nhận quy trình chuyển đổi từ văn bản thô sang dạng số đúng như mong đợi.
Mã kiểm tra mẫu
print("Xem mẫu dữ liệu sau xử lý")
example_text, example_label = next(iter(all_labeled_data))
print("Câu gốc:", example_text.numpy())
vectorized_text, example_label = preprocess_text(example_text, example_label)
print("Câu đã vector hóa:", vectorized_text.numpy())
print("Áp dụng preprocess cho toàn bộ dữ liệu")
all_encoded_data = all_labeled_data.map(preprocess_text)
Kết quả
Xem mẫu dữ liệu sau xử lý Câu gốc: b'But I have now both tasted food, and given' Câu đã vector hóa: [20 21 58 49 107 3497 909 2 4 540] Áp dụng preprocess cho toàn bộ dữ liệu
Giải thích
- Sau vector hóa, mọi token được chuyển thành số nguyên để mô hình có thể xử lý.
- Quá trình này bao gồm: chuẩn hóa (lowercase), tách token, và tra cứu từ vựng để lấy index.
- Phương thức
map()áp dụng hàm tiền xử lý cho toàn bộ dataset một cách lười biếng (lazy evaluation).