Chuẩn bị dữ liệu IMDB cho huấn luyện với TensorFlow

TensorFlow (Google) framework học máy mã nguồn mở, tối ưu bằng NumPy và tensor.

Cài đặt: pip install tensorflow

Tensor: mảng đa chiều trong đồ thị luồng dữ liệu.

IMDB dataset: >50.000 review phim, dùng cho NLP.

Chạy trên Google Colab (Python trên trình duyệt, GPU miễn phí).

Ví dụ

def vectorize_text(text, label):
    text = tf.expand_dims(text, -1)
    return vectorize_layer(text), label

text_batch, label_batch = next(iter(raw_train_ds))
first_review, first_label = text_batch[0], label_batch[0]

print("Review:", first_review)
print("Label:", raw_train_ds.class_names[first_label])
print("Vectorized review:", vectorize_text(first_review, first_label))
print("1222 →", vectorize_layer.get_vocabulary()[1222])
print("451 →", vectorize_layer.get_vocabulary()[451])
print('Kích thước vocabulary:', len(vectorize_layer.get_vocabulary()))

train_ds = raw_train_ds.map(vectorize_text)
val_ds = raw_val_ds.map(vectorize_text)
test_ds = raw_test_ds.map(vectorize_text)

Nguồn mã: TensorFlow Text Classification

Đầu ra

Review: tf.Tensor(b'Silent Night, Deadly Night 5 is the very last of the series...', shape=(), dtype=string)
Label: neg
Vectorized review: (, )
1222 → stick
451 → already
Vocabulary size: 10000

Giải thích

• Định nghĩa vectorize_text: chuyển text thành số (vector hóa) để máy tính hiểu.
• Dùng IMDB dataset train mô hình.
• Hiển thị mẫu review, label, dữ liệu vector hóa.
• Vector hóa train/val/test dataset.