TensorFlow (Google) framework học máy mã nguồn mở. Cài đặt: pip install tensorflow. Tensor: mảng đa chiều.
Sử dụng Illiad dataset: 3 bản dịch (Cowper, Derby, Butler). Phân loại người dịch. Đã tiền xử lý.
Chạy trên Google Colab (Python trên trình duyệt, GPU miễn phí).
Ví dụ
print("Bước tiền xử lý tùy chỉnh")
preprocess_layer = TextVectorization(
max_tokens=vocab_size,
standardize=tf_text.case_fold_utf8,
split=tokenizer.tokenize,
output_mode='int',
output_sequence_length=MAX_SEQUENCE_LENGTH)
preprocess_layer.set_vocabulary(vocab)
print("Export mô hình")
export_model = tf.keras.Sequential([
preprocess_layer,
model,
layers.Activation('sigmoid')
])
Nguồn mã: TensorFlow Text Loading Tutorial
Đầu ra
Bước tiền xử lý tùy chỉnh Export mô hình
Giải thích
- Để mô hình nhận raw strings, tạo lớp
TextVectorizationthực hiện tiền xử lý tương tự. - Vocabulary đã train sẵn → dùng
set_vocabulary()gán vocabulary mới. - Export model = Sequential: [preprocess_layer, trained_model, Activation('sigmoid')].