Tensorflow là một khuôn khổ học máy được cung cấp bởi Google. Nó là một khung công tác mã nguồn mở được sử dụng kết hợp với Python để triển khai các thuật toán, ứng dụng học sâu và hơn thế nữa. Nó được sử dụng trong nghiên cứu và cho mục đích sản xuất.
Gói 'tensorflow' có thể được cài đặt trên Windows bằng dòng mã bên dưới -
pip install tensorflow
Tensor là một cấu trúc dữ liệu được sử dụng trong TensorFlow. Nó giúp kết nối các cạnh trong một sơ đồ luồng. Sơ đồ luồng này được gọi là 'Biểu đồ luồng dữ liệu'. Hàng căng không là gì ngoài mảng nhiều chiều hoặc một danh sách.
Chúng tôi sẽ sử dụng tập dữ liệu của Illiad, chứa dữ liệu văn bản của ba tác phẩm dịch của William Cowper, Edward (Earl of Derby) và Samuel Butler. Mô hình được đào tạo để xác định người dịch khi một dòng văn bản được đưa ra. Các tệp văn bản được sử dụng đã được xử lý trước. Điều này bao gồm xóa đầu trang và chân trang của tài liệu, số dòng và tiêu đề chương.
Chúng tôi đang sử dụng Google Colaboratory để chạy đoạn mã dưới đây. Google Colab hoặc Colaboratory giúp chạy mã Python qua trình duyệt và không yêu cầu cấu hình cũng như quyền truy cập miễn phí vào GPU (Đơn vị xử lý đồ họa). Colaboratory đã được xây dựng trên Jupyter Notebook.
Ví dụ
print("Look at sample data after processing it")
example_text, example_label = next(iter(all_labeled_data))
print("The sentence is : ", example_text.numpy())
vectorized_text, example_label = preprocess_text(example_text, example_label)
print("The vectorized sentence is : ", vectorized_text.numpy())
print("Run the pre-process function on the data")
all_encoded_data = all_labeled_data.map(preprocess_text) Tín dụng mã - https://www.tensorflow.org/tutorials/load_data/text
Đầu ra
Look at sample data after processing it The sentence is : b'But I have now both tasted food, and given' The vectorized sentence is : [ 20 21 58 49 107 3497 909 2 4 540] Run the pre-process function on the data
Giải thích
-
Khi dữ liệu đã được vector hóa, tất cả các mã thông báo sẽ được chuyển đổi thành số nguyên.
-
Chúng được chuyển đổi thành số nguyên để mô hình có thể diễn giải đầu vào được cung cấp cho nó.