Chuỗi vô hướng được mã hóa có thể được chuyển đổi thành vectơ điểm mã bằng phương pháp "giải mã". Vectơ của các điểm mã có thể được chuyển đổi thành một chuỗi vô hướng được mã hóa bằng cách sử dụng phương pháp "encode". Vô hướng chuỗi được mã hóa có thể được chuyển đổi thành một mã hóa khác bằng phương pháp "chuyển mã".
Đọc thêm:TensorFlow là gì và cách Keras làm việc với TensorFlow để tạo Mạng thần kinh?
Hãy để chúng tôi hiểu cách biểu diễn các chuỗi Unicode bằng Python và thao tác với các chuỗi sử dụng Unicode tương đương. Đầu tiên, chúng tôi phân tách các chuỗi Unicode thành các mã thông báo dựa trên phát hiện tập lệnh với sự trợ giúp của các mã Unicode tương đương của các mã chuỗi chuẩn.
Chúng tôi đang sử dụng Google Colaboratory để chạy đoạn mã dưới đây. Google Colab hoặc Colaboratory giúp chạy mã Python qua trình duyệt và không yêu cầu cấu hình cũng như quyền truy cập miễn phí vào GPU (Đơn vị xử lý đồ họa). Colaboratory đã được xây dựng trên Jupyter Notebook.
print("Converting encoded string scalar to a vector of code points")
tf.strings.unicode_decode(text_utf8,input_encoding='UTF-8')
print("Converting vector of code points to an encoded string scalar")
tf.strings.unicode_encode(text_chars, output_encoding='UTF-8')
print("Converting encoded string scalar to a different encoding")
tf.strings.unicode_transcode(text_utf8, input_encoding='UTF8', output_encoding='UTF-16-BE') Tín dụng mã:https://www.tensorflow.org/tutorials/load_data/unicode
Đầu ra
Converting encoded string scalar to a vector of code points Converting vector of code points to an encoded string scalar Converting encoded string scalar to a different encoding <tf.Tensor: shape=(), dtype=string, numpy=b'\x8b\xed\x8a\x00Y\x04t\x06'>
Giải thích
- Hàm 'unicode_decode' được sử dụng để chuyển đổi vô hướng chuỗi được mã hóa thành vectơ điểm mã.
- Hàm 'unicode_encode' được sử dụng để chuyển đổi vectơ của các điểm mã thành một đại lượng vô hướng chuỗi được mã hóa.
- Hàm 'unicode_transcode' được sử dụng để chuyển đổi vô hướng chuỗi được mã hóa sang một kiểu mã hóa khác.