Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Python

Cách thực hiện các phép toán Unicode trong TensorFlow bằng Python

Các phép toán Unicode được thực hiện bằng cách lấy độ dài chuỗi và đặt đơn vị tính (mặc định là 'byte'). Phương thức encode chuyển vector mã điểm thành chuỗi mã hóa vô hướng để xác định các mã điểm Unicode trong chuỗi đã mã hóa.

Mã ví dụ

print("Ký tự cuối chiếm ~4 byte trong UTF-8")
thanks = u'Hello 😊'.encode('UTF-8')
num_bytes = tf.strings.length(thanks).numpy()
num_chars = tf.strings.length(thanks, unit='UTF8_CHAR').numpy()
print('{} bytes; {} UTF-8 characters'.format(num_bytes, num_chars))

Nguồn mã: TensorFlow Unicode Tutorial

Đầu ra

Ký tự cuối chiếm ~4 byte trong UTF-8
10 bytes; 7 UTF-8 characters

Giải thích

  • tf.strings.length có tham số unit chỉ định cách tính độ dài.
  • Mặc định unit="BYTE", có thể đặt "UTF8_CHAR" hoặc "UTF16_CHAR".
  • Mục đích: tìm số mã điểm Unicode trong mỗi chuỗi đã mã hóa.