Script Unicode trong TensorFlow và Python là gì?

Mỗi mã điểm Unicode (Unicode code point) thuộc về một tập hợp mã điểm duy nhất gọi là script. Script của ký tự xác định ngôn ngữ mà ký tự đó có thể thuộc về.

TensorFlow cung cấp phương thức tf.strings.unicode_script để tìm script được sử dụng bởi một mã điểm cho trước. Mã script là giá trị int32 có thể ánh xạ đến giá trị UScriptCode của ICU (International Components for Unicode).

Mã ví dụ

print("Dưới đây đại diện cho '芸' và 'Б'")
uscript = tf.strings.unicode_script([33464, 1041])
print(uscript.numpy())  # [17, 8] == [USCRIPT_HAN, USCRIPT_CYRILLIC]

print("Áp dụng cho chuỗi đa chiều")
print(tf.strings.unicode_script(batch_chars_ragged))

Nguồn mã: TensorFlow Unicode Tutorial

Đầu ra

Dưới đây đại diện cho '芸' và 'Б'
[17  8]
Áp dụng cho chuỗi đa chiều
<tf.RaggedTensor [[25, 25, 25, 25, 25], [25, 25, 25, 25, 0, 25, 25, 0, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25, 0, 25, 25, 25, 25, 25, 25, 25], [25, 25, 25, 25, 25, 25, 25, 25, 25], [0]]>

Giải thích

• Mỗi mã điểm Unicode thuộc một tập hợp gọi là script.
• Script của ký tự giúp xác định ngôn ngữ có thể chứa ký tự đó.
• TensorFlow cung cấp tf.strings.unicode_script để tìm script của mã điểm.
• Mã script là int32 ánh xạ đến ICU UScriptCode.
• Phép toán có thể áp dụng cho tf.Tensor hoặc tf.RaggedTensor đa chiều của mã điểm.