Cách xây dựng RaggedTensor từ danh sách từ với TensorFlow và Python

RaggedTensor có thể được xây dựng bằng cách sử dụng các offset bắt đầu của từ trong câu. Quy trình:

1. Xây dựng mã điểm của mỗi ký tự trong mỗi từ.
2. Hiển thị ra console.
3. Xác định số từ trong câu và tính offset.

Mã ví dụ

print("Lấy mã điểm mỗi ký tự trong mỗi từ")
word_char_codepoint = tf.RaggedTensor.from_row_starts(
    values=sentence_char_codepoint.values,
    row_starts=word_starts)
print(word_char_codepoint)

print("Lấy số từ trong câu")
sentence_num_words = tf.reduce_sum(tf.cast(sentence_char_starts_word, tf.int64), axis=1)

Nguồn mã: TensorFlow Unicode Tutorial

Đầu ra

Lấy mã điểm mỗi ký tự trong mỗi từ
<tf.RaggedTensor [[72, 101, 108, 108, 111], [44, 32], [116, 104, 101, 114, 101], [46], [19990, 30028], [12371, 12435, 12395, 12385, 12399]]>
Lấy số từ trong câu

Giải thích

• Xây dựng mã điểm cho mỗi ký tự trong mỗi từ.
• Hiển thị kết quả ra console.
• Xác định số từ trong câu cụ thể.