Keras (TensorFlow) hỗ trợ tải dataset StackOverflow 16k để bài toán phân loại tag (ngôn ngữ lập trình).
Cài đặt
pip install tensorflow
pip install tensorflow-text
Ví dụ: Download và xem cấu trúc
import pathlib
import tensorflow as tf
from tensorflow.keras import utils
data_url = 'https://storage.googleapis.com/download.tensorflow.org/data/stack_overflow_16k.tar.gz'
dataset = utils.get_file(
'stack_overflow_16k.tar.gz',
data_url,
untar=True,
cache_dir='stack_overflow',
cache_subdir=''
)
dataset_dir = pathlib.Path(dataset).parent
print(list(dataset_dir.iterdir()))
train_dir = dataset_dir / 'train'
print(list(train_dir.iterdir()))
Kết quả
Downloading tensorflow-text
Downloading data from https://storage.googleapis.com/download.tensorflow.org/data/stack_overflow_16k.tar.gz
6053888/6053168 [==============================] - 0s 0us/step
Giải thích
- Dataset 16k câu hỏi, 4 nhãn: C#, Java, JavaScript, Python.
- Dùng cho bài toán text classification (multi-class).
- Tiếp theo: tiền xử lý với
TextVectorization, xây model (Embedding + LSTM/Transformer).