Tập dữ liệu hoa có thể được định cấu hình cho hiệu suất với sự trợ giúp của tìm nạp trước bộ đệm, phương pháp xáo trộn và phương pháp bộ nhớ cache. Tìm nạp trước có bộ đệm có thể được sử dụng để đảm bảo rằng dữ liệu có thể được lấy từ đĩa mà không bị chặn I / O. Dataset.cache () giữ hình ảnh trong bộ nhớ sau khi chúng được tải khỏi đĩa trong kỷ nguyên đầu tiên. Dataset.prefetch () sẽ chồng chéo quá trình tiền xử lý dữ liệu và thực thi mô hình trong khi đào tạo.
Đọc thêm: TensorFlow là gì và cách Keras làm việc với TensorFlow để tạo Mạng thần kinh?
API tuần tự Keras được sử dụng, điều này rất hữu ích trong việc xây dựng mô hình tuần tự được sử dụng để làm việc với một chồng lớp đơn giản, trong đó mỗi lớp có chính xác một tensor đầu vào và một tensor đầu ra.
Chúng tôi đang sử dụng Google Colaboratory để chạy đoạn mã dưới đây. Google Colab hoặc Colaboratory giúp chạy mã Python qua trình duyệt và không yêu cầu cấu hình cũng như quyền truy cập miễn phí vào GPU (Đơn vị xử lý đồ họa). Colaboratory đã được xây dựng trên Jupyter Notebook.
print("Configuring the dataset for better performance")
AUTOTUNE = tf.data.AUTOTUNE
train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE) Tín dụng mã:https://www.tensorflow.org/tutorials/images/classification
Đầu ra
Configuring the dataset for better performance
Giải thích
- Có thể sử dụng khái niệm tìm nạp trước trong bộ đệm để dữ liệu có thể được lấy từ đĩa mà không bị chặn I / O.
- Có hai phương pháp quan trọng có thể được sử dụng khi tải dữ liệu.
- cache () giữ hình ảnh trong bộ nhớ sau khi chúng được tải ra khỏi đĩa trong kỷ nguyên đầu tiên.
- Điều này sẽ đảm bảo rằng tập dữ liệu không trở thành nút thắt cổ chai khi mô hình đang được đào tạo.
- Nếu tập dữ liệu quá lớn để vừa với bộ nhớ, thì phương pháp này có thể được sử dụng để tạo bộ nhớ đệm trên đĩa hoạt động hiệu quả.
- prefetch () sẽ chồng chéo quá trình xử lý trước dữ liệu và thực thi mô hình trong khi đào tạo.