Tại AppSignal, chúng tôi giúp các nhà phát triển tối ưu hiệu suất ứng dụng. Chúng tôi giám sát hàng nghìn ứng dụng xử lý tỷ lệo yêu cầu. Chúng tôi nghĩ rằng có thể hỗ trợ thêm qua một số bài viết về Ruby và hiệu suất. Vấn đề truy vấn N+1 là một antipattern phổ biến trong ứng dụng Rails.
Nhiều ORM, như ActiveRecord của Rails, tích hợp sẵn lazy loading (tải lười) để cho phép trì hoãn truy vấn các association cho đến khi thực sự cần thiết. Điều này cho phép ngầm hiểu về việc association nào cần tải bằng cách chuyển quyết định này sang view.
Vấn đề truy vấn N+1 là một antipattern hiệu suất phổ biến, thường dễ phát hiện, dẫn đến việc chạy một truy vấn cho mỗi association, gây ra overhead khi truy vấn số lượng lớn association từ database.
👋 Nếu bạn thích bài viết này, chúng tôi còn nhiều nội dung khác về hiệu suất Ruby (on Rails), hãy xem checklist giám sát hiệu suất Ruby của chúng tôi.
Lazy Loading trong ActiveRecord
ActiveRecord sử dụng implicit lazy loading (tải lười ngầm) để làm việc với relation dễ dàng hơn. Hãy xem ví dụ webshop, nơi mỗi Product có thể có nhiều Variants chứa màu sắc hoặc kích thước sản phẩm.
# app/models/product.rb class Product < ActiveRecord::Base has_many :variants endTrong ProductsController#show, view chi tiết cho một sản phẩm, chúng ta dùng Product.find(params[:id]) để lấy sản phẩm và gán vào biến @product.
# app/controllers/products_controller.rb class ProductsController < ApplicationController def show @product = Product.find(params[:id]) end endTrong view cho action này, chúng ta lặp qua các variant của sản phẩm bằng cách gọi phương thức variants trên biến @product nhận từ controller.
# app/views/products/show.html.erb <h1><%= @product.title %></h1> <ul> <%= @product.variants.each do |variant| %> <li><%= variant.name %></li> <% end %> </ul>Bằng cách gọi @product.variants trong view, Rails sẽ truy vấn database để lấy variants để lặp. Ngoài truy vấn tường minh trong controller, ta thấy một truy vấn khác được thực thi để lấy variants nếu kiểm tra log Rails cho request này.
Started GET "/products/1" for 127.0.0.1 at 2018-04-19 08:49:13 +0200 Processing by ProductsController#show as HTML Parameters: {"id"=>"1"} Product Load (1.1ms) SELECT "products".* FROM "products" WHERE "products"."id" = ? LIMIT ? [["id", 1], ["LIMIT", 1]] Rendering products/show.html.erb within layouts/application Variant Load (1.1ms) SELECT "variants".* FROM "variants" WHERE "variants"."product_id" = ? [["product_id", 1]] Rendered products/show.html.erb within layouts/application (4.4ms) Completed 200 OK in 64ms (Views: 56.4ms | ActiveRecord: 2.3ms) Request này thực thi 2 truy vấn để hiển thị một sản phẩm với tất cả variants.
SELECT "products".* FROM "products" WHERE "products"."id" = 1 LIMIT 1SELECT "variants".* FROM "variants" WHERE "variants"."product_id" = 1
Lazy Loading Lặp Lại
Lazy loading hoạt động tốt cho đến nay. Bằng cách dùng truy vấn ngầm, ta không cần nhớ xóa nó khỏi controller khi quyết định không muốn hiển thị variants trên view này nữa.
Giả sử ta làm việc trên ProductsController#index, muốn hiển thị danh sách tất cả sản phẩm kèm variants của từng sản phẩm. Ta có thể implement giống như trước với lazy loading.
# app/controllers/products_controller.rb class ProductsController < ApplicationController def index @products = Product.all end end# app/views/products/index.html.erb <h1>Products</h1> <% @products.each do |product| %> <article> <h1><%= product.title %></h1> <ul> <% product.variants.each do |variant| %> <li><%= variant.description %></li> <% end %> </ul> </article> <% end %>Khác với ví dụ đầu tiên, bây giờ ta lấy danh sách sản phẩm từ controller thay vì một sản phẩm đơn lẻ. View sau đó lặp qua từng sản phẩm, và lazy load từng variant cho từng sản phẩm.
Mặc dù hoạt động, có một vấn đề. Số lượng truy vấn giờ là N+1.
Truy Vấn N+1
Trong ví dụ đầu tiên, ta render view cho một sản phẩm và variants. Số lượng truy vấn là 2 vì thực thi 2 truy vấn. Request này trả về tất cả sản phẩm (3 trong ví dụ) từ database, và variants của từng sản phẩm, nhưng thực hiện 4 truy vấn thay vì 2.
Started GET "/products" for 127.0.0.1 at 2018-04-19 09:49:02 +0200 Processing by ProductsController#index as HTML Rendering products/index.html.erb within layouts/application Product Load (0.3ms) SELECT "products".* FROM "products" Variant Load (0.2ms) SELECT "variants".* FROM "variants" WHERE "variants"."product_id" = ? [["product_id", 1]] Variant Load (0.2ms) SELECT "variants".* FROM "variants" WHERE "variants"."product_id" = ? [["product_id", 2]] Variant Load (0.1ms) SELECT "variants".* FROM "variants" WHERE "variants"."product_id" = ? [["product_id", 3]] Rendered products/index.html.erb within layouts/application (5.6ms) Completed 200 OK in 36ms (Views: 32.6ms | ActiveRecord: 0.8ms) SELECT "products".* FROM "products"SELECT "variants".* FROM "variants" WHERE "variants"."product_id" = 1SELECT "variants".* FROM "variants" WHERE "variants"."product_id" = 2SELECT "variants".* FROM "variants" WHERE "variants"."product_id" = 3
Truy vấn đầu tiên, được thực thi bởi lời gọi tường minh Product.all trong controller, tìm tất cả sản phẩm. Các truy vấn tiếp theo được thực thi lười khi lặp qua từng sản phẩm trong view.
Ví dụ này dẫn đến số lượng truy vấn N+1, với N là số sản phẩm, và 1 là truy vấn tường minh lấy tất cả sản phẩm. Nói cách khác: ví dụ này làm một truy vấn, rồi thêm một truy vấn cho mỗi kết quả của truy vấn đầu. Vì N = 3, số truy vấn kết quả là N + 1 = 3 + 1 = 4.
Mặc dù không thành vấn đề với chỉ 3 sản phẩm, số truy vấn tăng theo số sản phẩm. Vì biết request có truy vấn N+1, ta có thể dự đoán 101 truy vấn khi có 100 sản phẩm (N + 1 = 100 + 1 = 101).
Eager Loading Association
Thay vì tăng số truy vấn theo số sản phẩm, ta muốn số request cố định cho view này. Có thể thực hiện bằng cách preload tường minh variants trong controller trước khi render view.
# app/controllers/products_controller.rb class ProductsController < ApplicationController def index @products = Product.all.includes(:variants) end endPhương thức truy vấn includes của ActiveRecord đảm bảo các variants liên quan được tải cùng với products. Vì nó biết trước variants nào cần tải, có thể lấy tất cả variants của tất cả products được yêu cầu trong một truy vấn.
Started GET "/products" for 127.0.0.1 at 2018-04-19 10:33:59 +0200 Processing by ProductsController#index as HTML Rendering products/index.html.erb within layouts/application Product Load (0.3ms) SELECT "products".* FROM "products" Variant Load (0.4ms) SELECT "variants".* FROM "variants" WHERE "variants"."product_id" IN (?, ?, ?) [["product_id", 1], ["product_id", 2], ["product_id", 3]] Rendered products/index.html.erb within layouts/application (5.9ms) Completed 200 OK in 45ms (Views: 40.8ms | ActiveRecord: 0.7ms) Bằng cách preload variants, số truy vấn giảm về 2, ngay cả khi số sản phẩm tăng trong tương lai.
SELECT "products".* FROM "products"SELECT "variants".* FROM "variants" WHERE "variants"."product_id" IN (1, 2, 3)
Lazy Hay Eager?
Trong hầu hết trường hợp, lấy tất cả bản ghi liên quan từ database trong một truy vấn nhanh hơn lazy loading.
Trong ví dụ này, chênh lệch hiệu suất database đo lường được với chỉ 3 sản phẩm, mỗi sản phẩm 10 variants. Trung bình, eager loading danh sách sản phẩm nhanh hơn khoảng 12.5% (0.7ms so với 0.8ms) so với lazy loading. Với 10 sản phẩm, chênh lệch nhảy lên 59% (1.22ms so với 2.98ms). Với 1000 sản phẩm, chênh lệch gần 80%, eager queries 58.4ms, lazy loading ~290.12ms.
Mặc dù association lazy-loaded cho phép linh hoạt hơn trong view mà không cần cập nhật controller, kinh nghiệm tốt là để controller xử lý tải dữ liệu trước khi chuyển cho view.
Lazy loading từ view phù hợp cho view hiển thị một model object và associations (như ProductsController#show trong ví dụ đầu) và hữu ích khi có nhiều view yêu cầu dữ liệu khác nhau từ cùng controller.
Mèo Và Búp Bê
Mèo có thể không đồng ý, nhưng đôi khi chủ động (eager) tốt hơn lười biếng (lazy). Bài viết này đi sâu vào lazy loading trong ActiveRecord và minh họa tình huống gây vấn đề hiệu suất. Như khi dẫn đến vấn đề truy vấn N+1.
Tóm lại: luôn theo dõi development logs, hoặc timeline sự kiện trong AppSignal, đảm bảo không thực hiện truy vấn có thể eager load, và theo dõi response time, đặc biệt khi lượng dữ liệu xử lý tăng.
Nếu thích bài này, xem thêm về hiệu suất và giám sát, như bài yêu thích về Russian Doll Caching hoặc bài về Conditional Get Requests.