Hầu hết ứng dụng đều cần background jobs cho mailers, dọn dẹp định kỳ, hoặc bất kỳ operation tốn thời gian nào không yêu cầu user hiện diện.
Trong thế giới Rails, có nhiều gem hỗ trợ job queues và background processing — Delayed Job và Sidekiq là hai lựa chọn phổ biến nhất.
Trong bài viết này, chúng ta sẽ xem chi tiết Delayed Job và Sidekiq, bao gồm so sánh chúng với nhau.
Bắt đầu thôi!
Giới Thiệu Nhanh Về Delayed Job
Delayed Job là một direct extraction từ Shopify và dùng một table để maintain tất cả background jobs. Nó tuân theo pattern rất đơn giản. Bất kỳ Ruby object nào respond_to perform method đều có thể được enqueue vào jobs table.
Ngoài ra, nếu bạn không cần maintain đặc biệt job objects (mặc dù điều này được khuyến khích cao cho testability và separation rõ ràng của long-running operations), nó cũng cho phép bạn gọi .delay.method(params) trên bất kỳ Ruby object nào. Nó sẽ xử lý method trong background.
README của Delayed Job làm tốt việc giải thích tất cả common usage patterns.
Nhiều team chọn Delayed Job vì nó đơn giản và dùng database đã có sẵn. Họ không cần spend/maintain tài nguyên khác.
Tuy nhiên, nó vẫn chiếm dung lượng trong database table. Nếu bạn có quá nhiều jobs queued cùng lúc, bạn có thể cần thêm disk space để chứa tất cả.
Giới Thiệu Nhanh Về Sidekiq
Sidekiq, mặt khác, dùng Redis làm data store để maintain tất cả job metadata. Điều này mang lại lợi ích rõ ràng là nhanh hơn đáng kể so với regular database systems mà Delayed Job dùng. Bên cạnh đó, mỗi Sidekiq process spawn multiple threads để xử lý jobs nhanh hơn nữa.
Đối với mỗi background job trong Sidekiq, chúng ta cần một specialized class include Sidekiq::Worker concern và respond_to perform method. Để enqueue job, ta gọi perform_async(arg1, arg2) trên worker với arguments.
Hướng dẫn 'Getting Started' của Sidekiq giải thích điều này và các usage patterns khác chi tiết.
Sử Dụng Active Job Với Delayed Job Hoặc Sidekiq
Rails đã cung cấp một job framework trưởng thành cho top-level declaration và handling của jobs. Cả Delayed Job và Sidekiq đều hỗ trợ chạy jobs qua unified API của ActiveJob. Chỉ cần inherit từ ApplicationJob và gọi perform_later trên job class để enqueue job vào configured queuing backend.
class MyJob < ApplicationJob
def perform(arg1, arg2)
# job logic
end
end
MyJob.perform_later('arg1', 'arg2')
Lợi ích của chạy jobs với Active Job là application code trở nên framework agnostic, và việc switch từ Delayed Job sang Sidekiq (hoặc ngược lại) trở nên khá dễ dàng. ActiveJob::TestHelper cũng làm cho testing enqueued jobs trở nên dễ dàng.
Nhưng abstraction do Active Job cung cấp cũng đi kèm performance overhead, vì job data phải được wrapped trước khi push vào store. Sidekiq claim rằng ActiveJob chậm khoảng 2-20x khi push vào Redis, với ~3x processing overhead.
Delayed Jobs vs. Sidekiq
Bây giờ chúng ta đã biết cơ bản về Delayed Job và Sidekiq, hãy đi sâu vào sự khác biệt và những gì mỗi cái mang lại.
Features (Tính Năng)
Đối với basic applications, cả Sidekiq và Delayed Job đều cung cấp bộ features tốt out of the box. Chúng bao gồm: gán job priorities, named queues, và auto-retry trên failures.
Delayed Job cũng cung cấp cách cấu hình max run time out of the box (Sidekiq không có).
Mặt khác, Sidekiq cung cấp hỗ trợ Middleware để update job metadata, skip queuing job, hoặc execute job. Sidekiq hỗ trợ nhiều callbacks hơn, dù một số hooks có sẵn cho Delayed Job apps. Thay vì callbacks, bạn có thể dùng Delayed Job với Active Job (cụ thể là callbacks before_enqueue và around_perform built-in của Rails).
Web UI là một feature khác có sẵn out of the box với Sidekiq. Nó cung cấp historical statistics về jobs và thông tin về workers, currently enqueued và dead jobs. Bạn có thể thực hiện operations như delete hoặc chạy jobs ngay lập tức mà không cần qua console.
Delayed Job không có inbuilt Web UI, nhưng delayed_job_web cung cấp basic Web UI với features tương tự Sidekiq.
Sidekiq Thắng Về Performance
Về performance, Sidekiq đánh bại Delayed Job khá thuyết phục. Theo benchmark open-source của Sidekiq, nó nhanh khoảng 30x so với Delayed Job. Có hai lý do chính:
- Redis nhanh hơn đáng kể ở việc query data so với traditional databases như Postgres vì nó lưu data trong memory thay vì disk.
- Delayed Job chạy single thread để xử lý jobs, so với Sidekiq dùng multiple threads.
Mặc dù trông tuyệt vời trên giấy, các sự khác biệt không quan trọng lắm trừ khi bạn làm việc ở quy mô lớn (khoảng 10k jobs mỗi phút). Số chính xác cũng phụ thuộc vào average run time của job. Càng lâu run time, performance overhead của Delayed Job càng ít quan trọng.
Nếu bạn lo lắng về performance của Delayed Job, bạn có thể làm một số performance optimizations. Các indexes chính xác sẽ phụ thuộc vào statistics của job system. Ví dụ, nếu bạn dùng multiple queues và chỉ một queue nhận phần lớn jobs, một index đơn giản trên cột queue (add_index :delayed_jobs, :queue) có thể cải thiện performance đáng kể.
Trong AppSignal, Sidekiq magic dashboard tự động được tạo ra và cho phép bạn monitor queue length, queue latency, job duration, job statuses, memory usage, v.v.

Deployment (Triển Khai)
Cả Delayed Job và Sidekiq đều có deployment strategy tương tự cho workers. Dùng Heroku, bạn chỉ cần thêm entries trong Procfile để start job processor và chạy workers.
Cho Sidekiq:
worker: bundle exec sidekiq
Cho Delayed Job:
worker: bundle exec rake jobs:work
Memory (Bộ Nhớ)
Đây là nơi mọi thứ bắt đầu thú vị hơn. Sidekiq có concurrency option để control số threads nó chạy. Hầu hết benchmarks Sidekiq vs. Delayed Job nhắc đến concurrency rất cao của Sidekiq lên tới 25 threads, góp phần vào performance siêu nhanh.
Nhưng trong setting thực tế, bạn phải limit threads xuống mức conservative hơn. Số thực tế phụ thuộc vào application nặng nhẹ như thế nào và loại jobs bạn perform. Thực tế tôi thấy nếu chạy worker trên 512MB memory (tương đương standard-1x trên Heroku), số threads ở đâu đó giữa 2 và 5 thay vì 25.
'Taming Rails memory bloat' của Mike Perham, người tạo ra Sidekiq, thảo luận chi tiết về memory issues và đáng đọc. Tôi không đi sâu vào toàn bộ thảo luận, nhưng anh khuyến nghị set MALLOC_ARENA_MAX=2 trên tất cả workers chạy Sidekiq.
Dùng jemalloc thay vì regular malloc cũng giúp. Cách làm chính xác phụ thuộc vào platform, nhưng khá đơn giản trên Heroku. Chỉ cần set heroku-buildpack-jemalloc làm buildpack đầu tiên (trước heroku/ruby buildpack).
Delayed Job Dùng Resources Đơn Giản Hơn
Như đã thảo luận, Delayed Job chạy trên database instance hiện có. Bạn có thể cần tăng:
- available memory
- disk space
- max connections
tùy thuộc vào job load hoặc số workers bạn chạy. Nhưng resource duy nhất bạn cần là job processor.
Mặt khác, Sidekiq yêu cầu Redis instance để handle jobs. Nếu bạn cũng dùng Redis làm cache store, khuyến nghị dùng separate instance cấu hình là "persistent store" cho Sidekiq jobs.
Vì Redis hoạt động tốt nhất khi mọi thứ fit trong memory, nếu bạn có quá nhiều jobs (ví dụ Sidekiq dừng xử lý một thời gian do issue trong app), có thể mất downtime để clear mọi thứ. Đặc biệt rắc rối nếu Redis trên cùng server với app. Chúng sẽ cạnh tranh memory, dẫn đến swapping và cuối cùng destroy performance của app.
Một điểm quan trọng về Redis là nó phải cấu hình với maxmemory-policy noeviction để tránh silent drops của data Sidekiq. Nếu không, bạn sẽ thấy mình thiếu jobs cần perform, không có dấu vết nào.
Ghi Chú Phụ: Paid Upgrades Trong Sidekiq
Nếu bạn cần extra features, Sidekiq có versions Pro và Enterprise.
Additional nổi bật nhất của Pro là Batch Jobs có thể chạy parallel, được monitor, và interact as a group, invoking callback khi tất cả jobs done. Pro cũng có improved reliability features đảm bảo không jobs bị dropped silently, ngay cả khi network problems.
Enterprise version có thêm features. Nếu bạn tìm thứ mà regular Sidekiq installation không giải quyết được, hãy explore paid Sidekiq features.
Trong thực tế, free version của Sidekiq vẫn hoạt động tuyệt vời. Nhưng tốt là biết có paid options có thể upgrade khi cần, thay vì switch sang solution khác.
Community Và Development Status: Sidekiq Có Ưu Thế
Có huge community behind cả Sidekiq và Delayed Job. Tuy nhiên, không luôn dễ tìm quick answers cho câu hỏi trên StackOverflow hay official documentation.
Về development side, mọi thứ không trông sáng lắm cho Delayed Job. Có một số minor work trên Delayed Job vào tháng 12/2021 và 1/2022, nhưng không có vẻ như có major developments đi tới. Nó dường như ở maintenance-only mode, và có nhiều open issues trên Github.
Ngược lại, Sidekiq vẫn under active development, và creator làm full time trên nó. Rất ít open issues, và chúng được address thường xuyên.
Tóm Lại: Sidekiq Hay Delayed Job? Tùy Vào Nhu Cầu Của Bạn
Trong bài viết này, chúng ta đã cover hai major job processing systems cho Rails applications — Sidekiq và Delayed Job — xem xét một số pros và cons.
Có different use cases cho mỗi cái. Tất cả phụ thuộc vào budget và scale của operation.
Nếu performance và long-term maintainability quan trọng, Sidekiq là no-brainer. Mặt khác, nếu running costs là concern, Delayed Job có thể giúp bạn.
Dù bạn chọn Delayed Job hay Sidekiq, chúc may mắn cho project và happy coding!
👋 Nếu bạn thích bài viết này, hãy xem các bài Ruby (on Rails) performance khác trong Ruby performance monitoring checklist của chúng tôi.
P.S. Nếu bạn muốn đọc các bài Ruby Magic ngay khi xuất bản, hãy đăng ký newsletter Ruby Magic để không bỏ lỡ bất kỳ bài viết nào!