Chúng ta thường nhận câu hỏi về optimizing hoặc monitoring Sidekiq. Monitoring là thế mạnh của chúng ta, nhưng optimize performance Sidekiq là game khác hoàn toàn. Thực tế, optimize phức tạp, nhưng hãy bắt đầu từ những câu trả lời seemingly simple...
Hai Cách Tăng Tốc Độ
Đầu tiên, tốc độ tăng được theo hai cách — làm job lớn hơn (có thể tốn nhiều memory, IO hoặc phức tạp hơn), hoặc adjust concurrency settings/workers (sẽ dùng nhiều CPU và có thể IO). Ouch, thực tế đã đập vào mặt: tốc độ đi kèm chi phí. Nếu bạn có thể spare thêm memory, IO, CPU thì free, nhưng chúng ta nghĩ quan trọng nhận ra trade-offs có thể phải làm.
Tăng Tốc Độ Qua Concurrency Settings
Sidekiq xử lý concurrency bằng multiple threads trong process. Cách này xử lý multiple jobs cùng lúc, mỗi thread xử lý một job tại một thời điểm. Mặc định Sidekiq dùng 10 threads per process. Bạn có thể config dùng nhiều threads hơn, tăng concurrency.
Lưu ý: model concurrency mới cần app support. Ví dụ, cần pool connection database đủ lớn và host handle được tăng I/O operations. Xem Sidekiq documentation về concurrency để biết thêm.
Tăng Tốc Độ Bằng Cách Chạy Nhiều Worker
Ngoài spawn multiple processes, bạn có thể chạy nhiều worker. Cách này scale up CPU-intensive parts, chạy parallel khi chúng sẽ cản trở nhau trên CPU nếu chạy trong một process. Chúng ta đã viết về concurrency trong Ruby và Global Interpreter Lock trong bài này nếu muốn cập nhật.
Nó Hoạt Động Hay Nó Gãy? Cosa Monitor và Magic Dashboards Của Chúng Tôi
Thay đổi default parameters có thể impact performance app. Trước khi đổi setting, khuyến khích setup monitoring xem changes có positive impact hay degrade performance.
Hãy check xem có break things ở host level không. Bạn muốn xem app resource intensive như thế nào trên hardware bạn chạy. Nếu còn capacity memory và CPU, có thể tăng concurrency settings làm mọi thứ nhanh hơn một chút.
Dù dùng APM (Application Performance Monitoring) nào, nó có cách track host metrics. Nếu dùng AppSignal, dashboard cho host tự động tạo. Để đảm bảo alert trước khi mọi thứ mất kiểm soát, dễ dàng setup alert cho CPU usage trên specific host dùng Anomaly detection.
Bây giờ xem Sidekiq level. APM bạn chọn sẽ allow setup monitoring và alerting cho background jobs theo cách manual. Trên AppSignal, rất dễ: chúng ta track cho bạn trong Sidekiq magic dashboard (tự generate không cần setup từ bạn, khi chạy version gần của gem chúng tôi).
Trong setup này, bạn muốn monitor job status per queue và set trigger cho failure rate để alert Slack, PagerDuty, email hoặc gì bạn dùng.
Fewer, Larger Jobs?
Chúng ta đã nhìn nhanh tăng tốc trade-off CPU. Bây giờ xem tăng tốc trade-off memory, IO, hoặc complexity. Bạn nghĩ tạo larger jobs sẽ làm được. Ý tưởng: large jobs nhanh hơn vì không có Sidekiq overhead per operation. Trong kinh nghiệm của chúng ta, Sidekiq overhead hiếm khi kill performance. Thường là database queries job làm kill performance. Chúng ta thấy combine more jobs để perform fewer queries là cách quan trọng đến better performance. Đơn giản: làm một update 1000 records thay vì 1000 update 1 record.
Monitor Cái Gì Để Biết Có Hoạt Động Hay Gãy?
Đầu tiên, monitor job status per queue ở đây cũng vậy và set trigger cho failure rate. Vì job mất thời gian hơn và có nhiều operation hơn, bạn cũng muốn monitor memory usage của Sidekiq. Cũng nên setup alert trên Sidekiq memory use, nhưng cụ thể, cho host hết memory dùng Anomaly detection của AppSignal.
Bạn cũng nên monitor queue length per queue. Sẽ alert khi backlog hình thành - khi worker có queued nhiều hơn họ xử lý được. Chúng tôi khuyên setup Anomaly detection trigger cho 'critical' job queue.
Trade-Off Bạn Không Thấy Trong APM
Vấn đề lớn với larger jobs: chúng khó code hơn. Bạn phải làm individual jobs explicitly idempotent và track status của chúng. Ví dụ đơn giản: job mail cho một người fail, retry không hại nhiều. Khi mail 1000 người, nếu job fail, bạn không muốn resend cho 240 người đã mail trước khi job fail. Đảm bảo điều đó không xảy ra làm code phức tạp hơn.
Sự Phức Tạp Thực Sự Của Thực Tế
Thời gian reality check khác. Thường background process không slow vì gì chạy trong Sidekiq. Có thể database bạn query slow vì host nó chạy hết memory. Khi tìm cool example cho bài này, chúng ta gặp scenario đó: duration peaking vì external API response time dài. Không có gì trong Sidekiq giải quyết được.
Vì problem có thể thấy ở chỗ này nhưng cause ở chỗ khác hoàn toàn, ở AppSignal, chúng ta build product có errors, performance, host metrics all-in-one. Combined metrics của view này làm dễ dàng tìm root cause.
Không Có Câu Trả Lời Dễ Dàng, Phải Không?
Mặc dù bắt đầu bài với basics monitoring và optimizing Sidekiq, chúng ta ngay lập tức gặp thực tế: speed tốn CPU và IO. Hoặc Memory. Hoặc introduce complexity hơn. Và dù chạm đến một phần complexity của performance trong architecture, thực tế chúng ta chỉ lướt qua 99% những thứ khó trong bài này.
Vì vậy, dù có thể đã gạt hy vọng simple answers của bạn, hy vọng bài viết gợi ý suy nghĩ thú vị về optimizing và monitoring Sidekiq setup của bạn!