Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Redis

Mở rộng Hệ thống Hiệu quả: Process Splitting & Redis cho Messaging High-Performance

Tác giả: Pramono Winata

Bạn có bao giờ gặp rắc rối khi cố gắng xử lý một quy trình đơn lẻ thực sự khổng lồ hoặc nặng nề? Nếu có, tôi có thể giúp bạn tìm ra cách quản lý nó tốt hơn.

Trong bài viết này tôi sẽ chia sẻ cách tôi hiện đang quản lý một tin nhắn đơn lẻ quá lớn để xử lý trên một quy trình đơn lẻ. Tôi đã chia nó thành các chunks khác nhau, dẫn đến các quy trình riêng biệt.

Tôi sẽ không đi sâu vào chi tiết kỹ thuật nhiều, mà tập trung hơn vào quy trình kiến trúc.
Sẽ thảo luận một chút về việc sử dụng caching và pubsub, nhưng tôi sẽ không đi sâu vào chi tiết triển khai. Thay vào đó, tôi sẽ tập trung vào chính pattern đó.

Vấn đề

Mở rộng Hệ thống Hiệu quả: Process Splitting & Redis cho Messaging High-Performance _Photo by [Unsplash](https://unsplash.com/@dsmacinnes?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit">Danielle MacInnes / <a href="https://unsplash.com/?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit)>

Có lẽ câu hỏi đầu tiên đến đầu bạn là tại sao chúng ta cần chia một quy trình đơn lẻ thành عدة quy trình đồng thời (concurrent processes)?

Có thể có vài lý do để làm điều này. Trong trường hợp của tôi, tôi làm vậy vì tin nhắn đơn giản quá lớn.

Để cho bạn hình dung tình huống của tôi, hãy cho tôi tóm tắt sơ qua với sơ đồ đơn giản này:

Mở rộng Hệ thống Hiệu quả: Process Splitting & Redis cho Messaging High-Performance Tôi không phải là người vẽ sơ đồ giỏi, nhưng điều này nên làm rõ vấn đề

Để đơn giản hóa bằng lời, hãy tưởng tượng hai dịch vụ riêng biệt, service A và service B, với một pubsub service ở giữa.

Nếu bạn không chắc pubsub service là gì, hãy tưởng tượng nó như một broker giúp tin nhắn từ dịch vụ này đến dịch vụ kia.

Service A sẽ publish một tin nhắn và thông qua pubsub, service B sẽ xử lý nó. Sau khi hoàn thành xử lý, nó sẽ làm một quy trình khác để đánh dấu tin nhắn đã được xử lý.

Đơn giản phải không?

Chỉ là trong một số trường hợp khi tin nhắn quá lớn, nó sẽ không publish thành công tin nhắn vì giới hạn của pubsub service.

Được rồi, điều này nên cho bạn cái nhìn tổng quan về vấn đề tôi gặp phải. Vậy tôi sửa vấn đề này như thế nào? Trong phần tiếp theo, tôi sẽ chạy bạn qua giải pháp của tôi.

Cách tiếp cận đầu tiên của tôi

Mở rộng Hệ thống Hiệu quả: Process Splitting & Redis cho Messaging High-Performance _Photo by [Unsplash](https://unsplash.com/@dose?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit">Dose Media / <a href="https://unsplash.com/?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit)>

Điều đầu tiên đến đầu tôi là tăng kích thước pubsub service có thể xử lý, điều này doable với một thay đổi config đơn lẻ.

Nhưng cuộc sống sẽ không thú vị nếu nó dễ dàng đến vậy phải không? Điều gì xảy ra nếu tin nhắn cứ càng ngày càng lớn? Chúng ta có tiếp tục tăng kích thước pubsub?

Thực ra làm vậy có thể dẫn đến nhiều vấn đề scalability. Không tốt cho giải pháp dài hạn.

Sau đó tôi nghĩ ra giải pháp khác mà tôi nghĩ có thể giải quyết: tôi chia tin nhắn đó thành several tin nhắn và cố gắng xử lý các phần đó riêng biệt.

Bây giờ, hệ thống trông như thế này:

Mở rộng Hệ thống Hiệu quả: Process Splitting & Redis cho Messaging High-Performance Hệ thống/quy trình cập nhật của tôi

Như bạn thấy từ sơ đồ, tin nhắn được chia thành several tin nhắn nhỏ hơn. Cách nó được chia và phần nào của tin nhắn cần chia có thể khác nhau cho mỗi case và flow.

Trong trường hợp của tôi, tin nhắn thực sự chứa một list các items nên tôi có thể chia nó theo từng item.

Giả sử tôi có 10 items. Trước đây, nó sẽ publish tất cả 10 items trong một tin nhắn. Nhưng bây giờ sau khi chia tin nhắn, nó sẽ biến tin nhắn đó thành 10 tin nhắn.

Điều này dẫn đến một quy trình đơn lẻ biến thành several quy trình cùng một lúc. Một publish đơn lẻ sẽ biến thành 10 publishes, lần lượt biến quy trình đơn lẻ đó thành 10 quy trình.

Điều này có thể không trông lý tưởng khi nhìn cách đó, nhưng đây là giải pháp tốt nhất tôi nghĩ ra và nó chắc chắn hoạt động.

Vậy là xong, chỉ chia nó ra thôi?

Không thực sự – nhớ phần cuối nơi nó đánh dấu quy trình đã hoàn thành?
Nếu vậy, bạn có thể thắc mắc tại sao phần đó bị thiếu từ sơ đồ mới của tôi.

Đừng lo – không phải tôi quên nó. Tôi cố tình bỏ qua nó cho phần tiếp theo.

Vấn đề là, khi bạn chia tin nhắn và chia nhỏ nó thành several quy trình, hệ thống của bạn có thể không biết xem toàn bộ quy trình có thực sự hoàn thành hay không. Đây là một vấn đề lớn khác chúng ta cần giải quyết, và may mắn thay tôi tìm ra giải pháp cho nó.

Cách xử lý Finishing Processes

Mở rộng Hệ thống Hiệu quả: Process Splitting & Redis cho Messaging High-Performance _Photo by [Unsplash](https://unsplash.com/@tumbao1949?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit">James Wainscoat / <a href="https://unsplash.com/?utm_source=ghost&utm_medium=referral&utm_campaign=api-credit)>

Vậy chính xác tôi biết như thế nào nếu quy trình đã hoàn thành, vì những quy trình đó xảy ra đồng thời?

Giải pháp tôi nghĩ ra là lưu số lượng quy trình cần làm và giảm nó mỗi khi một quy trình kết thúc. Cách này chúng ta sẽ biết nếu quy trình cuối cùng đã hoàn thành.

Nó nghe có vẻ đủ đơn giản, miễn là chúng ta có nơi đáng tin cậy để lưu trữ dữ liệu đó.
Và thực ra có khá nhiều lựa chọn cho điều đó. Một trong số đó gọi là Redis, và tôi đang dùng nó để giải quyết vấn đề của mình ở đây.

Nếu bạn không quen với Redis, nó là một service thường được dùng như cache.

Chúng ta sẽ quản lý cơ chế Redis như sau:

Mở rộng Hệ thống Hiệu quả: Process Splitting & Redis cho Messaging High-Performance Thêm Redis để đánh dấu quy trình của chúng ta

Quy trình trông giống hệt như trước, nhưng với sự thêm vào của Redis ở giữa. Bạn cần đảm bảo bạn có initial count hợp lệ cho trường hợp này.

Trong trường hợp của tôi, vì tôi publish một list, tôi có thể dễ dàng đặt độ dài list của tôi làm initial counter. Và cho counter, tôi chỉ cần giảm nó đi một mỗi khi một quy trình hoàn thành. Sau đó tôi sẽ biết nếu tôi đã hoàn thành tất cả quy trình của tôi đơn giản bằng cách tham chiếu counter Redis của tôi. Nếu nó đạt 0, có nghĩa là tôi có thể an toàn đánh dấu tất cả quy trình của tôi đã xong.

Tổng kết

Để tóm tắt tất cả, tôi chia tin nhắn thành several tin nhắn sẽ được xử lý tất cả cùng nhau trong several quy trình. Để quản lý các quy trình tin nhắn, tôi dùng Redis caching.

Giải pháp tôi mô tả ở trên sẽ không phải là silver bullet (giải pháp万能) mỗi khi bạn gặp vấn đề xử lý tin nhắn rất lớn. Có cách khác như streaming tin nhắn của bạn, nhưng đó sẽ là câu chuyện cho ngày khác.

Cảm ơn bạn đã đọc bài viết của tôi đến cuối! Tôi hy vọng bạn thích và thấy bài viết thú vị, và quan trọng nhất, nó hữu ích.

Học lập trình miễn phí. Chương trình mở của freeCodeCamp đã giúp hơn 40.000 người tìm được việc làm với tư cách là lập trình viên. Bắt đầu ngay hôm nay.