Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Ruby

Hiểu Và Sửa Rò Rỉ Bộ Nhớ Ruby: Hướng Dẫn Toàn Diện

Trong phần đầu của loạt bài hai phần về rò rỉ bộ nhớ, chúng ta đã xem cách Ruby quản lý bộ nhớ và Garbage Collection (GC) hoạt động như thế nào.

Bạn có thể mua máy mạnh hơn với nhiều bộ nhớ, và app restart đủ thường để user không nhận ra, nhưng memory usage quan trọng.

Allocation (cấp phát) và Garbage Collection không miễn phí. Nếu có leak, bạn dành nhiều thời gian cho GC thay vì làm những gì app được xây để làm.

Trong bài này, chúng ta sẽ nhìn sâu vào công cụ để khám phá và chẩn đoán rò rỉ bộ nhớ.

Tiếp tục!

Tìm Leaks Trong Ruby

Phát hiện leak đủ đơn giản. Bạn dùng GC, ObjectSpace, và RSS graphs trong APM tool xem memory usage tăng. Nhưng chỉ biết có leak không đủ sửa. Bạn cần biết nó từ đâu. Raw numbers không nói được.

May mắn, Ruby ecosystem có công cụ tuyệt vời gắn context vào numbers. Hai cái là memory-profiler và derailed_benchmarks.

memory_profiler Trong Ruby

Gem memory_profiler cung cấp API rất đơn giản và báo cáo allocated/retained memory chi tiết (mặc dù hơi overwhelming) — bao gồm class của object allocated, size, và nơi allocated. Dễ thêm vào leaky program.


Output báo cáo trông như sau.


Nhiều thông tin, nhưng nói chung, section allocated objects by location và retained objects by location hữu ích nhất khi tìm leak. Đây là file location allocate object, ordered by số allocated objects.

  • allocated objects là tất cả object allocated (tạo) trong block report.
  • retained objects là object chưa bị garbage collected cuối block report. Chúng ta force GC run trước khi kết thúc block để thấy leaked objects rõ hơn.

Cẩn thận tin retained object counts. Chúng phụ thuộc heavy vào portion leaking code nào trong block report.

Ví dụ, nếu move declaration an_array vào block report, chúng ta có thể bị lừa nghĩ code không leak.


Top báo cáo kết quả không report nhiều retained objects (chỉ report bản thân).


derailed_benchmarks Trong Ruby

Gem derailed_benchmarks là suite công cụ hữu ích cho mọi performance work, chủ yếu nhắm Rails app. Để tìm leak, xem perf:mem_over_time, perf:objects, và perf:heap_diff.

Các task work bằng gửi curl request đến running app, nên không thêm vào leaky program nhỏ. Thay vào đó, cần setup Rails app nhỏ với endpoint leak memory, cài derailed_benchmarks.



Bây giờ boot app với bin/rails s. Bạn có thể curl endpoint leak mỗi request.


Chúng ta dùng derailed_benchmarks xem leak hoạt động.

perf:mem_over_time

Điều này show memory use over time (tương tự watch memory growth leaky script với watch và ps).

Derailed boot app production mode, repeatedly hit endpoint (/ default), report memory usage. Nếu không bao giờ ngừng tăng, có leak!


Lưu ý: Derailed boot Rails app production mode để test. Mặc định cũng require rails/all trước. Vì app này không database, cần override behavior với DERAILED_SKIP_ACTIVE_RECORD=true.

Chạy benchmark trên different endpoints xem cái nào leak.

perf:objects

Task perf:objects dùng memory_profiler under the hood nên báo cáo trông quen.


Báo cáo giúp narrow down leaked memory allocated ở đâu. Ví dụ, section cuối — Retained String Report — nói chính xác vấn đề.


Chúng ta leak 10,000 string chứa "ABC" từ LeaksController line 3. App non-trivial, báo cáo lớn hơn và chứa retained strings bạn muốn retain — query caches, v.v. — nhưng section 'by location' này giúp narrow down leak.

perf:heap_diff

Benchmark perf:heap_diff giúp nếu báo cáo perf:objects quá phức tạp thấy leak từ đâu.

Như tên, perf:heap_diff tạo ba heap dumps và tính difference giữa chúng. Tạo báo cáo bao gồm type object retained giữa dumps và location allocated chúng.


Đọc Tracking a Ruby memory leak in 2021 hiểu rõ hơn.

Báo cáo chỉ đúng chỗ cần đi cho leaky baby app. Top diff, thấy 999991 retained string objects allocated từ LeaksController line 3.

Leaks Trong Real Ruby Và Rails Apps

Hy vọng ví dụ dùng chưa bao giờ production — tôi hy vọng không ai intend leak memory!

Non-trivial apps, memory leaks khó track down hơn. Retained objects không phải luôn xấu — cache với GC items không hữu ích.

Có điều chung giữa mọi leak. Ở đâu đó, root-level object (class/global, v.v.) giữ reference đến object.

Ví dụ thường gặp: cache không limit hoặc eviction policy. Theo định nghĩa, sẽ leak memory vì mọi object vào cache sẽ ở mãi. Theo thời gian, cache chiếm nhiều memory app, tỷ lệ thực tế dùng nhỏ dần.

Xem code fetch high score game. Tương tự thứ tôi từng thấy. Request đắt, dễ bust cache khi thay đổi, nên muốn cache.


Hash @scores hoàn toàn unchecked. Sẽ grow giữ mọi high score mọi user — không ideal nếu nhiều user/score.

Rails app, dùng Rails.cache với expiry hợp lý (memory leak trong Redis vẫn leak!) thay thế.

Non-Rails app, limit hash size, evict oldest hoặc least recently used. LruRedux implement hay.

Phiên bản subtle hơn: cache có limit, nhưng key arbitrary size. Nếu key grow, cache grow. Thường không hit. Nhưng, nếu serialize object JSON làm key, double-check không serialize thứ grow với usage — như list read messages của user.

Circular References (Tham Chiếu Vòng)

Circular references có thể garbage collected. GC Ruby dùng thuật toán "Mark and Sweep". Trong presentation giới thiệu variable width allocation, Peter Zhu và Matt Valentine-House giải thích xuất sắc thuật toán.

Bản chất, hai phase: marking và sweeping.

  • Phase marking, garbage collector bắt đầu từ root objects (classes, globals, v.v.), mark chúng, rồi nhìn referenced objects.

    Mark all referenced objects. Referenced objects đã marked không nhìn lại. Tiếp tục cho đến không còn object nào — ví dụ, tất cả referenced objects marked.

  • Garbage collector move sang phase sweeping. Object không marked bị clean up.

Do đó, object có live reference vẫn có thể clean up. Miễn root object không eventually reference object, nó sẽ collected. Cách này, cluster object với circular references vẫn GC.

Application Performance Monitoring: Event Timeline Và Allocated Objects Graph

Như đề cập part 1, production-level app nên dùng APM (Application Performance Monitoring).

Nhiều option, bao gồm tự build (chỉ khuyến khích team lớn). Feature then chốt từ APM: thấy số allocations action (hoặc background job) làm. Good APM tools break down, insight allocations từ đâu — controller, view, v.v.

Thường gọi 'event timeline'. Bonus points nếu APM cho viết custom code break down timeline thêm.

Xem code Rails controller.


Khi APM report, 'event timeline' trông như screenshot AppSignal.

Hiểu Và Sửa Rò Rỉ Bộ Nhớ Ruby: Hướng Dẫn Toàn Diện

Có thể instrument thấy phần code làm allocations trong timeline. Real app, ít obvious từ code 😅


Ví dụ instrumented event timeline, từ AppSignal:

Hiểu Và Sửa Rò Rỉ Bộ Nhớ Ruby: Hướng Dẫn Toàn Diện

Biết instrument đâu khó nắm. Không thay thế hiểu code app, nhưng có signals làm 'smells'.

Nếu APM surface GC runs hoặc allocations over time, tìm spikes match endpoint hit hoặc background job running. Ví dụ từ Ruby VM magic dashboard AppSignal:

Hiểu Và Sửa Rò Rỉ Bộ Nhớ Ruby: Hướng Dẫn Toàn Diện

Nhìn allocations cách này, narrow down search khi look into memory problems. Làm dễ dùng tools như memory_profiler và derailed_benchmarks hiệu quả.

Đọc thêm mới nhất AppSignal Ruby gem, như allocation và GC stats tracking.

Kết Luận

Trong bài, chúng ta đi sâu tools giúp tìm fix memory leaks, bao gồm memory_profiler, derailed_benchmarks, perf:mem_over_time, perf:objects, perf:heap_diff, event timeline và allocated objects graph AppSignal.

Tôi hy vọng bài này, cùng part one, hữu ích diagnose và sort out memory leaks Ruby app.

Đọc thêm tools dùng:

  • memory_profiler
  • derailed_benchmarks
  • Leaky Rails app

Đọc chi tiết thêm:

  • GC module documentation
  • ObjectSpace module documentation
  • Garbage Collection Deep Dive
  • Variable Width Allocation

Chúc viết mã vui vẻ!

P.S. Nếu bạn muốn đọc các bài Ruby Magic ngay khi chúng xuất bản, hãy đăng ký bản tin Ruby Magic của chúng tôi và không bao giờ bỏ lỡ bất kỳ bài viết nào!