Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Ruby

Parallel Testing Trong Ruby on Rails: Rủi Ro & Chiến Lược Giảm Thiểu

Bạn từng nghe ai than phiền về test suite chạy quá nhanh chưa? Tôi chưa bao giờ.

Test nhanh nghĩa là feedback nhanh. Dù bạn chạy locally hay trong continuous integration pipeline, test kết thúc sớm bao nhiêu, bạn phản ứng với failures và cải tiến code sớm bấy nhiêu. Bên cạnh lợi ích productivity, ai cũng biết test chậm khiến developer bực bội. Không ai thích developer bực bội.

Với tất cả những điều nói trên, việc tạo ra một test suite siêu nhanh không luôn dễ dàng như bạn hy vọng. May mắn thay, Rails 6 giới thiệu một tính năng thú vị gọi là parallel testing. Rất dễ để bắt đầu và có thể tăng tốc test đáng kể. Tuy nhiên, có một số bẫy cần cảnh giác.

Parallel Testing Là Gì?

Parallel testing到底意味着什么?

Khi bạn chạy test suite, test runner thường spawn một single process để thực thi test lần lượt — hoặc serially. Một single test process sử dụng một CPU core. Như bạn có thể tưởng tượng, cách tiếp cận này không tận dụng hết phần cứng hiện đại, thường có chục CPU cores.

Bạn có thể có MacBook sang trọng với 10 CPU cores, nhưng buồn thay, điều đó không làm test của bạn nhanh hơn!

Chúng ta có thể thay đổi bằng cách phân phối các test riêng lẻ cho nhiều worker processes. Test sẽ không còn chạy lần lượt, mà chạy song song — in parallel. Chạy test suite trên hai workers nhanh gấp đôi so với chạy trên single worker.

Máy càng nhiều cores, càng nhiều worker processes khả thi, và test suite càng nhanh. Giả sử test thường mất 8 phút. Chạy cùng test với 4 worker processes sẽ giảm runtime xuống khoảng 2 phút!

Hãy tưởng tượng làm điều tương tự trên máy 16 cores, nơi ta có thể spawn 16 workers. Thật tuyệt vời!

Cấu Hình Parallel Testing Trong Rails

Làm sao để đạt được điều đó? Cho đến gần đây, bạn có thể dùng third-party gems để parallelize test suite, nhưng từ Rails 6, parallel tests có sẵn built-in. Chỉ cần thêm parallelize vào tests:

class ActiveSupport::TestCase
  parallelize(workers: :number_of_processors)
end

Với cấu hình này, Rails sẽ tự động spawn worker processes dựa trên số processor trong máy. Rails cũng sẽ tạo namespaced databases (ví dụ database-test-0, database-test-1, v.v.) để chạy test.

Đó là tất cả những gì cần để bắt đầu! Tất nhiên, có thêm các tùy chọn cấu hình nếu bạn cần.

Đôi khi bạn phải thực hiện setup hoặc cleanup cụ thể cho parallel tests. Rails cung cấp hai hooks — parallelize_setup và parallelize_teardown. Chúng được gọi trước và sau khi worker processes mới spawn:

class ActiveSupport::TestCase
  parallelize(workers: :number_of_processors)

  def parallelize_setup
    # Setup code ở đây
  end

  def parallelize_teardown
    # Cleanup code ở đây
  end
end

Bạn cũng có thể set thủ công số workers:

parallelize(workers: 4)

Hoặc dùng biến môi trường PARALLEL_WORKERS để override cấu hình hiện có:

PARALLEL_WORKERS=4 rails test

Cũng có tùy chọn dùng threads thay vì workers để parallelize test suite.

parallelize(workers: :number_of_processors, with: :threads)

with: :threads là tùy chọn mặc định khi dùng JRuby hoặc TruffleRuby. Threads về lý thuyết cung cấp performance tốt hơn một chút. Threads đòi hỏi overhead ít hơn processes. Trong thực tế, tôi chưa bao giờ thấy dùng threads quá hữu ích, và bạn nên ổn với process-based parallelization trong hầu hết trường hợp.

Cảnh Giác Những Bẫy

Vậy tất cả những gì cần làm là thêm parallelize vào test hiện có để trải nghiệm speedup đáng kinh ngạc? Đơn giản như vậy!

Nếu bạn may mắn, điều đó đúng. Nhưng hơn là bạn sẽ gặp những snag (vướng mắc) bất ngờ khi lần đầu thêm parallelization vào test suite hiện có. Chắc chắn là trường hợp của tôi!

Hãy làm rõ một điều. Nếu bạn dùng RSpec thay vì Minitest, bạn hết h 운. RSpec không hỗ trợ Rails 6 built-in parallel testing. Có cuộc thảo luận đang diễn ra về việc thay đổi điều này, nhưng chưa có tiến triển đáng kể trong một thời gian. Nếu bạn muốn parallel tests với RSpec, lựa chọn tốt nhất vẫn là third-party gems như grosser/parallel_tests.

Một vấn đề bất ngờ khác bạn có thể gặp là chạy một số lượng test nhỏ trong parallel kết quả chậm hơn chạy serially. Thiết lập parallel tests đi kèm overhead đáng kể — như tạo multiple databases — có thể triệt tiêu bất kỳ gains nào từ parallelization.

Bạn có thể tốt hơn bằng cách disable parallel tests cho số lượng test nhỏ. Có thể làm bằng biến môi trường PARALLEL_WORKERS:

PARALLEL_WORKERS=0 rails test

Rails 7 đã giải quyết vấn đề này bằng cách enable parallel execution chỉ khi bạn chạy nhiều test. Nếu bạn đã upgrade, bạn sẽ không gặp vấn đề này. Mặc định, parallelization threshold được set ở 50, nhưng bạn có thể override:

parallelize(workers: :number_of_processors, threshold: 100)

Vấn đề cuối cùng tôi muốn nhấn mạnh là vấn đề bạn có khả năng cao nhất gặp phải, và nó cũng là vấn đề insidious (âm thầm gây hại) và khó xử lý nhất. Bạn có thể bắt đầu thấy random failures khi enable parallel tests cho test suite. Để hiểu parallelization gây ra vấn đề này như thế nào, hãy xem một test case đơn giản:

test 'file exists' do
  File.write('test.txt', 'hello')
  assert File.exist?('test.txt')
end

test 'file deleted' do
  File.delete('test.txt')
  assert_not File.exist?('test.txt')
end

Bên cạnh việc hơi vô nghĩa, test này hoàn toàn ổn. Sẽ pass 100% thời gian miễn là chạy serially. Mỗi test được isolated, và thực thi test theo random order không làm fail. Điều đó thay đổi khi thêm multiple processes hoặc threads.

Khi chạy test parallel, thứ tự thực thi của các statements riêng lẻ trong test có thể bị thay đổi do CPU scheduling. Xem ví dụ, đôi khi bạn sẽ thấy execution orders như sau:

# Worker 1                    # Worker 2
File.write('test.txt', 'hello')
                              File.delete('test.txt')
assert File.exist?('test.txt')  # FAILS!
assert_not File.exist?('test.txt')

Vì Worker 2 xóa file trước khi assertion của Worker 1 được thực thi, test đầu tiên sẽ fail — thỉnh thoảng. Để thêm phần insult to injury (thêm đau vào đau), một execution order khác đôi khi làm test thứ hai fail và test đầu tiên pass.

Ví dụ đơn giản này minh họa vấn đề không chỉ mở rộng ra file mà đến bất kỳ singleton resource nào mà test truy cập theo cách non-thread-safe. Giả sử bạn ghi vào Redis database hoặc Elasticsearch index. Trong trường hợp đó, bạn có thể gặp tương tự complications. Càng tệ hơn, có thể mất một lúc để phát hiện tất cả test gây random failures — và thậm chí nhiều thời gian hơn để fix tất cả.

Không có silver bullet (giải pháp万能) để giải quyết flaky parallel tests. Nói chung, bạn cần đảm bảo multiple test processes không share resources. Đối với files, dùng Tempfiles. Dùng parallelize_setup để tạo namespaced resources (ví dụ Redis databases). V.v.

Thêm Parallel Testing Vào Rails Tests Hiện Có

Giả sử bạn gặp khó khăn với random test failures do parallelization và không có thời gian fix chúng. Tuy nhiên, bạn vẫn muốn tận dụng lợi ích của parallel testing. Bạn có thể thích enable nó chỉ cho một subset của tests.

Chỉ có tests gọi parallelize mới bị parallelized, và bằng cách dùng concerns hoặc parent classes, bạn có thể thêm parallel testing vào test suite từng test class một. Bạn có thể tạo một module như sau:

module Parallelizable
  extend ActiveSupport::Concern
  included do
    parallelize(workers: :number_of_processors)
  end
end

Bất kỳ test class nào include module này sẽ chạy parallel:

class UserTest < ActiveSupport::TestCase
  include Parallelizable
  # tests...
end

Thay vào đó, bạn có thể tạo một test class mới như ParallelTest:

class ParallelTest < ActiveSupport::TestCase
  parallelize(workers: :number_of_processors)
end

Sau đó, inherit từ class đó cho tests nên chạy parallel — và bỏ qua những test gây vấn đề.

Parallel Testing Là Một Cái Băng Keo (Bandaid)

Parallel testing cung cấp speed gains ấn tượng với effort nhỏ. Đừng bị lừa: nó không phải là thay thế cho các cách khác cải thiện tốc độ test suite, mà là một bổ sung.

Nếu bạn thấy test suite chậm và có thể dành effort, hãy花时间 profiling nó và giải quyết root cause của sự chậm chạp. Một slow test suite với parallel testing sẽ nhanh hơn, nhưng bao giờ cũng không nhanh bằng một test suite đã nhanh mà cũng chạy parallel!

Tóm Lại

Trong bài viết này, chúng ta đã xem parallel testing là gì, cách setup và cấu hình nó. Nếu bạn cần cách làm test nhanh hơn, parallel testing cung cấp chính điều đó.

Bạn có thể gặp chướng ngại khi thêm parallel testing vào test suite. Đ ngạc nhiên khi test chạy stable nhiều năm bỗng nhiên bắt đầu fail. Bạn có thể work around bằng cách parallelize chỉ một subset của test suite.

Dù chọn cách nào, parallel testing là công cụ tuyệt vời để tăng tốc test!

Happy coding!

P.S. Nếu bạn muốn đọc các bài Ruby Magic ngay khi xuất bản, hãy đăng ký newsletter Ruby Magic để không bỏ lỡ bất kỳ bài viết nào!

Hans-Jörg Schnedlitz

Tác giả khách Hans là Rails engineer từ Vienna, Áo. Anh dành phần lớn thời gian coding hoặc đọc về coding, và đôi khi viết về nó trên blog! Khi không ngồi trước màn hình, bạn có thể tìm thấy anh ngoài trời, leo núi.

Tất cả bài viết của Hans-Jörg Schnedlitz