Performance monitoring là phần quan trọng của việc chạy successful application. Một trong những cách basic nhất để tell performance của something là measure duration mỗi lần nó xảy ra và distill statistics từ đó.
Mean (Trung Bình)
Mean hoặc average của collection of values là good start để see tốt/xấu behavior như thế nào. Nó calculated bằng cách sum all values under consideration và divide by number of occurrences.
Trong Ruby, calculate mean response time trông như sau:
durations = [100, 200, 300, 400, 500]
mean = durations.sum.to_f / durations.size
# => 300.0
Lưu ý: Trong ví dụ, cho accurate result khi chia, chúng ta cast total duration value thành Float. Nếu không, Ruby sẽ round down đến nearest Integer, return 4 thay vì 4.5.
Statistic hữu ích khác là median. Mặc dù nghe tương tự, có difference giữa mean và median của collection of values.
Median là value separate upper half của set từ lower half của set.
Đối với dataset với odd number of values, bạn get median bằng cách sort values, rồi select middle number. Cho set với even number of values, sau khi sort, median sẽ là mean của hai middle numbers.
def median(values)
sorted = values.sort
len = sorted.length
return sorted[len / 2] if len.odd?
(sorted[len / 2 - 1] + sorted[len / 2]) / 2.0
end
durations = [1, 2, 3, 4, 5, 2000]
median(durations) # => 3.5
Statistic này good way để see nếu có huge skew trong data hoặc long tail.
durations = [1, 2, 3, 4, 5, 2000]
mean = durations.sum.to_f / durations.size # => 335.83
median(durations) # => 3.5
Mean cho durations trên là 335.83 vì single outlier 2000ms. Median, chỉ 3.5, indicate có skew.
Bằng cách calculate cả mean và median của dataset, bạn có thể figure out nếu có large outliers hoặc long tail.
Vấn Đề Với Mean
Mặc dù mean và median là good indicators của performance, chúng không tell whole story. Nếu bạn request webpage 10 lần, mean có thể rất low, nhưng một hoặc nhiều requests vẫn có thể take very long time để complete.
Hình dưới cho thấy 99th (blue) và 90th (green) percentiles và mean (red) cho certain action trong AppSignal. Bạn thấy 99th và 90th khá far từ mean và có spikes. Điều này nghĩa là trong khi average customer có good experience, every once in a while có user phải wait gần gấp đôi để page render. Ideally, bạn muốn all these values close to each other, tạo more consistent experience cho all users.

Ví dụ, given duration set sau где 10 customers request page với duration giữa 100ms và 1 second.
durations = [100, 100, 100, 100, 100, 100, 100, 100, 100, 1000]
mean = durations.sum.to_f / durations.size # => 190ms
Kết quả mean chỉ 190ms trong khi một user có very bad experience 1 second response time. Khi chỉ track mean, dễ nghĩ website có great performance, trong thực tế every once in a while user có terrible experience.
Ví dụ trên chỉ cho 10 requests, nhưng imagine nếu bạn có 1000 requests per day, nghĩa là 100 users có terrible experience.
Percentiles (Phân Vị)
Để give better idea về distribution của values, chúng ta dùng percentiles. Percentiles tương tự median - number signify point trong dataset where percentage của set below number đó.
20th percentile nghĩa là 20% numbers trong dataset below number đó.
Given following (sorted) set:
values = [100, 100, 100, 100, 100, 100, 100, 100, 100, 1000]
Nếu muốn know 20th percentile, calculate như sau: Có 10 values trong set. Wanted value at position 1 (20.0 / 100 * 10 - 1) vì arrays start at zero. Vì array chứa even amount of items, ta calculate mean giữa index (2) và index + 1 (3). Kết quả 150 cho 20th percentile.
Naive Ruby implementation:
def percentile(values, p)
sorted = values.sort
n = sorted.length
index = (p / 100.0) * n - 1
return sorted[index.ceil] if index != index.floor
(sorted[index.floor] + sorted[index.ceil]) / 2.0
end
percentile(values, 20) # => 150
Function percentile này trông rất similar to median calculation và actually, median = 50th percentile.
percentile(values, 50) == median(values) # => true
AppSignal dùng statistics trên để generate performance metrics cho Application. Chúng tôi không chỉ rely on mean/average mà calculate 90th và 95th percentiles để show outliers cho better idea về distribution của requests. Tìm hiểu thêm trên performance tour page.
Oddities (Đặc Điểm Lạ)
Vì cách percentiles và averages calculated, đôi khi possible có 90th percentile dip below mean, ví dụ given dataset:
values = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1000]
mean = values.sum.to_f / values.size # => 100.9
percentile(values, 90) # => 1
Điều này cho mean = 100.9, và 90th percentile chỉ 1.
Nếu metric collection system chỉ show 90th percentile và mean, bạn vẫn deduce được có huge outlier trong dataset nếu 90th percentile drop below average.
👋 Nếu bạn thích bài này, chúng tôi viết nhiều hơn về Ruby (on Rails) performance, check out Ruby performance monitoring checklist.
Bạn Đã Gần Hoàn Thành 100% Bài Viết Này
Đó là tất cả cho bây giờ! Trong bài khác, chúng ta sẽ nói về cách efficiently store và calculate percentiles cho all customer requests dùng Quantiles. Nếu có questions hoặc remarks về statistics và APMs, error tracking hoặc performance monitoring, hit us up on Twitter @AppSignal hoặc via email.

Robert Beekman
Là co-founder, Robert viết very first commit. Anh cũng là support role-model và biết all about tiny details trong code. Travels and photographs (at the same time).
Tất cả bài viết của Robert Beekman