Hầu hết web applications đều dùng data store nào đó, thường là relational database. Khi web app thành công, rất dễ bắt đầu "hâm hạp" data trong database. Việc hâm hạp data dẫn đến sự tăng trưởng không giới hạn của database tables (cả row count và stored data size).
Mặc dù điều này hoạt động tốt đến một mức độ, rất hữu ích để ngăn chặn data bloat — hoặc, nếu không thể ngăn chặn, lên kế hoạch cho infrastructure trước để quản lý tăng trưởng một cách adequate.
Trước khi đi sâu, hãy xem chúng ta có thể kết thúc với bloated applications như thế nào.
Nhiều Data Không Luôn Tốt
Hầu hết applications chúng ta làm việc đều tend to get bigger theo thời gian.
Nếu bạn dùng cloud provider cho database, bạn có thể hit allocated storage limit. Khi đó xảy ra, bạn sẽ cần upgrade lên instance type khác. Heroku PostgreSQL databases có limit, ví dụ, instance "hobby" tier bị giới hạn 1GB data.
Có nhiều data cũng có implications cho query speeds. Điều trước đây possible without index trở thành impossible với larger tables. Một số row range scans sẽ chậm hơn. Nhiều locks hơn sẽ được acquired để làm database UPDATE và DELETE operations.
Cách Database Tables Tăng Trưởng
Data hoarding xảy ra dần dần. Điều không phải vấn đề hôm nay có thể dễ dàng trở thành vấn đề trong một tháng hoặc sáu tháng. Điều treacherous (giả vờ đơn giản nhưng thực tế nguy hiểm) nhất về data hoarding là nó rất dễ miss. Xem xét vài scenarios kinh điển:
- Vì compliance reasons, bạn adopt gem như
paper_trailvà có tableaudit_log_entries. Mọi operation có ý nghĩa trong app tạo một row trongaudit_log_entries. Những audit log entries đó không bao giờ được archive. - Bạn accept uploads và dùng ActiveStorage. Bạn không bao giờ xóa uploads, nên table
activestorage_blobscứ lớn dần. - Bạn chạy shared CMS cho publishing trên Web, và cho phép article segments lưu trong database. Platform thành công, nhưng hầu hết authors viết bài lớn như sách. Table
pagestrở nên sizeable dù chỉ chứa vài nghìn pages. - Bạn cho phép user-uploaded content, nhưng không xóa data vì compliance reasons, thay vào đó dùng
paranoiađể xóa via flag. Tableuser_itemstăng vô hạn, và bạn không hay biết, đã pass 10M rows.
Các patterns này có implications nếu không caught in time. Nếu bạn có good view của table sizes, bạn có thể anticipate khi nào phải upgrade và schedule maintenance ở off-peak times để upgrade với ít user impact hơn.
Làm projections cũng dễ dàng hơn. Ví dụ:
- Hôm nay table
eventsfit in memory. Theo growth rate hiện tại, nó sẽ không fit in memory trong 7 tháng. - Chúng ta ở 30% storage use cho RDS instance type. Sẽ hit 90% vào tháng 1 năm sau.
- Chúng ta có full table scan query trên
paymentsđể compute function trên mọi row mà input phụ thuộc vào query. Chúng ta biết tablepaymentssẽ exceed 2 triệu rows trong 3 tuần và 20 triệu vào tháng 1 năm sau.
Tất cả đều có potential present as incident hoặc outage. Nhưng nếu bạn attack sớm đủ, bạn có thể mitigate dễ dàng. Ví dụ:
- Setup archiving cho all data cũ hơn 30 ngày trong table
events. - Upgrade RDS instance trong 4 tháng.
- Để limit full table scan, thêm
WHEREcondition vào query để compute function trên subset rows nhỏ hơn nhiều.
Có Visibility (Quan Sát) Quá Trình Tăng Trưởng Database
Để theo dõi database growth, bạn có hai possibilities:
- Cài special tooling (như stats cho MySQL) và connect nó đến metrics collection engine via Prometheus, Telegraph, hoặc tools khác.
- Dùng AppSignal, đặc biệt nếu bạn đã dùng nó cho application.
AppSignal có thể store several metric types, và một trong các metric types nó support gọi là gauge. gauge là single time series per environment (như production, staging, hoặc development) mà bạn có thể update từ thời gian này sang thời gian khác. AppSignal metrics cũng allow tags, nên chúng ta có thể tự động tạo tagged gauge metrics cho database tables. Hãy làm điều đó:
db.row_countcho approximate number of rows trong tables, per table (sẽ nói về approximates sau)db.data_size_bytescho số bytes một table đang dùngdb.index_size_bytescho số bytes indices của table đang dùng
Lưu ý tôi suffix metric name với value type — điều này giúp sau khi define cách metric sẽ displayed. Các metrics "data" và "indices" riêng biệt cũng quan trọng. Nếu table chứa nhiều rows và hơn vài indices, size của indices đó có thể gấp 2-3 lần size của stored data (vì mỗi index lưu derived data cho chính nó, tạo storage overhead).
Đếm Database Table Rows Nhanh Chóng
Phần "approximate" của row count là essential. Thông thường, nếu bạn muốn precise number of rows trong table, bạn có thể làm query như SELECT COUNT(1) FROM my_table. Tuy nhiên, nó có thể chậm hơn mong muốn.
Khi bạn COUNT, database đảm bảo số rows trong table không thay đổi trong query — và sẽ lock table hoặc tạo divergent transaction trong khi query chạy. Table càng lớn, query càng chậm — nhiều rows hơn được scan, nhiều locks hơn accumulate.
Do đó, khi chúng ta chỉ muốn "close enough" approximation của row count (cho performance estimation, precision 10-30 nghìn rows less or more là good enough), ta có thể dùng internal database engine statistics để query loại data này.
Hầu hết databases có optimized access đến table data vì rows được viết ra trong "pages". Database engine track rows được assign đến pages nào, roughly theo insertion order:
- Rows 1-100 ở page 1
- Rows 101-200 ở page 2
- Rows 201-300 ở page 3
v.v.
Vì engine biết số pages per table và rough row count per page, nó có thể count pages đã allocated và nhân với page size (rows per page) để cho estimate. Điều này có vài advantages: count rất nhanh, và table không cần lock trong khi query chạy.
Record Table Sizes Cho MySQL
Cần làm gì khác nhau per database vì cần query database engine cho table statistics. Bắt đầu với MySQL. Query cần chạy:
SHOW TABLE STATUS
Sau đó, lấy vài columns từ output. Các columns quan tâm: Data_length, Index_length, và Rows. Size của table = Data_length + Index_length, và approximate row count dựa trên pages ở Rows.
Hãy package vào code block thu thập data cho toàn database. Vì không làm việc với ActiveModel classes, ta dùng query methods trực tiếp từ ActiveRecord:
ActiveRecord::Base.connection.execute('SHOW TABLE STATUS').each do |table|
table_name = table.fetch('Name')
AppSignal.set_gauge("db.row_count", table.fetch('Rows'), table_name: table_name)
AppSignal.set_gauge("db.data_size_bytes", table.fetch('Data_length'), table_name: table_name)
AppSignal.set_gauge("db.index_size_bytes", table.fetch('Index_length'), table_name: table_name)
end
Record Table Sizes Cho PostgreSQL
Cần query phức tạp hơn cho PostgreSQL vì không có shortcut query như SHOW TABLE STATUS. Phải query internal PostgreSQL tables:
query = <<-SQL
SELECT
t.relname AS name,
pg_total_relation_size(t.oid) AS total_size,
pg_relation_size(t.oid) AS data_size,
pg_indexes_size(t.oid) AS index_size,
pg_class.reltuples::bigint AS rows
FROM pg_class t
JOIN pg_namespace n ON n.oid = t.relnamespace
WHERE t.relkind = 'r' AND n.nspname = 'public'
SQL
ActiveRecord::Base.connection.execute(query).each do |table_info|
table_name = table_info.fetch('name')
AppSignal.set_gauge("db.row_count", table_info.fetch('rows'), table_name: table_name)
AppSignal.set_gauge("db.data_size_bytes", table_info.fetch('data_size'), table_name: table_name)
AppSignal.set_gauge("db.index_size_bytes", table_info.fetch('index_size'), table_name: table_name)
end
Lưu ý: chỉ account cho schema public (default bạn đang dùng). Nếu muốn include other schemas, cần remove condition WHERE t.table_schema = 'public' và replace table_info.fetch('name') với table_info.fetch('full_table_name').
Đảm Bảo Metrics Update Định Kỳ
Block này phải chạy at regular intervals, nên good idea để nó vào Sidekiq scheduler hoặc Rake task chạy từ cron. Ví dụ, nếu dùng good_job, có thể thêm vào "cron" section:
GoodJob::CronEntry.new(
'record_table_sizes',
cron: '0 * * * *', # mỗi giờ
class: 'RecordTableSizesJob'
)
Tạo Dashboard
Khi đã có data coming in, hãy build dashboard. Bạn có thể copy dashboard sau:
{
"name": "Database Table Sizes",
"graphs": [
{
"name": "Row Count per Table",
"metric": "db.row_count",
"type": "line",
"tags": { "table_name": "*" }
},
{
"name": "Data Size per Table",
"metric": "db.data_size_bytes",
"type": "area",
"tags": { "table_name": "*" }
},
{
"name": "Index Size per Table",
"metric": "db.index_size_bytes",
"type": "area",
"tags": { "table_name": "*" }
}
]
}
Click Add dashboard rồi Import dashboard trong modal dialog. Dashboard sẽ cho graphs như này:

Và table sizes graph này:

Lưu ý cách dùng wildcard tags để tự động build graphs cho mọi table trong database.
Diễn Giải Data
Khi nhìn data, hãy watch out cho exponential hoặc linear growth trong row count hoặc size — nói cách khác, table càng ngày càng lớn.
Nếu thấy điều này, bạn có vài options. Một là architect cho unbounded growth này — biết khi nào upgrade, và có thể upgrade lên size tiếp theo không. Cái khác là setup regular deletion task — đồng nghiệp cũ Wander Hillen đã viết bài hay về topic này.
Ví dụ, trong screenshot trên, một số tables shrink regularly — đây là lúc regular cleanup tasks chạy. Bạn thấy data accumulate đến điểm nào đó, nhưng trong khi ingress of rows khá constant, sizes và row counts drop.
Miễn là có những drops này và amount of data trong tables grow at steady rate, database sẽ không surprise bạn với sudden limit bust.
Tóm Lại: Tránh Data Bloat Từ Database Tables
Trong bài viết này, chúng ta đã xem cách gain visibility over database growth và giữ data bloat down.
Data bloat là real risk cho applications thành công trên thị trường. Bằng cách setup metrics cho database tables, bạn có thể better anticipate khi nào scale database vertically và có cần install regular stale data cleanups không. AppSignal gauges với tags, kết hợp với chút SQL, có thể lấy data này theo format convenient và pleasant.
Đừng để database surprise bạn!

Julik Tarkhanov
Guest Author Julik Tarkhanov là staff software engineer tại Cheddar Payments và author của multiple Ruby open-source libraries.
Tất cả bài viết của Julik Tarkhanov