Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các phép đo thống kê trong cơ sở dữ liệu lớn là gì?


Hệ thống cơ sở dữ liệu quan hệ hỗ trợ năm hàm tổng hợp tích hợp sẵn như count(), sum(), avg(), max() và min(). Các hàm tổng hợp này có thể dùng như các phép đo cơ bản trong khai thác mô tả thông tin đa chiều. Có hai phép đo thống kê mô tả như phép đo xu hướng trung tâm và phép đo phân tán dữ liệu có thể dùng hiệu quả trong cơ sở dữ liệu đa chiều lớn.

Phép đo xu hướng trung tâm (Measures of central tendency) – Phép đo xu hướng trung tâm như mean (trung bình), median (trung vị), mode (mốt), và mid-range.

Trung bình (Mean) – Trung bình cộng được đánh giá đơn giản bằng cách cộng tất cả giá trị và chia cho số giá trị. Nó dùng dữ liệu từ mọi giá trị đơn lẻ. Cho x1, x2,... xn là tập N giá trị hoặc quan sát như lương. Trung bình của tập giá trị này là

$$\mathrm{X^\prime\:=\:\frac{\sum_{i=1}^N\:X_i}{N}\:=\:\frac{X_1+X_2\:\dotsm\:X_n}{N}}$$

Đây tương ứng với hàm tổng hợp assembled, average (avg()) được hỗ trợ trong hệ thống cơ sở dữ liệu quan hệ. Trong một số khối dữ liệu, sum và count được lưu trong tiền tính toán. Do đó, việc suy ra average là đơn giản.

$\mathrm{average\:=\:\frac{sum}{count}}$

Trung vị (Median) – Có hai phương pháp tính trung vị, dựa trên phân phối giá trị.

Nếu x1, x2, .... xn được sắp xếp theo thứ tự giảm dần và n là lẻ. Do đó trung vị là

$$\mathrm{\left(\frac{n+1}{2}\right)^{th}\:value}$$

Ví dụ, 1, 4, 6, 7, 12, 14, 18

Median = 7

Khi n là chẵn. Khi đó trung vị là

$$\mathrm{\frac{\left(\frac{n}{2}\right)^{th}value\:+\:\left(\frac{n}{2}\:+\:1\right)^{th} value}{2}}$$

Ví dụ, 1, 4, 6, 7, 8, 12, 14, 16.

$$\mathrm{Median\:=\:\frac{7+8}{2}\:=\:7.5}$$

Trung vị không phải là phép đo phân phối cũng không phải phép đo đại số, nó là phép đo toàn diện (holistic). Mặc dù không dễ dàng đánh giá giá trị trung vị chính xác trong cơ sở dữ liệu lớn, trung vị xấp xỉ có thể được tính hiệu quả.

Mốt (Mode) – Là giá trị phổ biến nhất trong tập giá trị. Phân phối có thể là đơn đỉnh (unimodal), đôi đỉnh (bimodal), hoặc nhiều đỉnh (multimodal). Nếu dữ liệu là phân loại (đo trên thang danh nghĩa) thì chỉ mốt có thể được tính. Mốt cũng có thể tính với thứ tự và dữ liệu cao hơn, nhưng không phù hợp.

Đo lường sự phân tán của dữ liệu (Measuring the dispersion of data) – Mức độ thông tin số có xu hướng lan tỏa được gọi là sự phân tán hoặc phương sai của dữ liệu. Các phép đo phổ biến nhất của sự phân tán dữ liệu là range (khoảng), interquartile range (khoảng tứ phân vị), và độ lệch chuẩn (standard deviation).

Khoảng (Range) – Khoảng được biểu diễn như sự khác biệt giữa giá trị lớn nhất và nhỏ nhất trong tập dữ liệu.

$$\mathrm{Range\:=\:X_L-X_S}$$

Trong đó

$\mathrm{X_L\:\rightarrow\:giá trị lớn nhất}$

$\mathrm{X_S\:\rightarrow\:giá trị nhỏ nhất}$

Tứ phân vị (Quartiles) – Phân vị phổ biến nhất ngoài trung vị là tứ phân vị. Tứ phân vị thứ nhất ký hiệu Q1 là phân vị 25, tứ phân vị thứ ba ký hiệu Q3 là phân vị 75. Các tứ phân vị chứa trung vị, cung cấp một số chỉ ra về trung tâm, sự lan tỏa, và hình dạng của tứ phân vị là phép đo lan tỏa đơn giản cung cấp khoảng được bao phủ bởi nửa giữa của dữ liệu. Điều này được gọi là khoảng tứ phân vị (IQR) và được định nghĩa là –

$$\mathrm{IQR\:=\:Q_{3}-Q_{1}}$$

Độ lệch chuẩn (Standard deviation) – Khi các giá trị lệch được bình phương trong phương sai, đơn vị đo của chúng cũng được bình phương.