Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Kỹ thuật khai thác dữ liệu thống kê là gì?

Có nhiều kỹ thuật khai thác dữ liệu thống kê như sau:

Hồi quy (Regression) – Các phương pháp này dùng để dự đoán giá trị biến phản hồi (phụ thuộc) từ một hoặc nhiều biến dự báo (độc lập) nơi các biến là số. Có nhiều dạng hồi quy, bao gồm tuyến tính, đa biến, trọng số, đa thức, phi tham số, và mạnh mẽ (robust - hữu ích khi sai số không thỏa mãn điều kiện chuẩn hoặc dữ liệu bao gồm giá trị ngoại lai đáng kể).

Mô hình tuyến tính tổng quát (Generalized linear models) – Các mô hình này, và sự khái quát hóa của chúng (mô hình cộng thành tổng quát), cho phép biến phản hồi phân loại ( hoặc một số biến đổi của nó) được liên kết với tập biến dự báo như mô hình biến phản hồi số dùng hồi quy tuyến tính. Mô hình tuyến tính tổng quát bao gồm hồi quy logistic và hồi quy Poisson.

Phân tích phương sai (Analysis of variance) – Các phương pháp này phân tích dữ liệu thực nghiệm cho hai hoặc nhiều quần thể được định nghĩa bởi biến phản hồi số và một hoặc nhiều biến phân loại (yếu tố). Nói chung, bài toán ANOVA (phân tích phương sai đơn yếu tố) chứa so sánh k định nghĩa quần thể hoặc xử lý để quyết định nếu ít nhất hai trung bình khác nhau.

Mô hình hiệu ứng hỗn hợp (Mixed-effect models) – Các mô hình này dùng để phân tích dữ liệu nhóm—dữ liệu có thể phân loại theo một hoặc nhiều biến nhóm. Chúng thường định nghĩa mối quan hệ giữa biến phản hồi và một số hiệp biến trong dữ liệu kết hợp theo một hoặc nhiều yếu tố. Lĩnh vực ứng dụng điển hình: dữ liệu đa cấp, dữ liệu đo lặp, thiết kế khối, và dữ liệu theo dõi dài hạn.

Phân tích nhân tố (Factor analysis) – Phương pháp này xác định biến nào được kết hợp để tạo thành một nhân tố cho trước. Ví dụ: đối với dữ liệu tâm thần, không khả thi đo lường trực tiếp nhân tố quan tâm (bao gồm trí tuệ); tuy nhiên, có thể đo các lượng khác (bao gồm điểm thi sinh viên) phản ánh nhân tố quan tâm. Ở đây, không có biến nào được chỉ định là phụ thuộc.

Phân tích phân biệt (Discriminant analysis) – Phương pháp này dự đoán biến phản hồi phân loại. Khác với mô hình tuyến tính tổng quát, nó ngụ ý các biến độc lập tuân theo phân phối chuẩn đa biến.

Quy trình cố gắng xác định một số hàm phân biệt (tổ hợp tuyến tính các biến độc lập) phân biệt giữa các nhóm được biểu diễn bởi biến phản hồi. Phân tích phân biệt thường dùng trong khoa học xã hội.

Phân tích chuỗi thời gian (Time series analysis) – Có một số kỹ thuật thống kê để phân tích dữ liệu chuỗi thời gian, bao gồm phương pháp tự hồi quy, mô hình ARIMA đơn biến (tự hồi quy tích phân trung bình di động), và mô hình chuỗi thời gian bộ nhớ dài.

Phân tích tồn tại (Survival analysis) – Một số phương pháp thống kê đắc lực tồn tại cho phân tích tồn tại. Các phương pháp này ban đầu được thiết kế để dự đoán xác suất bệnh nhân trải qua điều trị y tế có thể sống sót ít nhất đến thời điểm t.

Kiểm soát chất lượng (Quality control) – Một số thống kê có thể dùng để chuẩn bị biểu đồ kiểm soát chất lượng, bao gồm biểu đồ Shewhart và CUSUM (cả hai hiển thị thống kê tóm tắt nhóm). Các thống kê này bao gồm trung bình, độ lệch chuẩn, phạm vi, đếm, trung bình di động, độ lệch chuẩn di động, và phạm vi di động.