Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các phương pháp luận Khai thác dữ liệu Thống kê (Statistical Data Mining) là gì?

Trong kỹ thuật khai thác dữ liệu thống kê, nó được tạo ra để xử lý hiệu quả lượng lớn dữ liệu thường xuyên là đa chiều và có thể thuộc một số kiểu phức tạp.

Có nhiều phương pháp thống kê đẹp chuyển cho phân tích dữ liệu, đặc biệt cho dữ liệu số. Các phương pháp này đã được sử dụng rộng rãi cho bản ghi khoa học (ví dụ: bản ghi từ thí nghiệm vật lý, kỹ thuật, sản xuất, tâm lý học và y học), và thông tin từ kinh tế và khoa học xã hội.

Có nhiều phương pháp luận khai thác dữ liệu thống kê như sau:

Hồi quy (Regression)

Nói chung, các kỹ thuật này dùng để dự đoán giá trị của biến phản hồi (phụ thuộc - response/dependent) từ các biến dự báo (độc lập - predictor/independent) mới, nơi các biến là số. Có nhiều dạng hồi quy, bao gồm tuyến tính (linear), đa biến (multiple), có trọng số (weighted), đa thức (polynomial), phi tham số (nonparametric) và mạnh mẽ (robust - các phương pháp robust hữu ích khi lỗi không thỏa mãn điều kiện chuẩn hoặc khi dữ liệu bao gồm các giá trị ngoại lai đáng kể).

Mô hình tuyến tính tổng quát (Generalized Linear Models)

Các mô hình này và sự khái quát hóa của chúng (mô hình cộng tổng quát - generalized additive models), cho phép biến phản hồi phân loại (nominal) (hoặc một số biến đổi của nó) được liên kết với tập biến dự báo theo cách tương tự như mô hình biến phản hồi toán học sử dụng hồi quy tuyến tính. Mô hình tuyến tính tổng quát bao gồm hồi quy logistic (logistic regression) và hồi quy Poisson (Poisson regression).

Phân tích phương sai (Analysis of Variance)

Phương pháp này phân tích thông tin thực nghiệm cho hai hoặc nhiều tổng thể được định nghĩa bởi biến phản hồi số và các biến phân loại mới (factors). Nói chung, bài toán ANOVA (phân tích phương sai đơn nhân tố) chứa so sánh k tổng thể hoặc định nghĩa xử lý để quyết định nếu ít nhất hai trung bình có khác nhau.

Mô hình hiệu ứng hỗn hợp (Mixed-effect Models)

Các mô hình này dành cho khám phá dữ liệu được gom nhóm (grouped data) - dữ liệu có thể được phân loại theo một hoặc nhiều biến gom nhóm. Chúng thường định nghĩa mối quan hệ giữa biến phản hồi và một số hiệp biến (covariates) trong dữ liệu được kết hợp theo một hoặc nhiều nhân tố. Có nhiều lĩnh vực ứng dụng như dữ liệu đa cấp (multilevel), dữ liệu đo lặp (repeated measures), thiết kế khối (block designs) và dữ liệu theo dõi dài hạn (longitudinal data).

Phân tích nhân tố (Factor Analysis)

Phương pháp này có thể xác định biến nào được kết hợp để tạo ra một nhân tố cho trước. Ví dụ, cho một số dữ liệu tâm thần, không thể tính toán trực tiếp nhân tố lợi ích cụ thể (ví dụ: trí tuệ); tuy nhiên, có thể đo lường các lượng khác phản ánh yếu tố lợi ích. Do đó, không có biến nào được chỉ định là phụ thuộc.

Phân tích phân biệt (Discriminant Analysis)

Kỹ thuật này có thể dự đoán biến phản hồi phân loại. Khác với mô hình tuyến tính tổng quát, nó giả định các biến độc lập tuân theo phân phối chuẩn đa biến (multivariate normal distribution). Quy trình cố gắng quyết định một số hàm phân biệt (linear combination của biến độc lập) phân biệt giữa các nhóm được biểu diễn bởi biến phản hồi. Phân tích phân biệt thường dùng trong khoa học xã hội.

Phân tích tồn tại (Survival Analysis)

Có nhiều phương pháp thống kê đẹp chuyển tồn tại cho phân tích tồn tại. Các kỹ thuật này ban đầu được thiết kế để dự đoán xác suất bệnh nhân trải qua phân tích y tế có thể sống sót ít nhất đến thời điểm t.

Kiểm soát chất lượng (Quality Control)

Có nhiều thống kê được dùng để chuẩn bị biểu đồ cho kiểm soát chất lượng, bao gồm biểu đồ Shewhart và biểu đồ CUSUM. Các thống kê này liên quan đến trung bình, độ lệch chuẩn, phạm vi, số đếm, trung bình động, độ lệch chuẩn động và phạm vi động.