Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Tại sao thống kê lại cần thiết trong khai thác dữ liệu?

Thống kê là khoa học học hỏi từ dữ liệu. Nó bao gồm mọi thứ từ lập kế hoạch cho tập bản ghi và quản trị dữ liệu tiếp theo đến các hoạt động cuối cùng như rút ra suy luận từ các sự kiện số gọi là dữ liệu và trình bày kết quả. Thống kê liên quan đến nhu cầu thiết yếu nhất của con người: nhu cầu khám phá thêm về thế giới và cách nó hoạt động trước sự đổi mới và bất định.

Thông tin là sự truyền đạt kiến thức. Dữ liệu được coi là dữ liệu thô và không phải là kiến thức bản thân. Chuỗi từ dữ liệu đến kiến thức như sau: từ dữ liệu đến thông tin (dữ liệu trở thành thông tin khi chúng trở nên liên quan đến vấn đề quyết định); từ thông tin đến sự thật (thông tin trở thành sự thật khi dữ liệu có thể hỗ trợ nó) và cuối cùng, từ sự thật đến kiến thức (sự thật trở thành kiến thức khi chúng được sử dụng trong quá trình cạnh tranh quyết định thành công).

Thống kê nảy sinh từ nhu cầu đặt kiến thức trên cơ sở bằng chứng hệ thống. Điều này đòi hỏi nghiên cứu các định luật xác suất, phát triển tính toán các thuộc tính và mối quan hệ dữ liệu, v.v.

Thống kê định nghĩa phân tích và trình bày các bản ghi số, đây là yếu tố cốt lõi của mọi thuật toán khai thác dữ liệu. Nó cung cấp công cụ và phương pháp phân tích để xử lý lượng lớn dữ liệu. Thống kê kết hợp lập kế hoạch, thiết kế, thu thập thông tin, phân tích và báo cáo kết quả nghiên cứu. Vì thống kê không chỉ giới hạn trong toán học, mà nhà phân tích kinh doanh cũng dùng thống kê để giải quyết vấn đề kinh doanh.

Thống kê suy luận (Inferential statistics) dùng mẫu để ước lượng các tham số của tổng thể. Có thể thực hiện kiểm định giả thuyết để xem hai tập dữ liệu có tương tự hay khác biệt. Dùng để phân tích hồi quy tuyến tính hoặc đa hồi quy để giải thích nhân quả.

Kiểm định giả thuyết có thể so sánh số học hai tập dữ liệu. Ví dụ, có thể cảm thấy (giả thuyết) rằng doanh số bán hàng này tương tự hoặc tốt hơn đối thủ chính. Có thể dùng kiểm định giả thuyết để xác nhận hoặc bác bỏ giả định này về mặt toán học.

Phân tích tương quan (Correlation analysis) là công cụ đơn giản để tách biệt các biến quan tâm từ nhiều biến ngẫu nhiên, thường thấy trong tập dữ liệu lớn, để xem biến kinh doanh nào ảnh hưởng đáng kể đến kết quả kinh doanh mong muốn.

Một số thống kê dùng để vẽ biểu đồ kiểm soát chất lượng, bao gồm biểu đồ Shewhart và biểu đồ cusum (cả hai hiển thị thống kê tóm tắt nhóm). Các thống kê này bao gồm trung bình, độ lệch chuẩn, phạm vi, số lượng, trung bình động, độ lệch chuẩn động và phạm vi động.