Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Động lực đằng sau Data Mining (Khai thác dữ liệu) là gì?


Data mining là quy trình tìm mối tương quan, pattern, xu hướng mới hữu ích từ lượng lớn dữ liệu trong kho, dùng pattern recognition, thống kê, toán học. Là phân tích dataset thực tế để khám phá mối quan hệ bất ngờ, tóm tắt bản ghi theo cách mới logic và hữu ích cho chủ sở hữu dữ liệu.

Là quy trình lựa chọn, khám phá, mô hình hóa lượng lớn thông tin để tìm quy luật/quan hệ ban đầu không biết, đạt kết quả rõ ràng, có lợi cho chủ CSDL.

Không giới hạn thuật toán máy tính hoặc kỹ thuật thống kê. Là quy trình business intelligence kết hợp IT để hỗ trợ quyết định công ty.

Data Mining tương tự Data Science. Thực hiện bởi một người, tình huống cụ thể, dataset cụ thể, có mục tiêu. Gồm các dịch vụ: text mining, web mining, audio/video mining, pictorial data mining, social media mining. Hoàn thành qua phần mềm đơn giản hoặc chuyên dụng.

Data mining thu hút sự chú ý lớn trong thị trường thông tin và xã hội gần đây, do sẵn sàng lượng lớn dữ liệu và nhu cầu biến dữ liệu thành thông tin/kiến thức hữu ích. Kiến thức dùng cho: phân tích ngành, phát hiện gian lận, giữ chân khách hàng, kiểm soát sản xuất, khám phá khoa học.

Data mining coi là kết quả tiến hóa tự nhiên của công nghệ dữ liệu. Thị trường DBMS hỗ trợ hướng tiến hóa: thu thập dữ liệu & tạo DB, quản lý dữ liệu, phân tích dữ liệu nâng cao.

Ví dụ: phát triển gần đây cấu trúc thu thập/tạo DB phục vụ cho lưu trữ/tải hiệu quả, query & transaction processing. Với các DBMS cung cấp query/transaction processing phổ biến, advanced data analysis trở thành mục tiêu tiếp theo.

Dữ liệu lưu trong nhiều loại DB và kho dữ liệu. Một cấu trúc kho dữ liệu nổi lên là Data Warehouse: kho nhiều nguồn dữ liệu dị chất (heterogeneous) dưới schema thống nhất tại một site để hỗ trợ quyết định quản trị.

Data warehouse technology bao gồm: data cleaning, data integration, OLAP (online analytical processing) – đặc biệt là tóm tắt (summarization), hợp nhất (consolidation), tổng hợp (aggregation), xem dữ liệu từ nhiều góc độ.