Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Các phương pháp cụm hóa luồng dữ liệu (Data Streams Clustering) là gì?

Cụm hóa luồng dữ liệu được mô tả như cụm hóa dữ liệu xuất hiện liên tục bao gồm dữ liệu điện thoại, đa phương tiện, giao dịch tài chính, v.v. Cụm hóa luồng dữ liệu thường được xem như thuật toán luồng và mục tiêu là, cho một chuỗi điểm, tạo cụm hóa tốt nhất của luồng, sử dụng lượng bộ nhớ và thời gian nhỏ.

Một số ứng dụng cần cụm hóa tự động dữ liệu như vậy thành tập dựa trên độ tương đồng. Ví dụ bao gồm ứng dụng phát hiện xâm nhập web, phân tích clickstream web, và phân tích thị trường chứng khoán.

Có một vài phương pháp động cho cụm hóa tập dữ liệu tĩnh, cụm hóa luồng dữ liệu đặt thêm áp lực lên các thuật toán đó. Có thể thấy mô hình tính toán luồng dữ liệu yêu cầu thuật toán tạo một lần duyệt qua dữ liệu, với bộ nhớ bị chặn và thời gian xử lý xác định, trong khi luồng có thể rất động và tiến hóa theo thời gian.

Có nhiều phương pháp cụm hóa luồng dữ liệu:

Tính toán và lưu trữ tóm tắt dữ liệu quá khứ − Vì không gian bộ nhớ giới hạn và yêu cầu phản hồi nhanh, tính tóm tắt dữ liệu đã xem trước, lưu kết quả liên quan, và dùng các tóm tắt đó để tính thống kê quan trọng khi cần.

Áp dụng chiến lược chia để trị − Chia luồng dữ liệu thành các đoạn dựa trên thứ tự đến, tính tóm tắt cho các đoạn này, và sau đó hợp nhất tóm tắt. Theo cách này, mô hình cấp cao có thể xây dựng từ các khối xây dựng nhỏ hơn.

Cụm hóa tăng dần luồng dữ liệu đến − Vì dữ liệu luồng đưa vào hệ thống liên tục và tăng dần, các cụm thay đổi nên được tinh chỉnh tăng dần.

Thực hiện phân tích micro-cụm hóa cũng như macro-cụm hóa − Cụm luồng có thể tính toán trong hai bước:

  • Tính và lưu tóm tắt ở cấp micro-cụm, nơi micro-cụm được hình thành bằng thuật toán cụm hóa phân cấp bottom-up.
  • Tính macro-cụm (như dùng thuật toán cụm hóa khác nhóm micro-cụm) ở cấp do người dùng chỉ định. Tính toán hai bước này nén dữ liệu hiệu quả và cho kết quả với diện tích lỗi nhỏ hơn.

Khám phá nhiều độ chi tiết thời gian cho phân tích tiến hóa cụm − Vì dữ liệu gần đây thường đóng vai trò khác biệt so với dữ liệu xa xôi (cũ) trong phân tích luồng dữ liệu, dùng mô hình khung thời gian nghiêng để lưu ảnh chụp nhanh dữ liệu tóm tắt ở các thời điểm khác nhau.

Chia cụm hóa luồng thành quá trình trực tuyến và ngoại tuyến − Trong khi dữ liệu luồng đến, tóm tắt cơ bản của ảnh chụp dữ liệu nên được tính, lưu, và cập nhật tăng dần. Do đó, quá trình trực tuyến cần thiết để duy trì các cụm thay đổi động. Trong khi đó, người dùng có thể đặt truy vấn về cụm quá khứ, hiện tại, hoặc tiến hóa. Phân tích như vậy có thể thực hiện ngoại tuyến hoặc như quy trình độc lập với bảo trì cụm trực tuyến.