Computer >> Hướng Dẫn Máy Tính >  >> Lập Trình >> Lập Trình

Sparsification (Làm thưa) là gì?


Ma trận gần kề m x m cho m điểm dữ liệu có thể được định nghĩa như một đồ thị dày đặc trong đó mỗi nút liên kết với tất cả các nút khác và trọng số cạnh giữa bất kỳ cặp nút nào tuân theo độ gần kề cặp của chúng. Mặc dù mỗi đối tượng có某种 độ tương đồng với mọi đối tượng khác, với hầu hết tập dữ liệu, đối tượng rất tương đồng với một số nhỏ đối tượng và yếu tương đồng với hầu hết các đối tượng khác.

Đặc điểm này có thể được dùng để làm thưa đồ thị gần kề (ma trận), bằng cách đặt các giá trị độ tương đồng thấp (độ khác biệt cao) thành 0 trước khi bắt đầu quá trình phân cụm thực tế. Việc làm thưa có thể được thực hiện, ví dụ, bằng cách loại bỏ tất cả liên kết có độ tương đồng (độ khác biệt) dưới (trên) ngưỡng xác định hoặc chỉ giữ liên kết đến k láng giềng gần nhất của điểm. Phương pháp này tạo ra cái được gọi là đồ thị k-nearest neighbor.

Lợi ích của làm thưa như sau:

Kích thước dữ liệu giảm – Lượng dữ liệu cần xử lý để phân cụm dữ liệu bị giảm cực kỳ. Làm thưa có thể loại bỏ hơn 99% các mục trong ma trận gần kề. Do đó, kích thước vấn đề có thể xử lý được tăng lên.

Phân cụm có thể hoạt động tốt hơn – Các phương pháp làm thưa giữ liên kết đến các láng giềng gần nhất của đối tượng trong khi loại bỏ kết nối đến các đối tượng khác biệt hơn. Điều này phù hợp với nguyên lý láng giềng gần nhất rằng láng giềng gần nhất của đối tượng có xu hướng thuộc cùng lớp (cụm) với đối tượng đó. Điều này giảm tác động của nhiễu và ngoại lai và làm rõ sự phân biệt giữa các cụm.

Các thuật toán phân hoạch đồ thị có thể được dùng – Đã có lượng lớn công trình về các thuật toán heuristic để tìm phân hoạch min-cut của đồ thị thưa, đặc biệt trong không gian tính toán song song và thiết kế mạch tích hợp. Làm thưa đồ thị gần kề làm cho việc dùng thuật toán phân hoạch đồ thị cho giai đoạn phân cụm trở nên thực tế như Opossum và Chameleon cần phân hoạch đồ thị.

Làm thưa đồ thị gần kề phải được xem như một bước gốc trước khi áp dụng thuật toán phân cụm thực tế. Một làm thưa tốt có thể để ma trận gần kề chia thành các thành phần liên thông tương ứng với các cụm mong muốn, nhưng trong thực tế, điều này xảy ra. Rất dễ dàng cho một cạnh đơn lẻ kết nối hai cụm hoặc cho một cụm đơn lẻ bị chia thành nhiều cụm con không liên thông. Thực tế, có thể thấy khi Jarvis-Patrick và SNN dùng phân cụm dựa trên mật độ, đồ thị gần kề thưa được thay đổi để tạo ra đồ thị gần kề mới. Đồ thị gần kề mới này có thể được làm thưa. Các thuật toán phân cụm hoạt động với đồ thị gần kề là kết quả của tất cả các quy trình tiền xử lý này.