Rời rạc hóa dựa trên Entropy là phương pháp chia tách từ trên xuống (top-down splitting) có giám sát. Nó khám phá dữ liệu phân phối lớp trong tính toán và bảo존 điểm tách (split-points - giá trị dữ liệu tách phạm vi thuộc tính). Nó rời rạc hóa thuộc tính thống kê A, phương pháp chọn giá trị A có entropy tối thiểu làm split-point, và chia đệ quy các khoảng kết quả để đạt rời rạc hóa phân cấp.
Rời rạc hóa cụ thể hình thành phân cấp khái niệm cho A. Cho D bao gồm tuple dữ liệu mô tả bởi nhóm thuộc tính và thuộc tính nhãn lớp. Thuộc tính nhãn lớp hỗ trợ dữ liệu lớp cho mỗi tuple. Phương pháp cơ bản cho rời rạc hóa dựa trên entropy của thuộc tính A trong tập:
Mỗi giá trị A được xem như ranh giới khoảng tiềm năng hoặc split-point (điểm tách chỉ định) để phân vùng miền của A. Tức là, split-point cho A chia tuple trong D thành hai tập con thỏa mãn A ≤ split point và A > split point, tương ứng, tạo rời rạc hóa nhị phân.
Rời rạc hóa dựa trên entropy dùng thông tin nhãn lớp của tuple. Để hiểu trực giác sau entropy-based discretization, xem xét phân loại. Giả sử cần phân loại tuple trong D bằng phân vùng trên thuộc tính A và split-point.
Ví dụ, nếu có hai lớp, hy vọng một số tuple lớp C1 rơi vào phân vùng này, và tuple lớp C2 rơi vào phân vùng kia. Nhưng điều này không chắc chắn. Ví dụ, phân vùng đầu có thể bao gồm nhiều tuple C1, nhưng cũng một số C2. Lượng này gọi là yêu cầu dữ liệu kỳ vọng để xác định tuple trong D dựa trên phân vùng bởi A. Cho bởi:
$$\mathrm{Info_A(D)\:=\:\frac{\mid\:D_1\:\mid}{\mid\:D\:\mid}Entrophy(D_1)\:+\:\frac{\mid\:D_2\:\mid}{\mid\:D\:\mid}Entrophy(D_2)}$$
trong đó D1 và D2 tương ứng tuple trong D làm mới điều kiện A ≤ split point và A > split point; |D| số tuple trong D, v.v. Hàm entropy cho tập cho trước tính dựa trên phân phối lớp của tuple trong tập.
Ví dụ, cho m lớp C1, C2... Cm, entropy của D1 là:
$$\mathrm{Entrophy(D_1)}\:=\:-\displaystyle\sum\limits_{i=1}^m P_i{\log_{2}(P_i)}$$
Giai đoạn quyết định split-point đệ quy dùng cho mỗi phân vùng đạt được, cho đến khi tiêu chí dừng đáp ứng: yêu cầu dữ liệu tối thiểu trên tất cả split-point học sinh nhỏ hơn ngưỡng nhỏ ε, hoặc số khoảng lớn hơn ngưỡng max_interval.