Một phương pháp phân loại đã nhận được sự kiểm tra đáng kể là máy vector hỗ trợ (Support Vector Machine - SVM). Phương pháp này có gốc rễ trong lý thuyết học thống kê (statistical learning theory) và đã hiển thị kết quả thực nghiệm đầy hứa hẹn trong nhiều ứng dụng thực tế, từ nhận dạng chữ số viết tay đến phân loại văn bản.
SVM cũng hoạt động với dữ liệu nhiều chiều (high-dimensional data) và tránh các vấn đề nguyền chiều (curse of dimensionality). Yếu tố thứ hai của phương pháp này là nó xác định ranh giới quyết định (decision boundary) bằng một tập con của các thể hiện huấn luyện, gọi là vector hỗ trợ (support vectors).
SVM có thể được chuẩn bị để rõ ràng xem loại siêu phẳng (hyperplane) này trong dữ liệu tách tuyến tính (linearly separable data). Nó có thể đạt được bằng cách hiển thị phương pháp SVM có thể được tiếp tục cho dữ liệu không tách tuyến tính. Tập dữ liệu tách tuyến tính; tức là có thể tìm thấy một siêu phẳng bao gồm tất cả các hình vuông nằm ở một bên của siêu phẳng và tất cả các hình tròn nằm ở bên kia.
Bộ phân loại nên chọn một trong các siêu phẳng này để mô tả ranh giới quyết định của nó, tùy thuộc vào việc chúng được kỳ vọng triển khai tốt như thế nào trên các thể hiện kiểm tra. Xét hai ranh giới quyết định, B1 và B2. Cả hai ranh giới quyết định đều có thể tách các thể hiện huấn luyện thành các lớp cụ thể của chúng mà không thực hiện bất kỳ lỗi phân loại sai nào. Mỗi ranh giới quyết định Bi liên quan đến một cặp siêu phẳng, chỉ ra là bi1 và bi2, tương ứng.
bi1 được thu được bằng cách dịch chuyển một siêu phẳng song song ra khỏi ranh giới quyết định cho đến khi nó chạm vào hình vuông gần nhất, trong khi bi2 được thu được bằng cách dịch chuyển siêu phẳng cho đến khi nó chạm vào hình tròn gần nhất. Khoảng cách giữa hai siêu phẳng này được gọi là margin (khoảng cách lề) của bộ phân loại.
Ranh giới quyết định với margin lớn có xu hướng có lỗi tổng quát hóa cao hơn những cái với margin nhỏ. Nếu margin nhỏ, do đó một số nhiễu nhỏ (perturbations) nhỏ đối với ranh giới quyết định có thể có tác động thiết yếu đến phân loại của nó.
Một mô tả thích hợp liên kết margin của bộ phân loại tuyến tính với lỗi tổng quát hóa của nó được đưa ra bởi một nguyên tắc học thống kê gọi là tối thiểu hóa rủi ro cấu trúc (Structural Risk Minimization - SRM). Nguyên tắc này hỗ trợ một ranh giới trên (upper bound) cho lỗi tổng quát hóa của bộ phân loại (R) theo thuật ngữ lỗi huấn luyện (Re), số ví dụ huấn luyện (N), và độ phức tạp mô hình gọi là dung lượng (capacity - h). Cụ thể hơn, với xác suất 1 - n, lỗi tổng quát hóa của bộ phân loại có thể tối đa là:
$$\mathrm{R\leq\:R_e\:+\varphi(\frac{h}{N},\frac{\log(n)}{N})}$$
trong đó φ là hàm tăng đơn điệu (monotone increasing function) của dung lượng h. Bất đẳng thức trước có thể quen thuộc với người đọc vì nó mô phỏng nguyên tắc độ dài mô tả tối thiểu (Minimum Description Length - MDL). SRM là một cách tiếp cận khác để xác định lỗi tổng quát hóa như một sự đánh đổi giữa lỗi huấn luyện và độ phức tạp mô hình.