Khai thác dữ liệu là quá trình tìm các tương quan, mẫu và xu hướng hữu ích mới bằng cách duyệt qua lượng lớn dữ liệu lưu trữ trong kho, sử dụng công nghệ nhận dạng mẫu bao gồm kỹ thuật thống kê và toán học. Nó là phân tích tập dữ liệu thực tế để khám phá các mối quan hệ không ngờ tới và tóm tắt bản ghi theo cách mới vừa hợp lý vừa hữu ích cho chủ sở hữu dữ liệu.
An ninh hệ thống máy tính và thông tin của chúng ta luôn bị đe dọa. Sự tăng trưởng khổng lồ của web và sự gia tăng khả năng truy cập công cụ và thủ thuật cho xâm nhập và tấn công web đã khiến phát hiện và ngăn chặn xâm nhập trở thành thành phần thiết yếu của hệ thống liên mạng.
Một sự xâm nhập có thể được biểu diễn như bất kỳ tập hợp hành động nào đe dọa tính toàn vẹn, bảo mật hoặc khả năng truy cập của tài nguyên mạng (ví dụ: tài khoản người dùng, hệ thống tệp, nhân hệ thống, v.v.). Hệ thống phát hiện xâm nhập (IDS) và hệ thống ngăn chặn xâm nhập (IPS) đều giám sát lưu lượng mạng và hiệu suất hệ thống cho hoạt động độc hại. Cái trước tạo báo cáo trong khi cái sau đặt trực tuyến và có khả năng chủ động tránh/chặn các xâm nhập được xác định.
Nhiệm vụ của hệ thống ngăn chặn xâm nhập là nhận diện hoạt động độc hại, ghi nhật ký dữ liệu về hoạt động đó, cố gắng chặn/dừng hoạt động và ghi lại hoạt động.
Phần lớn hệ thống phát hiện và ngăn chặn xâm nhập sử dụng phát hiện dựa trên chữ ký (signature-based detection) hoặc phát hiện dựa trên bất thường (anomaly-based detection).
Phát hiện dựa trên Chữ ký (Signature-based Detection)
Phương pháp phát hiện này sử dụng chữ ký (signatures), là các mẫu tấn công được cấu hình trước và cố định bởi chuyên gia lĩnh vực. Hệ thống ngăn chặn xâm nhập dựa trên chữ ký giám sát lưu lượng web để tìm khớp với các chữ ký này.
Một khi khớp được tìm thấy, hệ thống phát hiện xâm nhập sẽ xử lý bất thường và hệ thống ngăn chặn xâm nhập sẽ thực hiện hành động thích hợp hơn. Do hệ thống thường động态, chữ ký cần được cập nhật vất vả mỗi khi phiên bản ứng dụng mới xuất hiện hoặc thay đổi cấu hình mạng hoặc các tình huống khác xuất hiện.
Hạn chế chính là cấu trúc phát hiện như vậy chỉ có thể nhận diện các trường hợp khớp với chữ ký. Nó không thể xác định các thủ thuật xâm nhập mới hoặc trước đây không quen thuộc.
Phát hiện dựa trên Bất thường (Anomaly-based Detection)
Phương pháp này xây dựng mô hình hành vi mạng bình thường (được gọi là hồ sơ - profiles) được dùng để xác định các mẫu mới lệch đáng kể so với hồ sơ. Những độ lệch như vậy có thể định nghĩa các xâm nhập thực tế hoặc đơn giản là hành vi mới cần được thêm vào hồ sơ.
Lợi ích của phát hiện bất thường là nó có thể xác định các xâm nhập mới chưa từng được quan sát. Thông thường, một nhà phân tích con người phải lọc qua các độ lệch để xác định nào định nghĩa xâm nhập thực. Yếu tố hạn chế của phát hiện bất thường là tỷ lệ dương tính giả (false positives) cao. Mẫu xâm nhập mới có thể được thêm vào tập chữ ký để cải thiện phát hiện dựa trên chữ ký.