Cơ chế kiểm định Discordancy
Kiểm định thống kê discordancy phân tích hai giả thuyết: giả thuyết làm việc (working hypothesis) và giả thuyết thay thế (alternative hypothesis).
- Giả thuyết làm việc H: Toàn bộ tập dữ liệu n đối tượng đến từ mô hình phân phối ban đầu F. Tức là H: oᵢ ~ F, với i = 1, 2, ..., n.
- Giả thuyết được giữ nếu không có bằng chứng thống kê quan trọng hỗ trợ bác bỏ nó.
- Kiểm định discordancy kiểm tra xem đối tượng oᵢ có lớn (hoặc nhỏ) bản chất về mặt phân phối F hay không.
Quy trình kiểm định
- Chọn thống kê T cho kiểm định discordancy.
- Giá trị thống kê cho đối tượng oᵢ là vᵢ, xây dựng phân phối của T.
- Tính xác suất ý nghĩa SP(vᵢ) = Prob(T > vᵢ).
- Nếu SP(vᵢ) đủ nhỏ → oᵢ là discordant (ngoại lai) → bác bỏ giả thuyết làm việc.
- Chấp nhận giả thuyết thay thế: oᵢ đến từ mô hình phân phối khác G.
Kết quả phụ thuộc lớn vào mô hình F chọn vì oᵢ có thể là outlier dưới mô hình này nhưng giá trị hoàn toàn hợp lệ dưới mô hình khác. Phân phối thay thế quyết định sức mạnh của kiểm định (xác suất bác bỏ H khi oᵢ thực sự là outlier).
Các loại phân phối thay thế (Alternative distributions)
1. Phân phối thay thế nội tại (Inherent alternative distribution)
Bác bỏ H: tất cả đối tượng từ F, ủng hộ H thay thế: tất cả đối tượng từ phân phối khác G (i = 1..n). F và G có thể phân phối khác nhau hoặc chỉ khác tham số của cùng phân phối. Ràng buộc: G phải có khả năng tạo ra outliers (khác mean, dispersion, hoặc đuôi dài).
2. Phân phối thay thế hỗn hợp (Mixture alternative distribution)
Giá trị discordant không phải outliers trong dân số F, mà là nhiễm từ dân số khác. Giả thuyết thay thế: oᵢ ~ (1 - λ)F + λG (i = 1..n).
3. Phân phối thay thế trượt (Slippage alternative distribution)
Tất cả đối tượng (trừ số lượng nhỏ quy định) xuất hiện độc lập từ mô hình gốc F với tham số m và σ², trong khi các đối tượng còn lại là quan sát độc lập từ phiên bản sửa đổi của F với tham số đã thay đổi.