TABLE VRE S U LT S O F E X A M P L

TABLE V
RE S U LT S O F E X A M P L E 2 O N UN I VA R I AT E GAU S S I A N DI S T R I BU T I O NS

Classifier
Type p(t1 )/p(t2 ) [p(t1 ), p(t2 )] 1
[0.5, 0.5] 2
[2/3, 1/3] 4
[0.8, 0.2] 9
[0.9, 0.1] 99
[0.99, 0.01] 999
[0.999, 0.001] 9999
[0.9999, 0.0001]
E1 0.0793 0.0594 0.0362 0.0161 0.483e-3 0.422e-5 0.000
E2 0.0793 0.0856 0.0759 0.0539 0.903e-2 0.993e-3 0.1e-3
Bayesian E2 /p(t2 ) 0.159 0.257 0.379 0.539 0.903 0.993 1.000
xb (= xc ) 0.0 0.347 0.693 1.10 2.30 3.45 4.61
H (T |Y ) 0.631 0.591 0.491 0.349 0.0756 0.0113 0.00147
N I 0.369 0.356 0.320 0.256 0.0644 0.00524 0.124e-3
E1 0.0793 0.0867 0.0852 0.0772 0.0585 0.0551 0.0547
E2 0.0793 0.0637 0.0451 0.0264 0.331e-2 0.343e-3 0.345e-4
Mutual- E2 /p(t2 ) 0.159 0.191 0.225 0.264 0.331 0.343 0.345
Information xb 0.0 0.126 0.246 0.367 0.562 0.597 0.601
H (T |Y ) 0.631 0.586 0.472 0.320 0.0629 0.00957 0.00129

N I 0.369 0.362 0.346 0.317 0.222 0.161 0.125


















Fig. 3. Curves of “E2 /p(t2 ) vs. p(t1 )/p(t2 )”. Solid curve: Bayesian classifier. Dashed curve: Mutual-information classifier.


classes, mutual-information classifiers generally do not hold a tendency of sacrificing a complete class in classifications. However, from a theoretical viewpoint, we still need to es- tablish an analytical derivation of lower and upper bounds of Ei /p(ti) for mutual-information classifiers.
Example 3: Zero cross-over points. The given data for two
classes are:

probability p(ti |x) indicate that Class 2 has no chance to be
considered in the complete domain of x (Fig. 4c).
Table VI lists the results for both types of classifiers. The Bayesian approach fails to achieve the meaningful results on the given data. When missing input data of λ13 and λ23 , one cannot carry out the Bayesian approach for abstaining classifications. On the contrary, without specifying any cost term, mutual-information classifiers are able to detect the target class with a reasonable degree of accuracy. When no rejection is selected, less than two percentage error (E2 =
1.53%) happens to the target class. Although the total error (E = 51.4%) is much higher than its Bayesian counterpart (E = 20%, F N R = 0%), the result of about eight percentage point (F N R = 7.65%) of the miss rate to the target is really meaningful in applications. If a reject option is engaged, the miss rate is further reduced to F N R = 4.10%, but includes adding a reject rate of 29.1% over total possible patterns. This example confirms again the unique feature of mutual-information classifiers. The results of Trk from mutual- information classifiers can also serve a useful reference for the design of Chow’s abstaining classifiers, either with or without knowledge about cost terms.

µ1 = 0, σ1 = 2, p(t1 ) = 0.8,
µ2 = 0, σ2 = 1, p(t2 ) = 0.2.

Although no data are specified to the cost terms, it generally implies a zero-one lost function for them [4]. From eq. (18), one can see a case of zero cross-over point occurs in this example (Fig. 4c). For the zero-one setting to cost terms, the Bayesian classifier will produce a specific classification result of “Majority-taking-all”, that is, for all patterns identified as Class 1. The error gives to Class 2 only, and it holds the relation of N I = 0, which indicates that no information is


C. Comparisons on Univariate Uniform Distributions
Uniform distributions are very rare in classification prob- lems. This section shows one example given from [3]. A specific effort is made on numerical comparisons between the two types of classifiers.
Example 4: Partially overlapping between two distribu- tions. The task for this example is to set the cost terms for controlling the decision results on the overlapping region for the given data from [3]:
1 when 0 ≤ x ≤ 1
obtained from the classifier [9]. One can imagine that the given
example may describe a classification problem where a target

p(x|t1 ) =

0 otherwise
class, with Gaussian distribution, is also corrupted with wider- band Gaussian noise in a frequency domain (Fig. 4a). The plots
of p(ti )p(x|ti ) shows the overwhelming distribution of Class
1 over that of Class 2 (Fig. 4b). The plots on the posterior

p(x|t2 ) =

1/2 when 0.5 ≤ x ≤ 2.5
0 otherwise

p(t1 ) = p(t2 ) = 0.5.

Kết quả (Việt) 1:

BÀN VTÁI S U LT S O F E X MỘT M P L E 2 O N LIÊN HIỆP QUỐC TÔI VA R TÔI TẠI E GAU S S TÔI MỘT R DI S T N TÔI BU T TÔI O NSLoạiLoại p (t1) /p (t2) [p (t1), p (t2)] 1[0.5, 0,5] 2[2/3, 1/3] 4[cách 0.8, cách 0.2] 9[cách 0.9, 0.1] 99[0.99, 0,01] 999[0.999, 0,001] 9999[0.9999, 0,0001] E1 0.0793 0.0594 0.0362 0.0161 0.483e-3 0.422e-5 0,000 E2 0.0793 0.0856 0.0759 0.0539 0.903e-2 0.993e-3 0.1e-3Bayes E2 /p (t2) 0.159 0.257 0.379 0.539 0.903 0.993 1000 XB (= xc) 0.0 0.347 0.693 1,10 2,30 3.45 4.61 H (T | Y) 0.631 0.591 0.491 0.349 0.0756 0.0113 0.00147 N tôi 0.369 0.356 0.320 0.256 0.0644 0.00524 0.124e-3 E1 0.0793 0.0867 0.0852 0.0772 0.0585 0.0551 0.0547 E2 0.0793 0.0637 0.0451 0.0264 0.331e-2 0.343e-3 0.345e-4Lẫn nhau - E2 /p (t2) 0.159 0.191 0.225 0.264 0.331 0.343 0.345Thông tin xb 0.0 0.126 0.246 0.367 0.562 0.597 0.601 H (T | Y) 0.631 0.586 0.472 0.320 0.0629 0.00957 0.00129 N TÔI 0.369 0.362 0.346 0.317 0.222 0.161 0,125 Hình 3. Đường cong của "E2 /p (t2) so với p (t1) /p (t2)". Đường cong rắn: Bayes loại. Tiêu tan đường cong: thông tin chung loại.Các lớp học, Máy phân loại thông tin lẫn nhau nói chung không giữ một xu hướng của hy sinh một lớp học hoàn thành trong phân loại. Tuy nhiên, từ một quan điểm lý thuyết, chúng tôi vẫn cần phải es - tablish một lấy đạo hàm phân tích của thấp hơn và giới hạn trên của Ei /p(ti) cho máy phân loại thông tin lẫn nhau.Ví dụ 3: Zero cross-over điểm. Dữ liệu nhất định cho haiCác lớp học: xác suất p (ti |x) chỉ ra rằng lớp 2 đã không có cơ hội đểđược xem là thuộc phạm vi đầy đủ của x (hình 4c).Bàn VI danh sách các kết quả cho cả hai loại máy phân loại. Cách tiếp cận Bayes thất bại để đạt được kết quả có ý nghĩa trên dữ liệu nhất định. Khi thiếu đầu vào dữ liệu của λ13 và λ23, một trong không thể thực hiện phương pháp tiếp cận Bayes cho kiêng phân loại. Ngược lại, mà không có chỉ định bất kỳ chi phí, Máy phân loại thông tin lẫn nhau có thể phát hiện các lớp mục tiêu với một mức độ hợp lý về độ chính xác. Khi từ chối không được chọn, ít hơn hai tỷ lệ lỗi (E2 =1,53%) xảy ra với hạng mục tiêu. Mặc dù lỗi tất cả (E = 51,4%) là cao hơn nhiều so với các đối tác Bayes (E = 20%, F N R = 0%), kết quả điểm khoảng tám phần trăm (F N R = 7,65%) của các miss tỷ lệ đến mục tiêu là thực sự có ý nghĩa trong các ứng dụng. Nếu một lựa chọn từ chối tham gia, tỷ lệ Hoa hậu tiếp tục được giảm đến F N R = 4,10%, nhưng bao gồm thêm một tỷ lệ từ chối 29,1% trong tất cả các mẫu có thể. Ví dụ này xác nhận một lần nữa các tính năng độc đáo của máy phân loại thông tin lẫn nhau. Kết quả của Trk từ máy phân loại thông tin lẫn nhau cũng có thể phục vụ một tài liệu tham khảo hữu ích cho việc thiết kế của Chow kiêng máy phân loại, hoặc là có hoặc không có kiến thức về điều khoản chi phí. µ1 = 0, σ1 = 2, p (t1) = 0.8,µ2 = 0, σ2 = 1, p (t2) = 0.2.Mặc dù không có dữ liệu được chỉ định với các điều khoản chi phí thì nó thường ngụ ý một số không ai bị mất chức năng cho họ [4]. Từ eq. (18), người ta có thể thấy một trường hợp của cross-over điểm số không xảy ra trong ví dụ này (hình 4 c). Để thiết lập số không-một trong những điều khoản chi phí, loại Bayes sẽ sản xuất một kết quả cụ thể phân loại của "Đa-tham gia-tất cả", đó là, cho tất cả các mẫu xác định là lớp 1. Lỗi cho lớp 2 chỉ, và nó giữ mối quan hệ của N tôi = 0, mà chỉ ra rằng không có thông tin là C. so sánh trên đồng phục véc phân phốiThống nhất phân phối là rất hiếm trong phân loại prob-lems. Phần này cho thấy một ví dụ được đưa ra từ [3]. Một nỗ lực cụ thể được thực hiện trên số so sánh giữa hai loại máy phân loại.Ví dụ 4: Một phần chồng chéo giữa hai distribu-tions. Nhiệm vụ cho ví dụ này là để thiết lập các điều khoản chi phí cho việc kiểm soát kết quả quyết định trên vùng chồng chéo cho các dữ liệu nhất định từ [3]: 1 khi 0 ≤ x ≤ 1 thu được từ loại [9]. Người ta có thể tưởng tượng rằng các nhất địnhVí dụ có thể mô tả một vấn đề phân loại nơi một mục tiêu p (x|t1) = 0 nếu không lớp học, với phân phối Gaussian, cũng bị hỏng với rộng lớn hơn-ban nhạc Gaussian tiếng ồn ở một tần số miền (hình 4a). Các lôp (ti) p (x|ti) cho thấy sự phân bố áp đảo của lớp1 trên của lớp 2 (hình 4b). Lô ngày sau p (x|t2) = 1/2 khi cách 0.5 ≤ x ≤ 2,50 nếu khôngp (t1) = p (t2) = 0,5.

Kết quả (Việt) 2:

BẢNG V
RE SU LT SOFEXAMPLE 2 ON LHQ Tôi VA RI AT E GAU SSIAN DI STRI BU TIO NS Classifier Loại p (t1) / p (t2) [p (t1), p (t2)] 1 [0.5, 0.5] 2 [2/3, 1/3] 4 [0.8, 0.2] 9 [0.9, 0.1] 99 [0.99, 0.01] 999 [0,999, 0,001] 9999 [0,9999, 0,0001] E1 0,0594 0,0362 0,0161 0,0793 0.483e-3 0.422e -5 0.000 E2 0,0856 0,0759 0,0539 0,0793 0.903e-2 0.993e-3 0.1e-3 Bayesian E2 / p (t2) 0,159 0,257 0,379 0,539 0,903 0,993 1,000 xb (xc =) 0,0 0,347 0,693 1,10 2,30 3,45 4,61 H (T | Y) 0,631 0,591 0,491 0,349 0,0756 0,0113 0,00147 NI 0,369 0,356 0,320 0,256 0,0644 0,00524 0.124e-3 E1 0,0867 0,0852 0,0772 0,0793 0,0585 0,0551 0,0547 E2 0,0637 0,0451 0,0264 0,0793 0.331e-2 0.343e-3 0.345e-4 Mutual- E2 / p (t2) 0,159 0,191 0,225 0,264 0,331 0,343 0,345 Thông tin xb 0,126 0,246 0,367 0,0 0,562 0,597 0,601 H (T | Y) 0,631 0,586 0,472 0,320 0,0629 0,00957 0,00129 NI 0,362 0,346 0,317 0,369 0,222 0,161 0,125 Fig. 3. Curves của "E2 / p (t2) vs p (t1) / p (t2)". Rắn đường cong: phân loại Bayes. Đường cong Dashed:. Mutual-thông tin phân loại các lớp học, phân loại lẫn nhau, thông tin thường không giữ một xu hướng hy sinh một lớp học hoàn chỉnh trong phân loại. Tuy nhiên, từ một quan điểm lý thuyết, chúng ta vẫn cần phải es- tablish một derivation phân tích của giới hạn trên và dưới của Ei / p (ti) cho phân loại lẫn nhau thông tin. Ví dụ 3: Zero điểm cross-over. Các thông số trên cho hai lớp là: | xác suất p (ti x) chỉ ra rằng lớp 2 không có cơ hội để được (. Hình 4c). Xem xét trong miền hoàn chỉnh của x Bảng VI liệt kê các kết quả cho cả hai loại phân loại. Các phương pháp Bayesian không đạt được kết quả có ý nghĩa trên các dữ liệu nhất định. Khi thiếu dữ liệu đầu vào của λ13 và λ23, người ta không thể thực hiện các phương pháp Bayesian cho kiêng phân loại. Ngược lại, mà không chỉ định bất kỳ điều khoản chi phí, phân loại lẫn nhau, thông tin có thể phát hiện các lớp mục tiêu với một mức độ hợp lý chính xác. Khi không có từ chối được chọn, ít hơn hai phần trăm lỗi (E2 = 1,53%) xảy ra với các lớp mục tiêu. Mặc dù các lỗi tổng (E = 51,4%) cao hơn nhiều so với đối tác của mình Bayesian (E = 20%, FNR = 0%), kết quả của khoảng tám điểm phần trăm (FNR = 7.65%) mức bỏ lỡ để mục tiêu là thực sự có ý nghĩa trong các ứng dụng. Nếu một tùy chọn từ chối tham gia, tỷ lệ bỏ lỡ được tiếp tục giảm đến FNR = 4.10%, nhưng bao gồm thêm một tỷ lệ từ chối 29,1% so với tổng số mẫu có thể. Ví dụ này xác nhận một lần nữa các tính năng độc đáo của các phân loại lẫn nhau thông tin. Các kết quả của TRK từ phân loại thông tin mutual- cũng có thể phục vụ cho một tài liệu tham khảo hữu ích cho việc thiết kế phân loại kiêng Chow, có hoặc không có kiến thức về các điều khoản chi phí. Μ1 = 0, σ1 = 2, p (t1) = 0,8, μ2 = 0 , σ2 = 1, p (t2) = 0,2. Mặc dù không có dữ liệu được quy định các điều khoản chi phí, nó thường ngụ ý một số không ai bị mất chức năng cho họ [4]. Từ eq. (18), ta có thể thấy một trường hợp của zero điểm cross-over xảy ra trong ví dụ này (Hình. 4c). Đối với các thiết lập zero-một chi phí điều khoản, phân loại Bayes sẽ sản xuất một phân loại kết quả cụ thể của "Đa-uống-tất cả", đó là, cho tất cả các mô hình xác định là lớp 1. Các lỗi cho đến Class 2 chỉ, và nó giữ các mối quan hệ của NI = 0, chỉ ra rằng không có thông tin là C. So sánh về Distributions Uniform đơn biến phân phối thống nhất là rất hiếm trong các vấn phân loại đề. Phần này cho thấy một ví dụ được đưa ra từ [3]. Một nỗ lực cụ thể được thực hiện trên so sánh số giữa hai loại phân loại. Ví dụ 4: Một phần chồng lấn giữa hai tions phối. Nhiệm vụ cho ví dụ này là để thiết lập các điều khoản chi phí cho việc kiểm soát các kết quả quyết định trên khu vực chồng chéo cho các dữ liệu đưa ra từ [3]: 1 khi 0 ≤ x ≤ 1 thu được từ việc phân loại theo [9]. Người ta có thể tưởng tượng rằng cho ví dụ có thể mô tả một vấn đề phân loại nơi một mục tiêu p (x | t1) = 0 nếu không lớp, với phân phối Gaussian, cũng là hỏng với ban nhạc wider- tiếng ồn Gaussian trong miền tần số (Hình 4a.). Các lô của p (ti) p (x | ti) cho thấy sự phân bố áp đảo của Class 1 qua rằng các Class 2 (Hình 4b.). Các mảnh đất trên hậu p (x | t2) = 1/2 khi 0,5 ≤ x ≤ 2,5 0 nếu p (t1) = p (t2) = 0,5.