TABLE IIIDATA IN F O R M AT I O N F

TABLE III
DATA IN F O R M AT I O N F O R BAY E S I A N A N D MU T UA L -I N F O RM ATI O N CL A S S I FIE R S I N BI NA RY CL A S S I FIC AT I O N S

Classifier Required Input Learning Output
Type On Data On Rejection Target Data
p(t1 ), p(t2 ) E1 , E2 , Rej1 , Rej2 ,
p(x|t1 ), p(x|t2 ) No min Risk(y) Risk,

Bayesian






Mutual- Information

λ11 , λ12 , λ13 or or R1 , R2 , R3 ,
λ21 , λ22 , λ23 Yes min E (y) Tr1 , Tr2 ,
(or Tr1 , and Tr2 ) ({λ21 /λ12 }, or
{λ21 , λ13 , λ23 })
E1 , E2 , Rej1 , Rej2 , No N I ,
p(t1 ), p(t2 ) or max N I (T , Y ) R1 , R2 , R3 ,
p(x|t1 ), p(x|t2 ) Yes Tr1 , Tr2 ,
({λ21 /λ12 }, or
{λ21 , λ13 , λ23 })


B. Comparisons on Univariate Gaussian Distributions
Gaussian distributions are important not only in theoretical sense. To a large extent, this assumption is also appropriate for providing critical guidelines in real applications. For clas- sification problems, many important findings can be revealed from a study on Gaussian distributions.
The following numerical examples are specifically designed for demonstrating the intrinsic differences between Bayesian and mutual-information classifiers on Gaussian distributions. For calculations of N I ’s values on the following example, an open-source toolkit [39] is adopted for computations of mutual-information classifiers.
Example 1: Two cross-over points. The data for no rejection are given below:

N o rejection :
µ1 = −1, σ1 = 2, p(t1 ) = 0.5, λ11 = 0, λ12 = 1,
µ2 = 1, σ2 = 1, p(t2 ) = 0.5, λ21 = 1, λ22 = 0

The cost terms are used for Bayesian classifiers, but not for mutual-information classifiers. Table IV lists the results for both classifiers. One can obtain the same results when
inputing λ13 = 1 − λ23 for Bayesian classifiers. This is
why a two-by-two matrix has to be used in the case of no
rejection. Two cross-over points are formed in this examples (Fig. 1b). If no rejection is selected, both classifiers will have two boundary points. Bayesian classifiers will partition the
classification regions by having xb1 = xc1 = −0.238 and
xb2 = xc2 = 3.57. Mutual-information classifiers widen the region R2 by xb1 = −0.674 and xb2 = 4.007 so that the error
for Class 2 is much reduced. If considering zero costs for correct classifications and using eq. (18) with δi = λ21 /λ12 , one can calculate a cost ratio below for an independent parameter to Bayesian classifiers in the case of no rejection:

one receives a unique cost ratio value, Λ21 = 2.002. Hence, this mutual-information classifier has its unique equivalence to a specific Bayesian classifier which is exerted by the following conditions to the cost terms:

λ11 = 0, λ12 = 1.0, λ21 = 2.002, λ22 = 0.

Following the similar analysis above, one can reach a consistent observation for conducting a parametric study on σ1 /σ2 in binary classifications. When two classes are well balanced, that is, p(t1 ) = p(t2 ), both types of classifiers will produce larger errors in association with the larger- variance class. However, mutual-information classifiers always add more cost weight on the misclassification from a smaller- variance class. In other words, mutual-information classifiers prefer to generate a smaller error on a smaller-variance class in comparison with Bayesian classifiers when using zero- one cost functions (Table IV). This performance behavior seems closer to our intuitions in binary classifications under the condition of a balanced class dataset. When two classes are significantly different from their associated variances, a smaller-variance class generally represents an interested signal embedded within noise which often has a larger variance. The common practices in such classification scenarios require a larger cost weight on the misclassification from a smaller- variance class, and vice verse from a larger-variance class.
If a reject option is enforced for the following data:

Rejection :
µ1 = −1, σ1 = 2, p(t1 ) = 0.5, λ11 = 0, λ12 = 1.2,
λ13 = 0.2,
µ2 = 1, σ2 = 1, p(t2 ) = 0.5, λ21 = 1, λ22 = 0, λ23 = 0.6

four boundary points are required to determine classification regions as shown in Fig 1d. For the given cost terms, a
Λ = λ21
21 λ

= p(x = xb |t1 )p(t1 ) ,
p(x = x |t )p(t )

(50)

Bayesian classifier shows a lower error rate and a lower reject
12

Kết quả (Việt) 1:

BẢNG IIIDỮ LIỆU TRONG F O R M TẠI I O N F O R BAY E S TÔI MỘT N MỘT N D MU T UA L-TÔI N F O RM ATI O N CL MỘT S S TÔI FIE R S TÔI N BI NA RY CL S S TÔI FIC LÚC TÔI O N SLoại yêu cầu nhập học đầu raLoại trên dữ liệu từ chối mục tiêu dữ liệup (t1), p (t2) E1, E2, Rej1, Rej2,p (x|t1), p (x|t2) No min Risk(y) rủi ro, BayesThông tin chung Λ11, λ12, λ13 hoặc hoặc R1, R2, R3,Λ21, λ22, λ23 có min Tr1 E (y), Tr2,(hoặc Tr1, và Tr2) ({Λ21 /λ12}, hoặc{Λ21, Λ13, Λ23})E1, E2, Rej1, Rej2, N không có tôi,p (t1), p (t2) hoặc tối đa N tôi (T, Y) R1, R2, R3,p (x|t1), p (x|t2) có Tr1, Tr2,({Λ21 /λ12}, hoặc{Λ21, Λ13, Λ23}) B. so sánh trên phân phối Gaussian vécPhân phối Gaussian được quan trọng không chỉ trong lý thuyết ý nghĩa. Đến một mức độ lớn, giả định này cũng là thích hợp cho việc cung cấp các hướng dẫn quan trọng trong các ứng dụng thực tế. Cho các vấn đề t-sification, nhiều những phát hiện quan trọng có thể được tiết lộ từ một nghiên cứu về phân phối Gaussian.Các ví dụ sau số đặc biệt được thiết kế để thể hiện sự khác biệt nội tại giữa Bayes và máy phân loại thông tin chung về phân phối Gaussian. Cho các tính toán của N I có giá trị trên ví dụ sau, một bộ công cụ mã nguồn mở [39] được áp dụng cho các tính toán của máy phân loại thông tin lẫn nhau.Ví dụ 1: Hai cross-over điểm. Dữ liệu từ chối không được đưa ra dưới đây:N o từ chối:µ1 = −1, σ1 = 2, p (t1) = 0,5, λ11 = 0, λ12 = 1,µ2 = 1, σ2 = 1, p (t2) = 0,5, λ21 = 1, λ22 = 0Các điều khoản chi phí được sử dụng cho máy phân loại Bayes, nhưng không phải cho máy phân loại thông tin lẫn nhau. Bảng IV liệt kê các kết quả cho cả hai máy phân loại. Một có thể có được kết quả tương tự khiinputing λ13 = 1 − λ23 cho máy phân loại Bayes. Điều này làtại sao một ma trận hai bởi hai đã được sử dụng trong trường hợp không cótừ chối. Hai cross-over điểm được hình thành trong ví dụ này (hình 1b). Nếu không có từ chối được chọn, cả hai máy phân loại sẽ có hai ranh giới điểm. Máy phân loại Bayes sẽ phân vùng cácphân loại khu vực bằng cách xb1 = xc1 = −0.238 vàxb2 = xc2 = 3,57. Máy phân loại lẫn nhau-thông tin mở rộng vùng R2 bởi xb1 = −0.674 và xb2 = 4.007 để lỗiĐối với lớp 2 giảm nhiều. Nếu xem xét không chi phí cho các phân loại chính xác và sử dụng eq. (18) δi = λ21 /λ12, người ta có thể tính toán một tỷ lệ chi phí dưới đây cho một tham số độc lập để Bayes máy phân loại trong trường hợp không có từ chối: một trong những nhận được một giá trị tỷ lệ chi phí duy nhất, Λ21 = 2.002. Do đó, loại lẫn nhau-thông tin này có của nó tương đương duy nhất để một loại Bayes cụ thể đó tác dụng của các điều kiện sau đây với các điều khoản chi phí:Λ11 = 0, Λ12 = 1.0, Λ21 = 2.002, Λ22 = 0.Sau khi phân tích tương tự như ở trên, một có thể đạt được một sự quan sát phù hợp tiến hành một nghiên cứu tham số trên σ1 /σ2 trong nhị phân phân loại. Khi hai lớp học tốt cân bằng, có nghĩa là, p (t1) = p (t2), cả hai loại máy phân loại sẽ sản xuất các sai sót lớn hơn trong các Hiệp hội với các lớp học lớn hơn phương sai. Tuy nhiên, Máy phân loại lẫn nhau-thông tin luôn luôn thêm thêm chi phí trọng lượng trên misclassification từ một lớp học nhỏ hơn phương sai. Nói cách khác, Máy phân loại thông tin lẫn nhau thích để tạo ra một lỗi nhỏ trên một lớp học nhỏ hơn phương sai khi so sánh với máy phân loại Bayes khi sử dụng chức năng zero-một trong những chi phí (bảng IV). Hành vi hiệu suất này dường như gần gũi hơn với chúng tôi intuitions trong các phân loại nhị phân với điều kiện của một tập dữ liệu lớp cân bằng. Khi hai lớp học là đáng kể khác nhau từ của chênh lệch kết hợp, một lớp học nhỏ hơn phương sai thường đại diện cho một tín hiệu quan tâm đến nhúng trong tiếng ồn đó thường có một phương sai lớn hơn. Các thực hành phổ biến trong các phân loại kịch bản yêu cầu một trọng lượng chi phí lớn hơn trên misclassification từ một lớp học nhỏ hơn phương sai, và phó câu thơ từ một lớp lớn hơn phương sai.Nếu một lựa chọn từ chối áp dụng cho các dữ liệu sau đây:Từ chối:µ1 = −1, σ1 = 2, p (t1) = 0,5, λ11 = 0, λ12 = 1,2Λ13 = 0.2,µ2 = 1, σ2 = 1, p (t2) = 0,5, λ21 = 1, λ22 = 0, λ23 = 0,6bốn ranh giới điểm được yêu cầu để xác định phân loại khu vực như minh hoạ trong hình 1d. Cho các cụm từ nhất định chi phí, một Λ = Λ2121 Λ = p (x = xb |t1) p (t1),p (x = x |t) p (t) (50) Bayes loại cho thấy một tỷ lệ lỗi thấp và một từ chối thấp 12

Kết quả (Việt) 2:

BẢNG III
DATA IN MẪU AT IONFOR BAY ESIANAND MU T UA L -INFO RM ATI ON CL Assi FIE RSIN BI NA RY CL Assi FIC AT ion Classifier Required Input Output Học Loại On dữ liệu trên Rejection liệu Target p (t1), p (t2 ) E1, E2, Rej1, Rej2, p (x | t1), p (x | t2) Không có rủi ro min (y) Rủi ro, Bayesian Mutual- Thông tin λ11, λ12, λ13 hoặc hoặc R1, R2, R3, λ21, λ22 , λ23 Có min E (y) TR1, TR2, (hoặc TR1 và Tr2) ({λ21 / λ12}, hoặc {λ21, λ13, λ23}) E1, E2, Rej1, Rej2, Không NI, p (t1) , p (t2) hoặc tối đa NI (T, Y) R1, R2, R3, p (x | t1), p (x | t2) Có TR1, TR2, ({λ21 / λ12}, hoặc {λ21, λ13, λ23}) B. So sánh về đơn biến Gaussian phân phối phân phối Gaussian là quan trọng không chỉ trong ý nghĩa lý thuyết. Đến một mức độ lớn, giả định này cũng phù hợp với hướng dẫn quan trọng trong các ứng dụng thực tế. Đối với vấn đề sification clas-, nhiều phát hiện quan trọng có thể được tiết lộ từ một nghiên cứu về phân bố Gaussian. Các ví dụ bằng số sau đây được thiết kế đặc biệt để chứng tỏ sự khác biệt nội tại giữa Bayesian và phân loại lẫn nhau thông tin về phân bố Gaussian. Đối với các tính toán về giá trị NI 's trên các ví dụ sau đây, một bộ công cụ mã nguồn mở [39] được áp dụng để tính toán của các phân loại lẫn nhau thông tin. Ví dụ 1: Hai điểm cross-over. Các dữ liệu cho không từ chối được đưa ra dưới đây: N o từ chối: μ1 = -1, σ1 = 2, p (t1) = 0,5, λ11 = 0, λ12 = 1, μ2 = 1, σ2 = 1, p (t2) = 0.5, λ21 = 1, λ22 = 0 Các điều khoản chi phí được sử dụng để phân loại Bayes, nhưng không cho phân loại lẫn nhau thông tin. Bảng IV liệt kê các kết quả cho cả hai phân loại. Người ta có thể có được kết quả tương tự khi inputing λ13 = 1 - λ23 cho phân loại Bayes. Đây là lý do tại sao một ma trận hai nhân hai phải được sử dụng trong trường hợp không có từ chối. Hai điểm cross-over được hình thành trong các ví dụ này (Hình. 1b). Nếu không có từ chối được chọn, cả hai phân loại sẽ có hai điểm biên. Phân loại Bayes sẽ phân vùng các khu vực phân loại bằng cách xb1 = xc1 = -0,238 và xb2 = xc2 = 3,57. Phân loại lẫn nhau, thông tin mở rộng các khu vực R2 bởi xb1 = -0,674 và xb2 = 4,007 để các lỗi cho Class 2 giảm đi nhiều. Nếu xét bằng không chi phí cho phân loại chính xác và sử dụng eq. (18) với δi = λ21 / λ12, người ta có thể tính toán một tỷ lệ chi phí dưới đây cho một tham số độc lập để phân loại Bayes trong trường hợp không có từ chối: ai nhận một giá trị tỷ lệ chi phí duy nhất, Λ21 = 2,002. Do đó, phân lẫn nhau, thông tin này có tương đương độc đáo của mình cho một phân loại cụ thể Bayesian được tác dụng bởi các điều kiện sau đây với các điều khoản chi phí: λ11 = 0, λ12 = 1.0, λ21 = 2,002, λ22 = 0. Sau khi phân tích tương tự như trên, ai có thể đạt được một sự quan sát phù hợp để tiến hành một nghiên cứu tham số trên σ1 / σ2 trong phân loại nhị phân. Khi hai lớp cũng được cân bằng, đó là, p (t1) = p (t2), cả hai loại phân loại sẽ tạo ra những lỗi lớn hơn kết hợp với các lớp không đúng larger-. Tuy nhiên, phân loại lẫn nhau, thông tin luôn luôn thêm trọng lượng chi phí nhiều hơn vào việc phân loại sai từ một lớp học đúng smaller-. Nói cách khác, phân loại lẫn nhau, thông tin thích để tạo ra một lỗi nhỏ trên một lớp nhỏ hơn-sai so với phân loại Bayes khi sử dụng zero- một hàm chi phí (Bảng IV). Hành vi thực hiện điều này có vẻ gần gũi hơn với trực giác của chúng tôi trong phân loại nhị phân trong điều kiện của một lớp dữ liệu cân bằng. Khi hai lớp khác nhau đáng kể từ chênh lệch liên quan của họ, một lớp học nhỏ hơn-sai nói chung đại diện cho một tín hiệu quan tâm nhúng trong tiếng ồn mà thường có một phương sai lớn hơn. Các thông lệ phổ biến trong các tình huống phân loại như vậy đòi hỏi một khối lượng chi phí lớn hơn về việc phân loại sai từ một lớp học đúng smaller-, và ngược lại từ một lớp lớn hơn-phương sai. Nếu một tùy chọn từ chối được thi hành sau dữ liệu: Từ chối: μ1 = -1, σ1 = 2, p (t1) = 0,5, λ11 = 0, λ12 = 1.2, λ13 = 0,2, μ2 = 1, σ2 = 1, p (t2) = 0,5, λ21 = 1, λ22 = 0, λ23 = 0,6 bốn điểm ranh giới được yêu cầu để xác định các khu vực phân loại như hình 1d. Đối với các điều khoản, một cho chi phí Λ = λ21 21 λ = p (x = xb | t1) p (t1), p (x = x | t) p (t) (50) phân loại Bayes cho thấy một tỷ lệ lỗi thấp và một loại bỏ thấp 12