Fig. 4. Plots for Example 3 where (

Fig. 4. Plots for Example 3 where (b)-(c) describe a signal (blue curve) embedded by wider-band noise (black curve).

TABLE VI
RE S U LT S O F E X A M P L E 3 O N UN I VA R I AT E GAU S S I A N DI S T R I BU T I O NS

Reject
Option Classifier
Type E1
E2

E Rej1
Rej2

Rej Tr1
Tr2 xb1 , xb2
xb3 , xb4

N I
0.0 0 - -, -
No Bayesian 0.2 0.2 0 0 - -, - 0.0
Rejection Mutual 0.499 0 - -1.77, 1.77
Information 0.0153 0.514 0 0 - -, - 0.0803
Mutual 0.316 0.239 0.0945 -2.04, -1.03
Rejection Information 0.00819 0.324 0.0520 0.291 0.749 1.03, 2.04 0.0926


In uniform distributions, a single independent parameter will be sufficient for classifications. Table VII lists the different results with respect to Tr . Note that the present results have extended Chow’s abstaining classifiers by adding one more
decision case of f (x ∈ Ri ) = y2 than those in [3]. The
extension is attributed to the three rules used in eq. (10), rather
than two in Chow’s classifiers, which demonstrates a more general solution for classifications. One can see that mutual-
information classifiers will decide f (x ∈ Ri ) = y3 from the
given data of class distributions sine they receive the maximum
value of N I . If no rejection is enforced, mutual-information classifiers will choose f (x ∈ Ri ) = y1 for their solution.

V. CONCL USIONS
This work explored differences between Bayesian classifiers and mutual-information classifiers. Based on Chow’s pio- neering work [2][3], the author revisited Bayesian classifiers on two general scenarios for the reason of their increasing popularity in classifications. The first was on the zero-one cost functions for classifications without rejection. The second was on the cost distinctions among error types and reject types for abstaining classifications. In addition, the paper focused on the analytical study of mutual-information classifiers in comparison with Bayesian classifiers, which showed a basis for novel design or analysis of classifiers based on the en- tropy principle. The general decision rules were derived for both Bayesian and mutual-information classifiers based on the given assumptions. Two specific theorems were derived for revealing the intrinsic problems of Bayesian classifiers in applications under the two scenarios. One theorem described that Bayesian classifiers have a tendency of overlooking the misclassification error which is associated with a minority class. This tendency will degenerate a binary classification

into a single class problem for the meaningless solutions. The other theorem discovered the parameter redundancy of cost terms in abstaining classifications. This weakness is not only on reaching an inconsistent interpretation to cost terms. The pivotal difficulty will be on holding the objectivity of cost terms. In real applications, information about cost terms is rarely available. This is particularly true for reject types. While Berger explained the demands for “objective Bayesian analysis” [43], we need to recognize that this goal may fail from applying cost terms in classifications. In comparison, mutual-information classifiers do not suffer such difficulties. Their advantages without requiring cost terms will enable the current classifiers to process abstaining classifications, like a new folder of “Suspected Mail” in Spam filtering [44]. Several numerical examples in this work supported the unique benefits of using mutual-information classifiers in special cases. The comparative study in this work was not meant to replace Bayesian classifiers by mutual-information classifiers. Bayesian and mutual-information classifiers can form “complementary rather than competitive (words from Zadeh [45])” solutions to classification problems. However, this work was intended to highlight their differences from theoretical studies. More detailed discussions to the differences between the two types of classifiers were given in Section IV. As a final conclusion, a simple answer to the question title is summarized below:
“Bayesian and mutual-information classifiers are different essentially from their applied learning targets. From appli- cation viewpoints, Bayesian classifiers are more suitable to the cases when cost terms are exactly known for trade-off of error types and reject types. Mutual-information classifiers are capable of objectively balancing error types and reject types automatically without employing cost terms, even in the cases

0 otherwise
class, with Gaussian distribution, is also corrupted with wider- band Gaussian noise in a frequency domain (Fig. 4a). The plots
of p(ti )p(x|ti ) shows the overwhelming distribution of Class
1 over that of Class 2 (Fig. 4b). The plots on the posterior

p(x|t2 ) =

1/2 when 0.5 ≤ x ≤ 2.5
0 otherwise

p(t1 ) = p(t2 ) = 0.5.

Kết quả (Việt) 1:

Hình 4. Lô ví dụ 3 nơi (b)-(c) Mô tả một tín hiệu (màu xanh đường cong) nhúng bởi ban nhạc rộng lớn hơn tiếng ồn (đường cong màu đen).BÀN VITÁI S U LT S O F E X MỘT M P L E 3 O N LIÊN HIỆP QUỐC TÔI VA R TÔI TẠI E GAU S S TÔI MỘT R DI S T N TÔI BU T TÔI O NSTừ chốiLựa chọn loạiKiểu E1E2 E Rej1Rej2 Rej Tr1Tr2 xb1, xb2xb3, xb4 N TÔI 0.0 0 --, - Không có Bayes 0.2 cách 0.2 0 0 --, - 0,0Từ chối lẫn nhau 0 0.499 --1.77, 1,77 Thông tin 0.0153 0.514 0 0 --, - 0.0803 Lẫn nhau 0.316 0.239 0.0945-2.04,-1.03 Thông tin từ chối 0.00819 0.324 0.0520 0.291 0.749 1.03, 2,04 0.0926 Trong phân phối thống nhất, một tham số độc lập duy nhất sẽ là đủ cho phân loại. Bảng VII liệt kê kết quả khác nhau đối với Tr. Lưu ý rằng kết quả hiện tại đã mở rộng của Chow kiêng máy phân loại bằng cách thêm một lần nữaquyết định các trường hợp của f (x ∈ Ri) = y2 so với những người trong [3]. Cácphần mở rộng là do các quy tắc ba được sử dụng trong eq. (10), thay vào đóhơn hai năm máy phân loại của Chow, đó chứng tỏ một giải pháp tổng quát hơn để phân loại. Người ta có thể thấy rằng lẫn nhau-thông tin máy phân loại sẽ quyết định f (x ∈ Ri) = y3 từ cáchọ đưa ra các dữ liệu của lớp phân phối Sin nhận được tối đagiá trị của N tôi. Nếu không có từ chối được thực thi, Máy phân loại thông tin lẫn nhau sẽ chọn f (x ∈ Ri) = y1 cho giải pháp của họ.V. CONCL USIONSCông việc này khám phá sự khác biệt giữa máy phân loại Bayes và máy phân loại thông tin lẫn nhau. Dựa trên công việc của Chow pio-neering [2] [3], tác giả revisited Bayes máy phân loại trên hai kịch bản chung vì lý do phổ biến ngày càng tăng của họ trong phân loại. Việc đầu tiên là trên các chức năng zero-một trong những chi phí cho các phân loại mà không có từ chối. Thứ hai là trên các chi phí phân biệt giữa các loại lỗi và từ chối loại cho kiêng phân loại. Ngoài ra, giấy tập trung vào các nghiên cứu phân tích của máy phân loại thông tin lẫn nhau khi so sánh với máy phân loại Bayes, cho thấy một cơ sở cho tiểu thuyết thiết kế hoặc phân tích của máy phân loại dựa trên en - nguyên tắc tropy. Các quy tắc chung quyết định đã được bắt nguồn cho cả Bayes và máy phân loại thông tin lẫn nhau dựa trên các giả định nhất định. Hai định lý cụ thể được bắt nguồn cho tiết lộ những vấn đề nội tại của Bayes máy phân loại trong các ứng dụng theo hai kịch bản. Một định lý mô tả máy phân loại Bayes có một xu hướng của nhìn ra lỗi misclassification được liên kết với một lớp thiểu số. Xu hướng này sẽ làm suy thoái một phân loại nhị phân vào một vấn đề lớp duy nhất cho các giải pháp vô nghĩa. Định lý khác phát hiện ra sự thừa tham số của chi phí điều khoản trong kiêng phân loại. Điểm yếu này là không chỉ trên đạt đến một giải thích không phù hợp với các điều khoản chi phí. Những khó khăn quan trọng sẽ về giữ khách quan của điều khoản chi phí. Trong các ứng dụng thực tế, thông tin về chi phí điều khoản là hiếm khi có sẵn. Điều này đặc biệt đúng cho các loại từ chối. Trong khi giải thích Berger nhu cầu cho "phân tích Bayes khách quan" [43], chúng ta cần phải nhận ra rằng mục tiêu này có thể thất bại từ việc áp dụng điều khoản chi phí trong phân loại. Trong khi đó, Máy phân loại thông tin lẫn nhau không bị khó khăn như vậy. Lợi thế của họ mà không yêu cầu điều khoản chi phí sẽ cho phép các máy phân loại hiện hành để xử lý phân loại kiêng, giống như một thư mục mới "Nghi ngờ thư" trong thư rác lọc [44]. Một vài số ví dụ trong công việc này hỗ trợ những lợi ích độc đáo của việc sử dụng máy phân loại thông tin lẫn nhau trong trường hợp đặc biệt. Nghiên cứu so sánh trong tác phẩm này không có nghĩa là để thay thế máy phân loại Bayes bằng máy phân loại thông tin lẫn nhau. Bayes và máy phân loại thông tin lẫn nhau có thể tạo thành "bổ sung thay vì cạnh tranh (từ từ Zadeh [45])" giải pháp để vấn đề phân loại. Tuy nhiên, công việc này được dự định để làm nổi bật của sự khác biệt từ các nghiên cứu lý thuyết. Cuộc thảo luận chi tiết hơn để sự khác biệt giữa hai loại máy phân loại đã được đưa ra trong phần IV. Như một kết luận cuối cùng, một câu trả lời đơn giản để tiêu đề câu hỏi tóm tắt dưới đây:"Máy phân loại Bayes và thông tin lẫn nhau là khác nhau về cơ bản từ mục tiêu ứng dụng học tập của họ. Từ quan điểm öùng-cation, Máy phân loại Bayes phù hợp hơn để các trường hợp khi chi phí điều khoản chính xác được biết đến với sự đánh đổi loại lỗi và từ chối loại. Máy phân loại thông tin lẫn nhau có khả năng một cách khách quan cân bằng các loại lỗi và từ chối loại tự động mà không cần sử dụng điều khoản chi phí, ngay cả trong các trường hợp 0 nếu không lớp học, với phân phối Gaussian, cũng bị hỏng với rộng lớn hơn-ban nhạc Gaussian tiếng ồn ở một tần số miền (hình 4a). Các lôp (ti) p (x|ti) cho thấy sự phân bố áp đảo của lớp1 trên của lớp 2 (hình 4b). Lô ngày sau p (x|t2) = 1/2 khi cách 0.5 ≤ x ≤ 2,50 nếu khôngp (t1) = p (t2) = 0,5.

Kết quả (Việt) 2:

Sung. 4. Plots cho Ví dụ 3 nơi (b) -. (C) mô tả một tín hiệu (đường cong màu xanh) được nhúng bởi tiếng ồn rộng băng tần (đường cong màu đen) TABLE VI RE SU LT SOFEXAMPLE 3 ON LHQ Tôi VA RI AT E GAU SSIAN DI STRI BU TIO NS Từ chối Lựa chọn Classifier Loại E1 E2 E Rej1 Rej2 Rej TR1 Tr2 xb1, xb2 xb3, xb4 NI 0.0 0 - -, - Không Bayesian 0.2 0.2 0 0 - -, - 0.0 Từ chối Mutual 0,499 0 - -1,77, 1,77 Thông tin 0,0153 0,514 0 0 - -, - 0,0803 Mutual 0,316 0,239 0,0945 -2,04, -1,03 Thông Tin Từ chối 0,00819 0,324 0,0520 0,291 0,749 1,03, 2,04 0,0926 Trong phân bố đồng đều, một tham số độc lập duy nhất sẽ là đủ cho phân loại. Bảng VII liệt kê các kết quả khác nhau đối với Tr với. Lưu ý rằng các kết quả hiện nay đã mở rộng phân loại kiêng Chow bằng cách thêm vào một trong nhiều trường hợp quyết định của f (x ∈ Ri) = y2 hơn những người trong [3]. Các phần mở rộng là do ba nguyên tắc sử dụng trong eq. (10), chứ không phải hơn hai trong phân loại của Châu Tinh Trì, trong đó chứng tỏ một giải pháp tổng quát hơn để phân loại. Người ta có thể thấy rằng mutual- phân loại thông tin sẽ quyết định f (x ∈ Ri) = y3 từ các dữ liệu cho các bản phân phối lớp sin họ nhận được tối đa giá trị của NI. Nếu không có từ chối được thi hành, phân loại lẫn nhau, thông tin sẽ chọn f (x ∈ Ri) = y1 cho giải pháp của họ. V. CONCL USIONS việc này tìm hiểu sự khác nhau giữa phân loại Bayes và phân loại lẫn nhau thông tin. Dựa trên công trình neering pio- Chow [2] [3], tác giả xem xét lại phân loại Bayes trên hai kịch bản chung cho các lý do cho sự phổ biến ngày càng tăng của họ trong phân loại. Việc đầu tiên là về chức năng chi phí bằng không-một cho phân loại mà không từ chối. Thứ hai là về sự phân biệt chi phí giữa các loại lỗi và từ chối các loại cho kiêng phân loại. Ngoài ra, tờ báo tập trung vào các nghiên cứu phân tích về phân loại lẫn nhau, thông tin so với phân loại Bayes, cho thấy một cơ sở cho việc thiết kế mới hoặc phân tích phân loại dựa trên nguyên tắc tropy en-. Nguyên tắc quyết định chung được bắt nguồn cho cả hai phân loại Bayes và lẫn nhau thông tin dựa trên các giả định được đưa ra. Hai định lý cụ thể được phát sinh cho việc phát hiện các vấn đề nội tại của phân loại Bayes trong các ứng dụng theo hai kịch bản. Một định lý đã mô tả rằng phân loại Bayes có xu hướng nhìn ra lỗi phân loại sai mà là liên kết với một lớp thiểu số. Xu hướng này sẽ bị thoái hóa một phân loại nhị phân thành một vấn đề cấp duy nhất cho các giải pháp vô nghĩa. Định lý khác phát hiện ra sự dư thừa thông số về chi phí trong kiêng phân loại. Điểm yếu này là không chỉ trên đạt được một giải thích không phù hợp với chi phí điều khoản. Khó khăn chủ chốt sẽ được giữ tính khách quan của các điều khoản chi phí. Trong các ứng dụng thực tế, thông tin về các điều khoản chi phí là hiếm khi có sẵn. Điều này đặc biệt đúng đối với loại từ chối. Trong khi Berger giải thích nhu cầu "phân tích Bayesian khách quan" [43], chúng ta cần phải nhận ra rằng mục tiêu này có thể không áp dụng các điều khoản chi phí trong phân loại. Trong so sánh, phân loại thông tin lẫn nhau, không phải chịu những khó khăn như vậy. Lợi thế của họ mà không đòi hỏi về chi phí sẽ cho phép phân loại hiện hành để xử lý kiêng phân loại, giống như một thư mục mới của "Nghi ngờ Mail" trong thư mục Spam lọc [44]. Một số ví dụ bằng số trong công việc này hỗ trợ các lợi ích duy nhất của việc sử dụng phân loại lẫn nhau, thông tin trong trường hợp đặc biệt. Các nghiên cứu so sánh trong công việc này không có nghĩa là để thay thế bằng phân loại Bayes classifier lẫn nhau thông tin. Phân loại Bayes và lẫn nhau, thông tin có thể hình thành "bổ sung hơn là cạnh tranh (từ từ Zadeh [45])" giải pháp cho vấn đề phân loại. Tuy nhiên, công việc này được dự định để làm nổi bật sự khác biệt của họ từ các nghiên cứu lý thuyết. Thảo luận chi tiết hơn đến sự khác biệt giữa hai loại phân loại đã được đưa ra trong mục IV. Như một kết luận cuối cùng, một câu trả lời đơn giản để tiêu đề câu hỏi được tóm tắt như sau: "phân loại Bayes và lẫn nhau thông tin khác nhau về cơ bản từ các mục tiêu học tập áp dụng của họ. Từ quan điểm cation dụng nào, phân loại Bayes là phù hợp hơn với các trường hợp khi các điều khoản chi phí được chính xác được biết đến với thương mại-off của các loại lỗi và từ chối các loại. Phân loại lẫn nhau, thông tin có khả năng quan cân bằng các loại lỗi và từ chối các loại tự động mà không cần sử dụng các điều khoản chi phí, thậm chí trong các trường hợp 0 nếu không lớp, với phân phối Gaussian, cũng là hỏng với ban nhạc wider- tiếng ồn Gaussian trong miền tần số (hình 4a). . Các lô của p (ti) p (x | ti) cho thấy sự phân bố áp đảo của Class 1 qua rằng các Class 2 (Hình 4b.). Các mảnh đất trên hậu p (x | t2) = 1/2 khi 0,5 ≤ x ≤ 2,5 0 nếu p (t1) = p (t2) = 0,5.