combinations. Multiple rejects with

combinations. Multiple rejects with such distinctions will be more informative than a single “ambiguity reject”. Among all these investigations, the Bayesian principle is applied again for their design guideline of classifiers.
While the Bayesian inference principle is widely applied in classifications, another principle based on the mutual in- formation concept is rarely adopted for designing classifiers. Mutual information is one of the important definitions in entropy theory [38]. Entropy is considered as a measure of uncertainty within random variables, and mutual information describes the relative entropy between two random variables [9]. If classifiers seek to maximize the relative entropy for their learning target, we refer them to “mutual-information classifiers”. It seems that Quinlan [5] was among the earliest to apply the concept of mutual information (but called “in- formation gain” in his famous ID3 algorithm) in constructing the decision tree. Kva˚ lseth [6] and Wickens [7] introduced the definition of normalized mutual information (NMI) for assessing a contingency table, which laid down the foundation on the relationship between a confusion matrix and mutual information. Being pioneers in using an information-based criterion for classifier evaluations, Kononenko and Bratko [41] suggested the term “information score” which was equivalent to the definition of mutual information. A research team leaded by Principe [8] proposed a general framework, called “Information Theoretic Learning (ITL)”, for designing vari- ous learning machines, in which they suggested that mutual information, or other information theoretic criteria, can be set as an objective function in classifier learning. Mackay [[9], page 533] once showed numerical examples for several given confusion matrices, and he suggested to apply mutual infor- mation for ranking the classifier examples. Wang and Hu [10] derived the nonlinear relations between mutual information and the conventional performance measures, such as accuracy, precision, recall and F1 measure for binary classifications. In [11], a general formula for normalized mutual information was established with respect to the confusion matrix for multiple- class classifications with/without a reject option, and the ad- vantages and limitations of mutual-information classifiers were discussed. However, no systematic investigation is reported for a theoretical comparison between Bayesian classifiers and mutual-information classifiers in the literature.
This work focuses on exploring the theoretical differences between Bayesian classifiers and mutual-information classi- fiers in classifications for the settings with/without a reject option. In particular, this paper derives much from and conse- quently extends to Chow’s work by distinguishing error types and reject types. To achieve analytical tractability without losing the generality, a strategy of adopting the simplest
yet most meaningful assumptions to classification problems

One may argue that the assumptions above are extremely restricted to offer practical generality in solving real-world problems. In fact, the power of Bayesian classifiers does not stay within their exact solutions to the theoretical problems, but appear from their generic inference principle in guiding real applications, even in the extreme approximations to the theory. We fully recognize that the assumption of complete knowledge on the relevant probability distributions may be never the cases in real-world problems [31][33]. The closed- form solutions of Bayesian classifiers on binary classifications in [3][4] have demonstrated the useful design guidelines that are applicable to multiple classes [22]. The author believes that the analysis based on the assumptions above will provide sufficient information for revealing the theoretical differences between Bayesian classifiers and mutual-information classi- fiers, while the intended simplifications will benefit readers to reach a better, or deeper, understanding to the advantages and limitations of each type of classifiers.
The contributions of this work are twofold. First, the analyt- ical formulas for Bayesian classifiers and mutual-information classifiers are derived to include the general cases with dis- tinctions among error types and reject types for cost sen- sitive learning in classifications. Second, comparisons are conducted between the two types of classifiers for revealing their similarities and differences. Specific efforts are made on a formal analysis of parameter redundancy to the cost terms for Bayesian classifiers when a reject option is applied. Section II presents a general decision rule of Bayesian classifiers with or without a reject option. Sections III provides the basic formulas for mutual-information classifiers. Section IV inves- tigates the similarities and differences between two types of classifiers, and numerical examples are given to hi

Kết quả (Việt) 1:

kết hợp. Các từ chối nhiều với sự phân biệt như vậy sẽ nhiều thông tin hơn so với đĩa đơn "mơ hồ từ chối". Trong số tất cả các xét nghiệm, nguyên lý Bayes được áp dụng một lần nữa cho của họ hướng dẫn thiết kế của máy phân loại.While the Bayesian inference principle is widely applied in classifications, another principle based on the mutual in- formation concept is rarely adopted for designing classifiers. Mutual information is one of the important definitions in entropy theory [38]. Entropy is considered as a measure of uncertainty within random variables, and mutual information describes the relative entropy between two random variables [9]. If classifiers seek to maximize the relative entropy for their learning target, we refer them to “mutual-information classifiers”. It seems that Quinlan [5] was among the earliest to apply the concept of mutual information (but called “in- formation gain” in his famous ID3 algorithm) in constructing the decision tree. Kva˚ lseth [6] and Wickens [7] introduced the definition of normalized mutual information (NMI) for assessing a contingency table, which laid down the foundation on the relationship between a confusion matrix and mutual information. Being pioneers in using an information-based criterion for classifier evaluations, Kononenko and Bratko [41] suggested the term “information score” which was equivalent to the definition of mutual information. A research team leaded by Principe [8] proposed a general framework, called “Information Theoretic Learning (ITL)”, for designing vari- ous learning machines, in which they suggested that mutual information, or other information theoretic criteria, can be set as an objective function in classifier learning. Mackay [[9], page 533] once showed numerical examples for several given confusion matrices, and he suggested to apply mutual infor- mation for ranking the classifier examples. Wang and Hu [10] derived the nonlinear relations between mutual information and the conventional performance measures, such as accuracy, precision, recall and F1 measure for binary classifications. In [11], a general formula for normalized mutual information was established with respect to the confusion matrix for multiple- class classifications with/without a reject option, and the ad- vantages and limitations of mutual-information classifiers were discussed. However, no systematic investigation is reported for a theoretical comparison between Bayesian classifiers and mutual-information classifiers in the literature.Công trình này tập trung vào khám phá sự khác biệt về lý thuyết giữa máy phân loại Bayes và lẫn nhau-thông tin cơ-fiers phân loại cho các thiết lập có cài đặt/không một lựa chọn từ chối. Đặc biệt, giấy này có nguồn gốc nhiều từ và conse-quently mở rộng để Chow của công việc bằng cách phân biệt các loại lỗi và từ chối loại. Để đạt được phân tích tractability mà không làm mất quát, một chiến lược của việc áp dụng các đơn giản nhấtChưa có ý nghĩa nhất giả định vấn đề phân loại Người ta có thể tranh luận rằng các giả định ở trên là rất hạn chế cung cấp quát thực tế trong việc giải quyết vấn đề thế giới thực. Trong thực tế, sức mạnh của máy phân loại Bayes không ở trong các giải pháp chính xác cho các vấn đề lý thuyết, nhưng xuất hiện từ nguyên tắc chung suy luận của mình trong các hướng dẫn ứng dụng thực tế, ngay cả trong các phép xấp xỉ cực vào lý thuyết. Chúng tôi hoàn toàn nhận ra rằng các giả định đầy đủ kiến thức về phân bố xác suất có liên quan có thể không bao giờ các trường hợp ở vấn đề thế giới thực [31] [33]. Các giải pháp hình thức đóng cửa của Bayes máy phân loại trên các phân loại nhị phân trong [3] [4] đã chứng minh các hướng dẫn hữu ích thiết kế được áp dụng đối với nhiều lớp học [22]. Tác giả tin rằng việc phân tích dựa trên các giả định ở trên sẽ cung cấp các thông tin đầy đủ cho tiết lộ sự khác biệt lý thuyết giữa máy phân loại Bayes và lẫn nhau-thông tin cơ-fiers, trong khi simplifications dự định sẽ có lợi cho độc giả để đạt được một sự hiểu biết tốt hơn, hoặc sâu hơn, để các lợi thế và hạn chế của từng loại máy phân loại.The contributions of this work are twofold. First, the analyt- ical formulas for Bayesian classifiers and mutual-information classifiers are derived to include the general cases with dis- tinctions among error types and reject types for cost sen- sitive learning in classifications. Second, comparisons are conducted between the two types of classifiers for revealing their similarities and differences. Specific efforts are made on a formal analysis of parameter redundancy to the cost terms for Bayesian classifiers when a reject option is applied. Section II presents a general decision rule of Bayesian classifiers with or without a reject option. Sections III provides the basic formulas for mutual-information classifiers. Section IV inves- tigates the similarities and differences between two types of classifiers, and numerical examples are given to hi

Kết quả (Việt) 2:

kết hợp. Nhiều Rejects với sự phân biệt như vậy sẽ có nhiều thông tin hơn một single "nhập nhằng từ chối". Trong số tất cả các cuộc điều tra, nguyên tắc Bayes được áp dụng một lần nữa cho hướng dẫn thiết kế của họ về phân loại.
Trong khi nguyên tắc suy luận Bayes được áp dụng rộng rãi trong phân loại, một nguyên tắc dựa trên các khái niệm hình trong- lẫn nhau là rất hiếm khi được áp dụng để thiết kế các phân loại. Thông tin lẫn nhau là một trong những định nghĩa quan trọng trong lý thuyết entropy [38]. Entropy được coi là một biện pháp của sự không chắc chắn trong các biến ngẫu nhiên, và thông tin lẫn nhau mô tả các entropy tương đối giữa hai biến ngẫu nhiên [9]. Nếu phân loại tìm cách tối đa hóa entropy tương đối cho mục tiêu học tập của mình, chúng tôi giới thiệu họ đến "phân loại lẫn nhau thông tin". Dường như Quinlan [5] là một trong những sớm nhất để áp dụng các khái niệm về thông tin lẫn nhau (nhưng gọi là "tăng hình trong-" trong thuật toán ID3 nổi tiếng của ông) trong việc xây dựng cây quyết định. KVA lseth [6] và Wickens [7] giới thiệu định nghĩa về thông tin lẫn nhau bình thường (NMI) để đánh giá một bảng dự phòng, trong đó đặt xuống nền tảng về mối quan hệ giữa một ma trận nhầm lẫn và thông tin lẫn nhau. Là người tiên phong trong việc sử dụng một tiêu chí dựa trên thông tin để đánh giá phân loại, Kononenko và Bratko [41] đề xuất thuật ngữ "thông tin số" đó là tương đương với định nghĩa về thông tin lẫn nhau. Một nhóm nghiên cứu Trường do Principe [8] đề xuất một khuôn khổ chung, gọi là "Thông tin lý thuyết học tập (ITL)", cho thiết kế máy học tập vari độc hại, trong đó họ cho rằng thông tin lẫn nhau, hoặc các thông tin khác tiêu chuẩn lý thuyết, có thể được thiết lập như là một hàm mục tiêu trong học tập phân loại. Mackay [[9], trang 533] một lần cho thấy ví dụ bằng số cho một số ma trận nhầm lẫn nào, và ông đề nghị để áp dụng chung thông tin cho các cấp các ví dụ phân loại. Wang và Hu [10] có nguồn gốc quan hệ tuyến tính giữa các thông tin lẫn nhau và các biện pháp thực hiện thông thường, chẳng hạn như độ chính xác, độ chính xác, thu hồi và biện pháp F1 để phân loại nhị phân. Trong [11], một công thức chung cho thông tin lẫn nhau bình thường hóa được thành lập đối với các ma trận nhầm lẫn cho các loại lớp multiple- với / bằng mà không có một tùy chọn từ chối, và vantages quảng cáo- và hạn chế của phân loại lẫn nhau, thông tin đã được thảo luận. Tuy nhiên, không có điều tra có hệ thống được báo cáo cho một so sánh giữa lý thuyết phân loại Bayes và phân loại lẫn nhau, thông tin trong các tài liệu.
Công trình này tập trung vào việc khám phá sự khác biệt giữa lý thuyết phân loại Bayes và lẫn nhau thông tin Fiers classi- các phân loại cho các thiết lập có / không có một từ chối tùy chọn. Đặc biệt, báo cáo này xuất phát từ nhiều và conse- xuyên kéo dài đến công việc của Chow bằng cách phân biệt các loại lỗi và từ chối các loại. Để đạt được dễ kiểm soát phân tích mà không làm mất tính tổng quát, một chiến lược của việc áp dụng đơn giản
nhưng giả định có ý nghĩa nhất đối với vấn đề phân loại Người ta có thể tranh luận rằng các giả định trên là vô cùng hạn chế cung cấp tổng quát thực tế trong việc giải quyết các vấn đề thế giới thực. Trong thực tế, sức mạnh của phân loại Bayes không ở lại trong các giải pháp chính xác của họ cho các vấn đề lý thuyết, nhưng xuất hiện từ nguyên tắc suy luận chung của họ trong việc hướng dẫn các ứng dụng thực tế, ngay cả trong những sự xấp xỉ cực vào học thuyết. Chúng tôi hoàn toàn nhận ra rằng giả định về kiến thức đầy đủ về sự phân bố xác suất liên quan có thể là không bao giờ là trường hợp trong các vấn đề thế giới thực [31] [33]. Các giải pháp hình thức closed- của phân loại Bayes về phân loại nhị phân trong [3] [4] đã chứng minh hướng dẫn thiết kế hữu ích mà có thể áp dụng cho nhiều lớp học [22]. Tác giả tin rằng việc phân tích dựa trên các giả định trên sẽ cung cấp đầy đủ thông tin cho việc phát hiện sự khác biệt giữa lý thuyết phân loại Bayes và lẫn nhau thông tin Fiers classi-, trong khi đơn giản hóa dự định sẽ có lợi cho độc giả để đạt được một tốt hơn, hoặc sâu hơn, hiểu biết với những lợi thế và hạn chế của từng loại phân loại. Những đóng góp của tác phẩm này có hai mặt. Đầu tiên, các công thức ical analyt- cho phân loại Bayes và phân loại lẫn nhau, thông tin có nguồn gốc bao gồm các trường hợp chung với tinctions dis- giữa các loại lỗi và từ chối các loại cho các chi phí học tập nhạy cảm hơn trong phân loại. Thứ hai, so sánh được tiến hành giữa hai loại phân loại để tiết lộ một điểm tương đồng và khác biệt của họ. Nỗ lực cụ thể được thực hiện trên một phân tích chính thức của tham số dư với các điều khoản chi phí cho phân loại Bayes khi từ chối tùy chọn được áp dụng. Phần II trình bày một quy tắc chung của quyết định phân loại Bayes có hoặc không có một tùy chọn từ chối. Phần III cung cấp các công thức cơ bản để phân loại lẫn nhau thông tin. Mục IV, khối tigates những điểm tương đồng và khác biệt giữa hai loại phân loại, và ví dụ bằng số được đưa ra để hi