Fig. 2. Classification scenarios fo

Fig. 2. Classification scenarios for univariate uniform distributions.


Class 2 may be misclassified or rejected fully depending on the settings of cost terms.
C ase 3 BU : Separation between two distributions.
One is able to obtain the exact solutions without any error and reject. Cost terms are useless in this case.

III. MUT UAL -INFORMAT ION BASE D CL ASSIFIE RS W IT H A RE JE CT OPT ION















arriving at the optimal y+ defined by (31). We adopt Shannon’s definition of entropy for the reason that no free parameter is introduced. A normalization scheme is applied so that a relative comparison can be made easily among classifiers.
Definition 6 (Augmented Confusion Matrix [11]): An aug- mented confusion matrix will include one column for a rejected class, which is added on a conventional confusion matrix:
A. Mutual-information based Classifiers
Definition 5 (Mutual-information classifier): A mutual- information classifier is the classifier which is obtained from the maximization of mutual information over all patterns:



C = 


c11 c12 • • • c1m c1(m+1)
c21 c22 • • • c2m c2(m+1)
• • •
cm1 cm2 • • • cmm cm(m+1)



 (34)



y+ = arg max N I (T = t, Y = y), (31)
y
where T and Y are the target variable and decision output variable, t and y are their values, respectively. For simplicity, we denote N I (T = t, Y = y) = N I (T , Y ) as the normalized mutual information in a form of [11]:
I (T , Y )

where cij represents the number of the ith class that is clas- sified as the jth class. The row data corresponds to the exact classes, and the column data corresponds to the prediction classes. The last column represents a reject class. The relations and constraints of an augmented confusion matrix are:

m+1
Ci = X cij , Ci > 0, cij ≥ 0, i = 1, 2, • • • , m (35)
N I (T , Y ) =


H (T )

(32a)

j=1
where H (T ) is the entropy based on the Shannon definition
[37] to the target variable,
m
H (T ) = − X p(ti )log2 p(ti ), (32b)
i=1
and I (T , Y ) is mutual information between two variables of
T and Y [38]:

where Ci is the total number for the ith class. The data for
Ci is known in classification problems.
In this work, supposing that the input data for classifications

are exactly known about the prior probability p(ti ) and the conditional probability density function p(x|ti ), one is able
to derive the joint distribution matrix in association with the confusion matrix:
cij

m m+1


p(t , y )

pij = p(ti , yj ) = R
R

p(ti )p(x|ti)dx ≈ n

= pe (ti , yj ),
I (T , Y ) = X X p(ti , yj )log2

i j , (32c)


i = 1, 2,

j
• • , m, j = 1, 2, • • • , m + 1

i=1 j=1

p(ti )p(yj ) •


(36)
where m is a total number of classes in T . For binary classifications, we set m = 2. In (32), p(t, y) is the joint distribution between the two variables, and p(t) and p(y) are the marginal distributions which can be derived from [38]:
p(t) = X p(t, y), and p(y) = X p(t, y). (33)

where Rj is denoted as the region in which every pattern x is identified as the jth class, and pe(ti , yj ) is the empirical probability density for applications where only a confusion matrix is given. In those applications, the total number of patterns n is generally known.
Eq. (36) describes the approximation relations between
y t the joint distribution and confusion matrix. If the knowledge
Mathematically, eq. (31) expresses that y+ is an optimal classifier in terms of the maximal mutual information, or relative entropy, between the target variable T and decision output variable Y . The physical interpretation of relative entropy is a measurer of probability similarity between the two variables. Note that the present definition of N I is asymmetry to the variables T and Y for the normalization term of H (T ) (=constant, for given p(t)), but will not make a difference for

about p(ti ) and p(x|ti ) are exactly known, one can design a
mutual information classifier directly. If no initial information is known about p(ti ) and p(x|ti ), the empirical probability
density of joint distribution, pe (ti , yj ), can be estimated from the confusion matrix [11]. This treatment, based on the fre- quency principle of a confusion matrix, is not mathematically rigorous, but will offer a simple approach for classifiers to apply the entropy principle for wider applications.

Kết quả (Việt) 1:

Hình 2. Phân loại các kịch bản cho véc phân phối đồng đều.Lớp 2 có thể được misclassified hoặc bị từ chối hoàn toàn tùy thuộc vào các thiết lập của điều khoản chi phí.C ase 3 BU: sự tách biệt giữa hai phân phối.Ai có thể để có được các giải pháp chính xác mà không có bất kỳ lỗi và từ chối. Chi phí điều khoản là vô ích trong trường hợp này.III. MUT UAL - CÓ ION CĂN CỨ D CL ASSIFIE RS W CNTT H A TÁI JE CT LỰA CHỌN ION đến lúc các tối ưu y + được xác định bởi (31). Chúng ta áp dụng định nghĩa của Shannon dữ liệu ngẫu nhiên vì lý do không có tham số miễn phí được giới thiệu. Một chương trình bình thường hóa được áp dụng do đó một so sánh tương đối có thể được thực hiện dễ dàng trong số máy phân loại.Định nghĩa 6 (tăng cường sự nhầm lẫn ma trận [11]): Một ma trận nhầm lẫn tháng tám mented sẽ bao gồm một cột cho một lớp học bị từ chối, được thêm vào một ma trận nhầm lẫn thông thường: A. lẫn nhau-thông tin dựa Máy phân loạiĐịnh nghĩa 5 (lẫn nhau-thông tin loại): một loại thông tin lẫn nhau là loại mà là thu được từ tối đa hóa lẫn nhau thông tin trên tất cả các mẫu: C =  C11 c12 • • • c1m c1(m+1)C21 c22 • • • c2m c2(m+1)• • •CM1 cm2 • • • cmm cm(m+1)  (34) y + = arg tối đa N tôi (T = t, Y = y), (31)ynơi T và Y là các mục tiêu biến và quyết định đầu ra biến, t và y là giá trị của họ, tương ứng. Để đơn giản, chúng tôi biểu thị N tôi (T = t, Y = y) = N I (T, Y) so với bình thường thông tin lẫn nhau trong một hình thức của [11]:TÔI (T, Y) nơi cij đại diện cho số lượng lớp ith là t-sified như là các lớp học jth. Dữ liệu hàng tương ứng với các lớp học chính xác, và dữ liệu cột tương ứng với các lớp học dự đoán. Cột cuối cùng đại diện cho một lớp học từ chối. Quan hệ và hạn chế của một ma trận tăng cường sự nhầm lẫn là:m + 1Ci = X cij, Ci > 0, cij ≥ 0, i = 1, 2, • • •, m (35) N TÔI (T, Y) = H (T) (32a) j = 1 nơi H (T) là dữ liệu ngẫu nhiên dựa trên định nghĩa Shannon[37] để biến mục tiêu,mH (T) = − X p (ti) log2 p (ti), (32b)tôi = 1và tôi (T, Y) là các thông tin lẫn nhau giữa hai biến củaT và Y [38]: nơi Ci là tổng số cho lớp thứ i. Dữ liệu choCi được tìm thấy trong phân loại vấn đề.Trong tác phẩm này, giả sử rằng các dữ liệu đầu vào cho phân loạichính xác ai biết về trước xác suất p (ti) và p hàm mật độ xác suất có điều kiện (x|ti), có thểđể lấy được ma trận chung phân phối cùng với ma trận nhầm lẫn:cij m m + 1 p (t, y) PIJ = p (ti, yj) = RR p (ti) p (x|ti) dx ≈ n = pe (ti, yj), Tôi (T, Y) = X X p (ti, yj) log2 Tôi j, (32c) tôi = 1, 2, j• • , m, j = 1, 2, • • • , m + 1 tôi = 1 j = 1 p (ti) p (yj) • (36) trong đó m là một tổng số của các lớp học trong T. Đối với phân loại nhị phân, chúng tôi đặt m = 2. Trong (32), p (t, y) là sự phân bố chung giữa hai biến, và p(t) và p(y) là phân phối biên mà có thể được bắt nguồn từ [38]:p(t) = X p(t, y), và p(y) = X p(t, y). (33) nơi Rj là denoted khu vực trong đó mỗi mô hình x được xác định là lớp jth, và pe (ti, yj) là mật độ xác suất thực nghiệm cho các ứng dụng mà chỉ là một ma trận nhầm lẫn được. Trong những ứng dụng, thường được gọi tổng số mô hình n.EQ. (36) Mô tả xấp xỉ quan hệ giữa y t ma trận chung phân phối và sự nhầm lẫn. Nếu những kiến thức Toán học, eq. (31) thể hiện rằng y + là một loại tối ưu trong điều khoản của thông tin lẫn nhau tối đa, hoặc dữ liệu ngẫu nhiên tương đối giữa các mục tiêu biến T và quyết định đầu ra biến Y. Việc giải thích vật lý dữ liệu ngẫu nhiên tương đối là một thước đo xác suất giống nhau giữa hai biến. Lưu ý rằng định nghĩa hiện nay của N tôi là bất đối xứng để biến T và Y nhiệm bình thường hóa của H (T) (= hằng số, để được p(t)), nhưng sẽ không làm cho một sự khác biệt về p (ti) và p (x|ti) được chính xác được biết đến, một trong những có thể thiết kế mộtthông tin chung loại trực tiếp. Nếu không có thông tin ban đầu được biết đến về p (ti) và p (x|ti), xác suất thực nghiệmmật độ phân bố chung, pe (ti, yj), có thể được ước tính từ ma trận nhầm lẫn [11]. Điều trị này, dựa trên nguyên tắc fre-quency của ma trận nhầm lẫn, không phải là nghiêm ngặt về mặt toán học, nhưng sẽ cung cấp một cách tiếp cận đơn giản cho máy phân loại để áp dụng nguyên tắc dữ liệu ngẫu nhiên cho các ứng dụng rộng hơn.

Kết quả (Việt) 2:

Sung. . 2. Phân loại các kịch bản cho các phân phối thống nhất đơn biến Class 2 có thể được phân loại sai hoặc từ chối hoàn toàn tùy thuộc vào các thiết lập của các điều khoản chi phí. C ase 3 BU:. Tách giữa hai phân phối Một là có thể có được các giải pháp chính xác mà không có bất kỳ lỗi và từ chối. Về chi phí là vô dụng trong trường hợp này. III. MUT UAL -INFORMAT ION CƠ SỞ D CL ASSIFIE RS W IT HA RE JE CT OPT ION đến tại tối ưu y + xác định bởi (31). Chúng ta chấp nhận định nghĩa của entropy Shannon với lý do là không có tham số miễn phí được giới thiệu. Một chương trình chuẩn hóa được áp dụng để so sánh tương đối có thể được thực hiện dễ dàng giữa các phân loại. Định nghĩa 6 (Confusion Matrix Augmented [11]): Một ma trận nhầm lẫn mented aug- sẽ bao gồm một cột cho một lớp học từ chối, mà sẽ được thêm vào một sự nhầm lẫn thông thường ma trận: A. Mutual-thông tin dựa Classifiers Định nghĩa 5 (Mutual-thông tin phân loại): Một thông tin phân loại mutual- là phân loại được lấy từ tối đa hóa thông tin lẫn nhau trên tất cả các mẫu:  C =   C11 C12 • • • c1m c1 (m + 1) C21 C22 • • • C2M c2 (m + 1) • • • cm1 cm2 • • • CMM cm (m + 1)   (34)   y + = arg max NI (T = t, Y = y) , (31) y nơi T và Y là các biến mục tiêu và quyết định biến đầu ra, t và y là các giá trị của họ, tương ứng. Để đơn giản, chúng ta biểu thị NI (T = t, Y = y) = NI (T, Y) là những thông tin lẫn nhau bình thường trong một hình thức [11]: I (T, Y) nơi Cij đại diện cho số của lớp thứ i được clas- sified như lớp thứ j. Các dữ liệu hàng tương ứng với các lớp học chính xác, và các cột dữ liệu tương ứng với các lớp học dự đoán. Cột cuối cùng đại diện cho một lớp học từ chối. Các mối quan hệ và những hạn chế của một ma trận nhầm lẫn gia tăng là: m + 1 Ci = X Cij, Ci> 0, Cij ≥ 0, i = 1, 2, • • •, m (35) NI (T, Y) = H ( T) (32a) j = 1 nơi H (T) là entropy dựa trên định nghĩa Shannon [37] để biến mục tiêu, m H (T) = - X p (ti) log2 p (ti), (32b) i = 1 và I (T, Y) là thông tin lẫn nhau giữa hai biến của T và Y [38]: nơi Ci là tổng số cho lớp thứ i. Các dữ liệu cho Ci được biết đến trong vấn đề phân loại. Trong tác phẩm này, giả sử rằng các dữ liệu đầu vào cho các loại được biết chính xác về p xác suất trước (ti) và hàm mật độ xác suất có điều kiện p (x | ti), người ta có thể lấy được ma trận phân phối doanh gắn với ma trận nhầm lẫn: Cij m m + 1 p (t, y) pij = p (ti, yj) = R R p (ti) p (x | ti) dx ≈ n = pe (ti , yj), I (T, Y) = XX p (ti, yj) log2 ij, (32C) i = 1, 2, j • •, m, j = 1, 2, • • •, m + 1 i = 1 j = 1 p (ti) p (yj) • (36) trong đó m là tổng số các lớp học trong T. Đối với phân loại nhị phân, chúng ta đặt m = 2. (32), p (t, y) là phân bố chung giữa hai biến, và p (t) và p (y) là các bản phân phối cận biên có thể bắt nguồn từ [ 38]: p (t) = X p (t, y), và p (y) = X p (t, y). (33) nơi Rj được ký hiệu là các khu vực, trong đó mỗi mẫu x được xác định là lớp thứ j, và pe (ti, yj) là mật độ xác suất thực nghiệm cho các ứng dụng mà chỉ có một ma trận nhầm lẫn được đưa ra. Trong những ứng dụng, tổng số mẫu n thường được biết đến. Eq. (36) mô tả mối quan hệ giữa xấp xỉ yt phân phối chung và ma trận nhầm lẫn. Nếu những kiến thức toán học, eq. (31) thể hiện rằng y + là trình phân loại tối ưu về các thông tin lẫn nhau tối đa, hoặc entropy tương đối, giữa các mục tiêu biến T và biến đầu ra quyết định Y. Các giải thích vật lý của entropy tương đối là một dụng cụ đo xác suất tương tự giữa hai biến. Lưu ý rằng định nghĩa hiện tại của NI là không đối xứng với các biến T và Y đối với các hạn bình thường của H (T) (= không đổi, cho p cho trước (t)), nhưng sẽ không tạo sự khác biệt cho về p (ti) và p (x | ti) được biết chính xác, người ta có thể thiết kế một thông tin phân loại lẫn nhau trực tiếp. Nếu không có thông tin ban đầu được biết về p (ti) và p (x | ti), xác suất thực nghiệm mật độ phân bố doanh, pe (ti, yj), có thể được ước tính từ sự nhầm lẫn ma trận [11]. Điều trị này, dựa trên nguyên tắc tần số của một ma trận nhầm lẫn, không phải là toán học khắt khe, nhưng sẽ cung cấp một phương pháp đơn giản để phân loại để áp dụng nguyên tắc entropy cho các ứng dụng rộng rãi hơn.