and the related optimal reject rule

and the related optimal reject rule. The purpose of the reject rule is to minimize the total risk (or cost) in classifications.



Tr2


λ23 − λ22
Suppose λij is a cost term for the true class of a pattern to be

Decide y3 if

=
1 − T λ − λ
ti , but decided as yj . Then, the conditional risk for classifying a particular x into yj is defined as:

< p(x|t )p(t )

r2 12
λ λ
=

13
1 − T ,

(6c)
1 1 21

23 r1
2 2 p(x|ti )p(ti )

p(x|t2 )p(t2 ) ≤ λ13 − λ11

Tr1
Risk(yj |x) = P λij p(ti |x) = P λij

p(x) ,

(2)
i=1

i=1

λ23 − λ22

λ21 − λ22
j = 1, 2, 3.

Note that the definition of λij in this work is a bit different with that in [4], so that λij will form a 2 × 3 matrix. Chow
[3] assumed the initial constraints on λij from the intuition in

Subject to 0 <
λ12
λ λ

< , and λ13 − λ11

− λ13

<
λ12

− λ11


(6d)
classifications:
λik > λi3 > λii ≥ 0, i = k, i = 1, 2, k = 1, 2. (3)

N o rejection : Tr1 = Tr2 = 0.5, Rejection : 0 < Tr1 + Tr2 ≤ 1.

(6e)

The constraints imply that a misclassification will suffer a higher cost than a rejection, and a rejection will cost more than a correct classification. Relations about λij are the main concern in the study of cost-sensitive learning, and this issue will be addressed later in this work. The total risk for the decision output y will be [4]:

Eq (6c) applies the definition of two thresholds (called “rejec-
tion thresholds” in [3]), Tr1 and Tr2.
Proof: See Appendix A.
Note that eq. (6d) suggests general constraints over λij . The necessity for having such constraints is explained in Appendix A. A graphical interpretation to the two thresholds is illustrated in Fig. 1. Based on eq. (6c), the thresholds can be calculated
3 2 from the following formulas:
Risk(y) = Z

V

X X λij p(ti|x)p(x)dx, (4)
j=1 i=1



Tr1 =


λ13 − λ11



, and
with integration over the entire observation space V .

λ13 − λ11 + λ21 − λ23
λ23 − λ22

(7)
Definition 1 (Bayesian classifier): If a classifier is deter- mined from the minimization of its risk over all patterns:

Tr2 =
12

− λ13

+ λ23

.
− λ22
y∗ = arg min Risk(y), (5a)
y
or in anther form on a given pattern x:
Decide yj if Risk(yj |x) = min Risk(yi|x) (5b)

this classifier is called “Bayesian classifier”, or “Chow’s abstaining classifier” [27]. The term of Risk(y∗) is usually
called “Bayesian risk”, or “Bayesian error” in the cases that zero-one cost terms (λ11 = λ22 = 0, λ12 = λ21 = 1) are used
for no rejection classifications[4].

Eq. (7) describes general relations between thresholds and cost
terms on binary classifications, which enables the classifiers to make the distinctions among errors and among rejects. Note that the special settings of Chow’s rules [3] can be derived from eq. (7):

λ11 = λ22 = 0, λ12 = λ21 = 1, λ13 = λ23 = Tr . (8) Another important relation in [28] can also be obtained:
λ11 = λ22 = 0,
In [3], a single threshold for a reject option was investigated. This setting was obtained for the assumption that cost terms

0 < λr = λ13 = λ23 <
λ

λ12 λ21 , λ12 + λ21
λr


(9)
are applied without distinction among the errors and among rejects. Following Chow’s approach but with extension to the

Tr1 =

r
λ21

and Tr2 =

. λ12
general cases to cost terms, one is able to derive the general
decision rule on the rejection for Bayesian classifiers.
Theorem 1: The general decision rule for Bayesian classi- fiers are:
p(x|t1 )p(t1 )

Pietraszek [28] derived the rational region of λr above through
ROC curves. The error costs can be different but not for
reject ones. Note that, however, the rejection thresholds will be different when λ12 = λ21 . For advanced applications, Van- derlooy, et al [29] generalized Chow’s rules by distinguishing
Decide y1 if


> δ1 , p(x|t2 )p(t2 )
λ21 − λ22

error types and reject types, and derived the relations between two ”likelihood ratio thresholds“ and cost terms. Their rules
(6a)
N o rejection : δ1 =
12

,
− λ11

of missing the terms λ11 and λ22 are not theoretically general,
λ21 − λ23

yet sufficient for applications. They derived formulas only
Rejection : δ1 =
13

,
− λ11

from the inequality constraints of Risk(y1|x) > Risk(y3|x)
p(x|t1 )p(t1 )

and

Risk(y2

|x) > Risk(y3|x), respectively. Up to now, it
Decide y2 if

p(x|t )p(t ) ≤ δ2 ,
2 2
λ21 − λ22

seems no one has reported the general constraints (6d) in the
literature. Based on eq. (6d), one can derive the rational (3), (6b)
N o rejection : δ2 =
12

,
− λ11

rather than employing the intuition.
λ23 − λ22

By applying eq. (1) and the constraint p(t1 |x)+ p(t2 |x) = 1,
Rejection : δ2 =
1

Kết quả (Việt) 1:

và các quy định có liên quan từ chối tối ưu. Mục đích của quy tắc từ chối là để giảm thiểu các rủi ro tất cả (hoặc chi phí) trong phân loại. Tr2 Λ23 − Λ22 Cho rằng λij là một thuật ngữ chi phí cho các lớp học thực sự của một mô hình được Quyết định y3 nếu =1 − T Λ − Λ ti, nhưng quyết định như yj. Sau đó, nguy cơ có điều kiện để phân loại một x cụ thể vào yj được định nghĩa là: < p (x|t) p (t) R2 12Λ Λ= 131 − T, (6c) 1 1 21 23 r1 2 p 2 p (x|ti) (ti) p (x|t2) p (t2) ≤ λ13 − λ11 Tr1 Rủi ro (yj |x) = P λij p (ti |x) = P λij p(x), (2) tôi = 1 tôi = 1 Λ23 − Λ22 Λ21 − Λ22 j = 1, 2, 3.Lưu ý rằng định nghĩa của λij trong tác phẩm này là một chút khác nhau với điều đó trong [4], do đó, rằng λij sẽ tạo thành một ma trận 2 × 3. Chow[3] giả định các khó khăn ban đầu trên λij từ intuition trong Tùy thuộc vào 0 <Λ12Λ Λ <, và λ13 − λ11 − Λ13 <Λ12 − Λ11 (6d) phân loại:Λik > λi3 > λii ≥ 0, tôi = k, tôi = 1, 2, k = 1, 2. (3) N o từ chối: Tr1 = Tr2 = 0,5, từ chối: 0 < Tr1 + Tr2 ≤ 1. (6e) Các khó khăn ngụ ý rằng một misclassification sẽ ảnh hưởng một chi phí cao hơn một từ chối, và từ chối một sẽ chi phí nhiều hơn một phân loại chính xác. Mối quan hệ về λij là mối quan tâm chính trong nghiên cứu học tập chi phí nhạy cảm, và vấn đề này sẽ được giải quyết sau trong công việc này. Rủi ro tất cả cho các quyết định đầu ra y sẽ là [4]: EQ (6c) áp dụng định nghĩa của hai ngưỡng (gọi là "rejec-tion ngưỡng"[3]), Tr1 và Tr2.Bằng chứng: Xem phụ lục A.Lưu ý rằng eq. (6d) cho thấy các khó khăn chung trên λij. Sự cần thiết cho có những hạn chế như được giải thích trong phụ lục A. Một giải thích đồ họa để hai ngưỡng được minh họa trong hình 1. Dựa trên eq. (6c), các ngưỡng có thể được tính toán 3 2 từ công thức sau đây: Risk(y) = ZV X X λij p (ti|x) p (x) dx, (4)j = 1 tôi = 1 Tr1 = Λ13 − Λ11 , và với tích hợp trong không gian toàn bộ quan sát V. Λ13 − Λ11 + Λ21 − Λ23Λ23 − Λ22 (7) Định nghĩa 1 (Bayes loại): nếu một loại là ngăn chặn - khai thác từ giảm thiểu nguy cơ của nó trên tất cả các mẫu: Tr2 =12 − Λ13 + Λ23 .− Λ22 y∗ = arg min Risk(y), (5a)yhoặc ở bao phấn dạng trên một mô hình cho trước x:Quyết định sửa lại yj nếu rủi ro (yj |x) = min Risk(yi|x) (5b)loại này được gọi là "Bayes loại", hoặc "Chow của kiêng loại" [27]. Thuật ngữ Risk(y∗) là thườnggọi là "Bayes nguy cơ", hoặc "Bayes lỗi" trong trường hợp đó zero-một trong những chi phí điều khoản (λ11 = λ22 = 0, λ12 = λ21 = 1) được sử dụngcho không có phân loại từ chối [4]. EQ. (7) Mô tả tổng quan hệ giữa ngưỡng và chi phíCác điều khoản trên phân loại nhị phân, cho phép máy phân loại để làm cho sự phân biệt giữa các sai sót và trong số từ chối. Lưu ý rằng các thiết đặt đặc biệt của các quy tắc của Chow [3] có thể được bắt nguồn từ eq. (7):Λ11 = λ22 = 0, λ12 = λ21 = 1, λ13 = λ23 = Tr. (8) một mối quan hệ quan trọng trong [28] cũng có thể thu được:λ11 = λ22 = 0, In [3], a single threshold for a reject option was investigated. This setting was obtained for the assumption that cost terms 0 < λr = λ13 = λ23 <λ λ12 λ21 , λ12 + λ21λr (9) are applied without distinction among the errors and among rejects. Following Chow’s approach but with extension to the Tr1 = rλ21 and Tr2 = . λ12 general cases to cost terms, one is able to derive the generaldecision rule on the rejection for Bayesian classifiers.Theorem 1: The general decision rule for Bayesian classi- fiers are:p(x|t1 )p(t1 ) Pietraszek [28] derived the rational region of λr above throughROC curves. The error costs can be different but not forreject ones. Note that, however, the rejection thresholds will be different when λ12 = λ21 . For advanced applications, Van- derlooy, et al [29] generalized Chow’s rules by distinguishing Decide y1 if > δ1 , p(x|t2 )p(t2 )λ21 − λ22 error types and reject types, and derived the relations between two ”likelihood ratio thresholds“ and cost terms. Their rules(6a) N o rejection : δ1 =12 ,− λ11 of missing the terms λ11 and λ22 are not theoretically general, λ21 − λ23 yet sufficient for applications. They derived formulas only Rejection : δ1 =13 ,− λ11 from the inequality constraints of Risk(y1|x) > Risk(y3|x) p(x|t1 )p(t1 ) and Risk(y2 |x) > Risk(y3|x), respectively. Up to now, it Decide y2 if p(x|t )p(t ) ≤ δ2 ,2 2Λ21 − Λ22 có vẻ như không ai đã báo cáo các khó khăn chung (6d) trong cácvăn học. Dựa trên eq. (6d), một trong những có thể lấy được hợp lý (3), (6b) N o từ chối: δ2 =12 ,− Λ11 thay vì sử dụng trực giác. Λ23 − Λ22 Bằng cách áp dụng eq. (1) và hạn chế p(t1 |x) + p(t2 |x) = 1, Từ chối: δ2 =1

Kết quả (Việt) 2:

và tối ưu liên quan bác bỏ quy luật. Mục đích của các quy tắc từ chối là để giảm thiểu nguy cơ tổng số (hoặc chi phí) trong phân loại. Tr2 λ23 - λ22 Giả λij là một thuật ngữ chi phí cho các lớp học thực sự của một mẫu được Quyết định y3 nếu = 1 - T λ - λ ti, nhưng quyết định như yj. Sau đó, các nguy cơ có điều kiện để phân loại một x cụ thể vào yj được định nghĩa là: <p (x | t) p (t) r2 12 λ λ = 13 1 - T, (6c) 1 1 21 23 r1 2 2 p (x | ti) p (ti) p (x | t2) p (t2) ≤ λ13 - λ11 TR1 rủi ro (yj | x) = P λij p (ti | x) = P λij p (x), (2) i = 1 i = 1 λ23 - λ22 λ21 - λ22 j = 1, 2, 3. Lưu ý rằng định nghĩa của λij trong công việc này là một chút khác nhau với điều đó trong [4], để λij sẽ tạo thành một ma trận 2 × 3. Chow [3] cho rằng các khó khăn ban đầu về λij từ trực giác trong đề 0 <λ12 bước sóng bước sóng <, và λ13 - λ11 - λ13 <λ12 - λ11 (6d) phân loại: λik> λi3> λii ≥ 0, i = k, i = 1, 2, k = 1, 2. (3) N o từ chối: TR1 = Tr2 = 0,5, bác bỏ: 0 <TR1 + Tr2 ≤ 1. (6đ) Các hạn chế hàm ý rằng một phân loại sai sẽ phải chịu chi phí cao hơn một sự chối bỏ, và một lời từ chối sẽ có giá cao hơn một phân loại chính xác. Quan hệ về λij là mối quan tâm chính trong việc nghiên cứu học tập chi phí nhạy cảm, và vấn đề này sẽ được giải quyết sau này trong công việc này. Tổng rủi ro cho đầu ra quyết định y sẽ được [4]: Eq (6c) áp dụng định nghĩa của hai ngưỡng (gọi là "rejec- ngưỡng tion" trong [3]), TR1 và TR2. Chứng minh: Xem Phụ lục A. Lưu ý rằng eq. (6d) cho thấy những hạn chế chung trong λij. Sự cần thiết phải hạn chế như được giải thích trong Phụ lục A. Một giải thích đồ họa với hai ngưỡng được minh họa trong hình. 1. Căn cứ vào eq. (6c), các ngưỡng có thể được tính 3 2, theo công thức sau: Rủi ro (y) = Z V XX λij p (ti | x) p (x) dx, (4) j = 1 i = 1 TR1 = λ13 - λ11, và tích hợp trên toàn bộ không gian quan sát V. λ13 - λ11 + λ21 - λ23 λ23 - λ22 (7) Định nghĩa 1 (phân loại Bayes): Nếu một phân loại là ngăn chặn, được khai thác từ việc giảm thiểu rủi ro của nó trên tất cả các mẫu: TR2 = 12 - λ13 + λ23. - λ22 y * = arg min rủi ro (y), (5a) y hoặc trong bao phấn hình thức trên một mô hình cho x: Quyết định yj nếu rủi ro (yj | x) = Rủi ro min (yi | x) (5b) phân loại này được gọi là "phân loại Bayes", hay "kiêng phân loại của Châu Tinh Trì" [27]. Các hạn rủi ro (y *) thường được gọi là "rủi ro Bayes", hoặc "Bayesian lỗi" trong các trường hợp mà không ai về chi phí (λ11 = λ22 = 0, λ12 = λ21 = 1) được sử dụng cho không phân loại từ chối [ 4]. Eq. (7) mô tả mối quan hệ chung giữa các ngưỡng và các chi phí điều khoản về phân loại nhị phân, cho phép phân loại để làm cho sự phân biệt giữa lỗi và các bác bỏ. Lưu ý rằng các thiết lập đặc biệt các quy tắc của Châu Tinh Trì [3] có thể được bắt nguồn từ eq. (7): λ11 = λ22 = 0, λ12 = λ21 = 1, λ13 = λ23 = Tr. (8) Một mối quan hệ quan trọng trong [28] cũng có thể thu được: λ11 = λ22 = 0, trong [3], một ngưỡng duy nhất cho một tùy chọn từ chối đã được điều tra. Thiết lập này được thu thập cho các giả định rằng các điều khoản chi phí 0 <λr = λ13 = λ23 <bước sóng λ12 λ21, λ12 + λ21 λr (9) được áp dụng mà không phân biệt giữa các lỗi và các bác bỏ. Theo cách tiếp cận nhưng với phần mở rộng của Chow TR1 = r λ21 và Tr2 =. λ12 trường hợp tổng chi phí điều khoản, người ta có thể lấy được chung quy tắc quyết định từ chối cho phân loại Bayes. Định lý 1: Các quy tắc quyết định chung của Fiers classi- Bayesian là: p (x | t1) p (t1) Pietraszek [28 ] có nguồn gốc khu vực hợp lý λr trên thông qua đường cong ROC. Các chi phí lỗi có thể khác nhau nhưng không cho từ chối những người thân. Lưu ý rằng, tuy nhiên, các ngưỡng từ chối sẽ khác khi λ12 = λ21. Đối với các ứng dụng tiên tiến, Van- derlooy, et al [29] tổng quát quy tắc của Châu Tinh Trì bằng cách phân biệt Quyết định y1 nếu> δ1, p (x | t2) p (t2) λ21 - λ22 loại lỗi và từ chối các loại, và nguồn gốc của mối quan hệ giữa hai " ngưỡng tỷ lệ khả năng "và các điều khoản chi phí. Họ quy tắc (6a) N o từ chối: δ1 = 12, - λ11 thiếu các điều khoản và λ11 λ22 không lý thuyết chung, λ21 - λ23 chưa đủ cho các ứng dụng. Họ có nguồn gốc công thức chỉ chối: δ1 = 13, - λ11 khỏi những ràng buộc bất đẳng thức rủi ro (y1 | x)> rủi ro (y3 | x) p (x | t1) p (t1) và rủi ro (y2 | x)> rủi ro ( y3 | x), tương ứng. Cho đến nay, nó quyết định y2 nếu p (x | t) p (t) ≤ δ2, 2 2 λ21 - λ22 dường như không có ai đã báo cáo những khó khăn chung (6d) trong văn học. Dựa trên eq. (6d), người ta có thể lấy được các hợp lý (3), (6b) N o từ chối: δ2 = 12, - λ11 hơn là sử dụng trực giác. Λ23 - λ22 Bằng cách áp dụng eq. (1) và p buộc (t1 | x) + p (t2 | x) = 1, Từ chối: δ2 = 1