for a systematic investigation into

for a systematic investigation into a parameter redundancy analysis of cost terms for Bayesian classifiers, which appears missing for a reject option. This section will attempt to develop
a theoretical analysis of parameter redundancy for cost terms.

θλ ∩ θC = ∅ for their disjoint sets. Let E (or Rej) be the
total Bayesian error (or reject) in binary classifications:
E(y∗, θ) = E1 + E2 =

For Bayesian classifiers, when all cost terms are given along

R p(t1 )p(x|t1 )dx + R
R2 R1

p(t2 )p(x|t2 )dx,


(15)
with the other relevant knowledge about classes, a unique

Rej(y∗, θ) = Rej1 + Rej2 =
set of solutions will be obtained. However, this phenomenon
does not indicate that all cost terms will be independent for

R p(t1 )p(x|t1 )dx + R
R3 R3

p(t2 )p(x|t2 )dx.
determining the final results of Bayesian classifiers. In the followings, a parameter dependency analysis is conducted be- cause it suggests a theoretical basis for a better understanding of relations among the cost terms and the outputs of Bayesian classifiers. Based on [35][36], we present the relevant defini- tions but derive a theorem from the functionals in eqs. (4) and (5) so that it holds generality for any distributions of features.
Let a parameter vector be defined as θ = {θ1, θ2 , • • • , θp } ∈ S,
where p is the total number of parameters in a model f (x, θ)
and S denotes the parameter space.
Definition 2 (Parameter redundancy [35]): A model f (x, θ) is considered to be parameter redundant if it can be expressed in terms of a smaller sized parameter vector
β = {β1 , β2 , • • • , βq } ∈ S, where q < p.
Definition 3 (Independent parameters): A model f (x, β) is
said to be governed by independent parameters if it can be expressed in terms of the smallest size of parameter vector β =
{β1 , β2 , • • • , βm } ∈ S. Let NI P (β) denote the total number
(= m) of β for the model f (x, β).
Definition 4: (Function of parameters, parameter com- position, input parameters, intermediate parameters): Sup- pose three sets of parameter vectors are denoted by θ =
{θ1 , θ2 , • • • , θp } ∈ S1 , γ = {γ1 , γ2 , • • • , γq } ∈ S2 , and

Based on eqs. (7) and (12), the total error (or reject) of Bayesian classifiers defined by eq. (15) shows a form of composition of parameters:
E(y∗, {θλ , θC })=E(y∗ , {xb(Tr (θλ )), θC }),
Rej(y∗, {θλ , θC })=Rej(y∗, {xb (Tr (θλ )), θC }) (16)
where xb and Tr are two functions of the parameters. λij (i =
1, 2, j = 1, 2, 3) are usually input parameters, but Trk (k =
1, 2) can serve as either intermediate parameters or input ones.
Theorem 2: In abstaining binary classifications, the total number of independent parameters within the cost terms
for defining Bayesian classifiers, y∗, should be at most two
(NI P (y∗, θ) ≤ 2). Therefore, applications of cost terms
of θλ = (λ11 , λ12 , λ13 , λ21 , λ22 , λ23 ) in the traditional cost
sensitive learning will exhibit a parameter redundancy for calculating Bayesian E(y∗) and Rej(y∗) even after assuming
λ11 = λ22 = 0, and λ12 = 1 as the conventional way in classifications [13][27].
Proof: Applying (14) and (13) in Lemma 1, one can have
NI P (y∗, θ) ≤ min(p = 6, q = 2, r = 4) = 2 for defining
Bayesian classifiers from θ. However, when imposing three
constraints on λ11 = λ22 = 0, and λ12 = 1, θ will provide three free parameters in the cost matrix in a form of:
η = {η1 , η2 , • • • , ηr } ∈ S3 . If for a model there exists
f (x, θ) = f (x, ϕ(ψ(θ))) for ϕ: S1 → S2 and ψ: S2 → S3 , we


λ21


=λ21
Tr1(Tr2 ∗ λ21 + Tr2 − λ21 )
call ϕ and ψ to be functions of parameters, and ϕ(ψ(θ)) to be
parameter composition, where θi are called input parameters

λ13 =



Tr2


Tr1 + Tr2 − 1 (Tr1 ∗ λ21 + Tr1 −



λ21 )

(17)
for f (x, ϕ(ψ(θ))), γj and ηk are intermediate parameters.
Lemma 1: Suppose a model holds the relation f (x, θ) =

λ23 =

Tr1

,
+ Tr2 − 1
f (x, ϕ(ψ(θ))) for Definition 4. The total number of indepen-

which implies a parameter redundancy for calculating
∗ ∗
dent parameters of θ, denoted as NI P (f, θ) for the model f
will be no more than min(p, q, r), or in a form of:
NI P (f, θ) ≤ min(p, q, r) (13)

Proof: Suppose f (x, θ = {θ1, θ2 , • • • , θp }) without pa- rameter composition, one can prove that NI P (f, θ) ≤ min(p).
According to Definition 2, any increase of its size of θ
over p will produce a parameter redundancy in the model. Definition 3 indicates that the vector size p will be an upper bound for NI P (f, θ) in this situation. In the same principle, after parameter compositions are defined in Definition 4 for f (x, θ) = f (x, ϕ(ψ(θ))), the lowest parameter size within θ, ψ and ϕ, will be the upper bound of f (x, θ).
For Bayesian classifiers defined by eq. (5a), one can rew

Kết quả (Việt) 1:

cho một điều tra hệ thống vào một tham số dự phòng phân tích của chi phí điều khoản cho máy phân loại Bayes, mà xuất hiện mất tích cho một lựa chọn từ chối. Phần này sẽ cố gắng để phát triểnmột phân tích lý thuyết của tham số dư thừa nhiệm chi phí. Θλ ∩ θC = ∅ cho các bộ của họ. Cho E (hoặc Rej) cácTổng số lỗi Bayes (hoặc từ chối) trong phân loại nhị phân:E (y∗, θ) = E1 + E2 = Cho Bayes máy phân loại, khi tất cả các chi phí điều khoản được đưa ra cùng R p (t1) p (x|t1) dx + RR2 R1 dx p (t2) p (x|t2), (15) với những kiến thức có liên quan khác về các lớp học, một độc đáo Rej (y∗, θ) = Rej1 + Rej2 = tập hợp các giải pháp sẽ được lấy. Tuy nhiên, hiện tượng nàykhông chỉ ra rằng tất cả các điều khoản chi phí sẽ được độc lập cho R p (t1) p (x|t1) dx + RR3 R3 p (t2) p (x|t2) dx. xác định các kết quả cuối cùng của máy phân loại Bayes. Ở sau, một phân tích phụ thuộc tham số được thực hiện-nguyên nhân nó cho thấy một cơ sở lý thuyết để hiểu rõ hơn về mối quan hệ giữa các điều khoản chi phí và kết quả đầu ra của máy phân loại Bayes. Dựa trên [35] [36], chúng tôi trình bày defini-tions có liên quan nhưng lấy được một định lý từ functionals ở eqs. (4) và (5), do đó, nó giữ quát cho bất kỳ bản phân phối của tính năng.Cho phép một vector tham số được định nghĩa là θ = {θ1, θ2, • • •, θp} ∈ S,nơi p là tổng số các tham số trong một mô hình f (x, θ)và S là bắt không gian tham số.Định nghĩa 2 (tham số dư thừa [35]): một mô hình f (x, θ) được coi là tham số dư thừa nếu nó có thể được thể hiện trong điều khoản của một vector tham số có kích thước nhỏ hơnΒ = {β1, β2, • • •, βq} ∈ S, nơi q < p.Định nghĩa 3 (độc lập tham số): một mô hình f (x, β) lànói để được điều chỉnh bởi tham số độc lập nếu nó có thể được thể hiện trong điều khoản của kích thước nhỏ nhất của tham số vector β ={Β1, β2, • • •, βm} ∈ S. Hãy để NI P (β) biểu thị tổng số(= m) của β cho mô hình f (x, β).Định nghĩa 4: (Chức năng của tham số, tham số com-vị trí, thông số đầu vào, Trung gian thông số): Sup-đặt ra ba bộ tham số vectơ được biểu hiện bằng θ ={Θ1, θ2, • • •, θp} ∈ S1, γ = {γ1, γ2, • • •, γq} ∈ S2, và Dựa trên eqs. (7) và (12), các tất cả lỗi (hoặc từ chối) của máy phân loại Bayes được xác định bởi eq. (15) cho thấy một hình thức của các thành phần của tham số:E (y∗, {θλ, θC}) = E (y∗, {xb (en (θλ)), θC}),Rej (y∗, {θλ, θC}) = Rej (y∗, {xb (en (θλ)), θC}) (16)nơi xb và Tr có hai chức năng của các tham số. Λij (tôi =1, 2, j = 1, 2, 3) là thường nhập tham số, nhưng Trk (k =1, 2) có thể phục vụ như là một trong hai tham số trung cấp hoặc đầu vào những người.Định lý 2: Trong kiêng phân loại nhị phân, tổng số các tham số độc lập trong các điều khoản chi phíđể xác định máy phân loại Bayes, y∗, nên là tối đa hai(NI P (y∗, θ) ≤ 2). Do đó, ứng dụng của điều khoản chi phícủa θλ = (λ11, λ12, λ13, λ21, λ22, λ23) ở chi phí truyền thốngnhạy cảm học sẽ triển lãm một dự phòng tham số để tính toán Bayes E(y∗) và Rej(y∗) ngay cả sau khi giả sửΛ11 = λ22 = 0, và λ12 = 1 như là cách thông thường trong phân loại [13] [27].Bằng chứng: Áp dụng (14) và (13) trong bổ đề 1, ai có thể cóNI P (y∗, θ) ≤ phút (p = 6, q = 2, r = 4) = 2 để xác địnhMáy phân loại Bayes từ θ. Tuy nhiên, khi áp đặt bakhó khăn về λ11 = λ22 = 0, và λ12 = 1, θ sẽ cung cấp cho ba tham số miễn phí trong ma trận chi phí trong một hình thức của: Η = {η1, η2, • • •, ηr} ∈ S3. Nếu cho một mô hình có tồn tạif (x, θ) = f (x, ϕ(ψ(θ))) cho ϕ: S1 → S2 và ψ: S2 → S3, chúng tôi Λ21 = Λ21Tr1 (Tr2 ∗ λ21 + Tr2 − λ21) gọi ϕ và ψ là chức năng của tham số, và ϕ(ψ(θ)) phảithành phần tham số, nơi θi được gọi là các thông số đầu vào Λ13 = Tr2 Tr1 + Tr2 − 1 (Tr1 ∗ λ21 + Tr1 − Λ21) (17) cho f (x, ϕ(ψ(θ))), γj và ηk là trung gian tham số.Bổ đề 1: Giả sử một mô hình giữ quan hệ f (x, θ) = Λ23 = Tr1 ,+ Tr2 − 1 f (x, ϕ(ψ(θ))) cho định nghĩa 4. Tổng số của indepen- mà ngụ ý một sự thừa tham số để tính toán ∗ ∗ Dent thông số của θ, biểu hiện như NI P (f, θ) cho mô hình fsẽ không có nhiều hơn phút (p, q, r), hoặc trong một hình thức của:NI P (f, θ) ≤ phút (p, q, r) (13)Bằng chứng: Giả sử f (x, θ = {θ1, θ2, • • •, θp}) mà không có thành phần pa-rameter, ta có thể chứng minh rằng min(p) ≤ P NI (f, θ).Theo định nghĩa 2, bất kỳ tăng kích thước của θhơn p sẽ sản xuất một dự phòng tham số trong các mô hình. Định nghĩa 3 cho thấy rằng véc tơ kích thước p sẽ là một ràng buộc cho NI P (f, θ) trong tình huống này. Trong cùng một nguyên tắc, sau khi tác phẩm tham số được xác định trong định nghĩa 4 cho f (x, θ) = f (x, ϕ(ψ(θ))), kích thước tham số thấp nhất trong θ, ψ và ϕ, sẽ có cận trên của f (x, θ).Đối với máy phân loại Bayes được xác định bởi eq. (5a), một trong những có thể xay

Kết quả (Việt) 2:

cho một cuộc điều tra có hệ thống vào một phân tích tham số dự phòng của các điều khoản chi phí cho phân loại Bayes, mà xuất hiện mất tích trong một tùy chọn từ chối. Phần này sẽ cố gắng để phát triển
một phân tích lý thuyết của tham số dư với các điều kiện chi phí. Θλ ∩ = ∅ θC cho bộ giao nhau của họ. Hãy E (hoặc Rej) là tổng số lỗi Bayesian (hoặc từ chối) trong phân loại nhị phân: E (y *, θ) = E1 + E2 = Đối với phân loại Bayes, khi tất cả các điều khoản chi phí được đưa ra cùng R p (t1) p (x | t1) dx + R R2 R1 p (t2) p (x | t2) dx, (15) với những kiến thức có liên quan khác về lớp học, một độc đáo Rej (y *, θ) = Rej1 + Rej2 = thiết lập các giải pháp sẽ được thu được. Tuy nhiên, hiện tượng này không có nghĩa là tất cả các điều khoản chi phí sẽ được độc lập cho R p (t1) p (x | t1) dx + R R3 R3 p (t2) p (x | t2). Dx xác định kết quả cuối cùng của phân loại Bayes . Trong sau, một phân tích tham số phụ thuộc được thực hiện được- nguyên nhân nó cho thấy một cơ sở lý thuyết cho một sự hiểu biết tốt hơn về mối quan hệ giữa các điều khoản chi phí và kết quả đầu ra của phân loại Bayes. Dựa trên [35] [36], chúng tôi trình bày những định nghĩa liên quan, nhưng lấy được một định lý từ functionals trong eqs. (4) và (5) vì vậy mà nó nắm giữ tổng quát cho bất kỳ phân phối các tính năng. Hãy để một vector tham số được định nghĩa là θ = {θ1, θ2, • • •, θp} ∈ S, trong đó p là tổng số các tham số trong một mô hình f (x, θ) và S biểu thị không gian tham số. Định nghĩa 2 (Thông số dự phòng [35]): Một mô hình f (x, θ) được coi là tham số dư thừa nếu nó có thể được biểu diễn theo một kích thước nhỏ hơn vector tham số β = {β1, β2, • • •, βq} ∈ S, trong đó q <p. Định nghĩa 3 (thông số độc lập): Một mô hình f (x, β) được cho là bị chi phối bởi các thông số độc lập nếu nó có thể được biểu diễn theo các kích thước nhỏ nhất của vector tham số β = {β1, β2, • • •, βm} ∈ S. Hãy NI P (β) biểu thị số lượng tổng (= m) của β cho mô hình f (x, β ). Định nghĩa 4: (Chức năng của các tham số, tham số vị trí tranh, các thông số đầu vào, các thông số trung gian): được hỗ đặt ra ba bộ vectơ tham số được biểu thị bằng θ = {θ1, θ2, • • •, θp} ∈ S1, γ = {γ1, γ2, • • •, γq} ∈ S2, và Dựa trên eqs. (7) và (12), các lỗi tổng số (hoặc từ chối) của phân loại Bayes được xác định bởi eq. (15) cho thấy một hình thức của các thành phần của các thông số: E (y *, {θλ, θC}) = E (y *, {xb (Tr (θλ)), θC}), Rej (y *, {θλ, θC }) = Rej (y *, {xb (Tr (θλ)), θC}) (16) nơi xb và Tr là hai chức năng của các tham số. λij (i = 1, 2, j = 1, 2, 3) là những thông số thường đầu vào, nhưng TRK (k = 1, 2) có thể phục vụ như là một trong hai thông số trung gian hoặc những đầu vào. Định lý 2: Trong kiêng phân loại nhị phân, tổng số số thông số độc lập trong các điều khoản chi phí để xác định phân loại Bayes, y *, nên có ít nhất hai (NI P (y *, θ) ≤ 2). Vì vậy, các ứng dụng của các điều khoản chi phí của θλ = (λ11, λ12, λ13, λ21, λ22, λ23) trong chi phí truyền thống học tập nhạy cảm sẽ triển lãm một sự thừa tham số để tính E Bayesian (y *) và Rej (y *) ngay cả khi giả định λ11 = λ22 = 0, và λ12 = 1 như cách thông thường trong các phân loại [13] [27]. Chứng minh: Áp dụng (14) và (13) trong bổ đề 1, ta có thể có NI P (y *, θ) ≤ min (p = 6, q = 2, r = 4) = 2 để xác định phân loại Bayes từ θ. Tuy nhiên, khi áp đặt ba chế về λ11 = λ22 = 0, và λ12 = 1, θ sẽ cung cấp ba tham số tự do trong ma trận chi phí trong một hình thức: η = {η1, η2, • • •, ηr} ∈ S3. Nếu vì một mô hình có tồn tại f (x, θ) = f (x, φ (ψ (θ))) cho φ: S1 → S2 và ψ: S2 → S3, chúng tôi λ21 = λ21 TR1 (Tr2 * λ21 + Tr2 - λ21) gọi φ và ψ là hàm của các tham số, và φ (ψ (θ)) là thành phần tham số, nơi θi được gọi là thông số đầu vào λ13 = Tr2 TR1 + Tr2 - 1 (TR1 * λ21 + TR1 - λ21) (17 ). cho f (x, φ (ψ (θ))), γj và ηk là các thông số trung gian Bổ đề 1: Giả sử một mô hình giữ mối quan hệ f (x, θ) = λ23 = TR1, + Tr2 - 1 f (x, φ (ψ (θ))) cho Definition 4. Tổng số indepen- trong đó hàm ý một sự thừa tham số để tính * * thông số vết lõm của θ, ký hiệu là NI P (f, θ) cho mô hình e sẽ không có nhiều hơn min (p, q, r), hoặc trong một hình thức: NI P (f, θ) ≤ min (p, q, r) (13) Chứng minh: Giả sử f (x, θ = {θ1, θ2, • • •, θp}) mà không có thành phần rameter nhân, ai có thể chứng minh rằng NI P (f, θ) ≤ min (p). Theo Định nghĩa 2, bất kỳ sự gia tăng kích thước của nó của θ hơn p sẽ sản xuất một sự thừa tham số trong mô hình . Định nghĩa 3 chỉ ra rằng kích thước vector p sẽ là một ràng buộc trên cho NI P (f, θ) trong tình huống này. Trong cùng một nguyên tắc, sau khi tác phẩm tham số được định nghĩa trong định nghĩa 4 cho f (x, θ) = f (x, φ (ψ (θ))), kích thước tham số thấp nhất trong vòng θ, ψ và φ, sẽ là giới hạn trên của f (x, θ). Đối với phân loại Bayes được xác định bởi eq. (5a), người ta có thể Rew