relation between these labels, such

relation between these labels, such as C1 ≺ C2 ≺ ••• C J , where
≺ denotes the given order between different ranks. If a pattern
xn belongs to category C j , it is classified automatically into
lower-order categories (C1 , C2 , ... , C j −1) as well. Therefore, the target vector of xn , using the ordered partitions encoding,
is yˆ (xn ) = (0, 0, ... , 0, 1, 1, 1), where

yˆi (xn ) = 0 for all
1 ≤ i < j and yˆi (xn ) = 1 otherwise, as shown in Table I.
The formulation of the target vector is similar to the
perceptron approach [29]. It is also related to the classical cumulative probit model for OR [10], in the sense that the output nodes vector is considered as a certain estima- tion of the cumulative probability distribution of the classes (a monotonicity constraint in the weights connecting the hid- den layer to the output layer is imposed). The estimation of the cumulative and the posterior probability is further discussed in Section III-C.


B. Neural Network Model

As previously stated, the model proposed is very similar to a standard classification neural network model but including the monotonicity constraints. For this reason, the model is
composed by J potential functions: f j (x) : RK → R with
j = 1, ... , J , and a hidden layer (with corresponding basis
functions). The final output of each class can be described
with the following:

S
f j (xn ) = β j • B (x ) (3)


Fig. 2. Structure of the probabilistic neural network model proposed.
s s n s =1

where S is the number of neurons, Bs (xn ) is a nonlinear mapping from the input layer to the hidden layer (basis

functions s = 1, ... , S:
⎧ β 1 1
functions), and β j = β j ,β j , ... , β j is the connection

s = s
⎪ β 2 = 1 + 2
1 2 S

⎨ s s s

(6)
weights between the hidden layer and the j th output node. In
this paper, the selected basis function is the sigmoidal function.

...
⎪
⎩ β J 1 2 J

Therefore

Bs (xn ) = σ




K
wsi x (i )




, σ (x ) =




1
1 + e−x





(4)



subject to

s = s + s + ••• + s


j ≥ 0 ∀ j = 1, ... , J.
i =1

In this way, the parameters are restricted to assume positive
1 2 J J
where ws = [ws 1, ws 2, ..., wsK ] is the connection weights
between the input layer and the sth basis function. Fig. 2
represents the structure of the model proposed. From now on,

values β s = (βs , βs , ... , βs ) ∈ R+.
Equation (6) can be expressed in matrix form, for the sth
basis function, as follows:
the model parameters set is defined as z = {w, β }, where

⎛ β 1 ⎞

⎛ 1 0 0 ⎞

⎛ 1 ⎞
w ∈ RS × RK and β ∈ RS × R J .

⎜ ⎟ ⎜

⎟ ⎜ ⎟

Note that the parameters connecting the hidden layer to the

⎝ ••• ⎠ = ⎝ ••• ••• 0 ⎠ • ⎝ ••• ⎠ (7)
j j =1,..., J

J 1 ••• 1 J
output layer {βs }s =1,...,S in a nominal classification model are
not ordered. In this proposal, they are considered to be ordered and the following constraint ensures their monotonicity:


or, in the reduced form
β s = C • s ∀s = 1, ... , S (8)
β j j +1
s ≤ βs ∀ j = 1, ... , J.
∀s = 1, ... , S. (5)

where C ∈ R J × R J , the column vector s ∈ R J . Then,
the matrix form considering all the vectors β s of all basis
functions is provided as
Because the inequality (5) is defined for each pair of

⎛ β 1

1 ⎞ ⎛

1 0 0 ⎞ ⎛ 1 1 ⎞

parameters of each basis function, the parameters of different basis functions have their own structure. The monotonicity

1 ••• βS
⎜ ••• ⎟

⎜ ••• ••• 0 ⎟

1 ••• S
⎜ ••• ⎟
condition can be reformulated as follows, for all the basis

⎝
J ••• β J

⎠ = ⎝

1 ••• 1

⎠ • ⎝
J
1

••• J

(9)
⎠

Kết quả (Việt) 1:

mối quan hệ giữa các nhãn này, chẳng hạn như C1 ≺ C2 ≺ • C J, nơi≺ là bắt đơn đặt hàng nhất định giữa các cấp bậc khác nhau. Nếu một mẫu XN thuộc thể loại C j, nó được phân loại tự động vàoThứ tự thấp hơn loại (C1, C2,..., C j −1) là tốt. Vì vậy, mục tiêu vector của xn, sử dụng phân vùng đã ra lệnh mã hóa, là yˆ (xn) = (0, 0,..., 0, 1, 1, 1), nơi yˆi (xn) = 0 cho tất cả 1 ≤ tôi < j và yˆi (xn) = 1 nếu không, như được hiển thị trong bảng.Việc xây dựng của vector mục tiêu là tương tự như cáccách tiếp cận Perceptron [29]. Nó cũng có liên quan đến mô hình probit tích lũy cổ điển cho hoặc [10], trong ý nghĩa rằng véc tơ nút đầu ra được coi là một nhất định estima-tion của phân bố xác suất tích lũy của các lớp học (một hạn chế monotonicity trọng lượng kết nối lớp den trốn vào lớp sản lượng áp đặt). Dự toán của các tích lũy và xác suất hậu nghiệm tiếp tục thảo luận trong phần III-C.B. mô hình mạng nơ-ronNhư đã nói, các mô hình đề xuất là rất tương tự như một mô hình mạng nơ-ron tiêu chuẩn phân loại nhưng bao gồm những hạn chế monotonicity. Vì lý do này, các mô hình làsáng tác bởi J tiềm năng chức năng: j f (x): RK → R vớij = 1,..., J, và một lớp ẩn (với cơ sở tương ứngchức năng). Đầu ra cuối cùng của mỗi lớp có thể được mô tảvới những điều sau: Sf j (xn) = β j • B (x) (3) Fig. 2. Structure of the probabilistic neural network model proposed. s s n s =1 where S is the number of neurons, Bs (xn ) is a nonlinear mapping from the input layer to the hidden layer (basis functions s = 1, ... , S:⎧ β 1 1 functions), and β j = β j ,β j , ... , β j is the connection s = s⎪ β 2 = 1 + 2 1 2 S ⎨ s s s (6) weights between the hidden layer and the j th output node. Inthis paper, the selected basis function is the sigmoidal function. ... ⎪ ⎩ β J 1 2 J ThereforeBs (xn ) = σ K wsi x (i ) , σ (x ) = 11 + e−x (4) subject to s = s + s + ••• + s j ≥ 0 ∀ j = 1, ... , J. i =1 In this way, the parameters are restricted to assume positive 1 2 J J where ws = [ws 1, ws 2, ..., wsK ] is the connection weightsbetween the input layer and the sth basis function. Fig. 2represents the structure of the model proposed. From now on, values β s = (βs , βs , ... , βs ) ∈ R+.Equation (6) can be expressed in matrix form, for the sthbasis function, as follows: the model parameters set is defined as z = {w, β }, where ⎛ β 1 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 ⎞ w ∈ RS × RK and β ∈ RS × R J . ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ Note that the parameters connecting the hidden layer to the ⎝ ••• ⎠ = ⎝ ••• ••• 0 ⎠ • ⎝ ••• ⎠ (7) j j =1,..., J J 1 ••• 1 J output layer {βs }s =1,...,S in a nominal classification model arekhông đặt hàng. Trong đề xuất này, họ được coi là để được đặt hàng và đảm bảo sự hạn chế của monotonicity: hoặc, trong các hình thức giảmΒ s = C • s ∀s = 1,..., S (8) Β j j + 1 s ≤ βs ∀ j = 1,..., J.∀s = 1, ... , S. (5) nơi C ∈ R J × R J, cột vector s ∈ R J. Sau đó,dạng ma trận xem xét tất cả vector β s của tất cả các cơ sởchức năng được quy định như Bởi vì bất bình đẳng (5) được định nghĩa cho mỗi cặp ⎛ Β 1 1 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 1 ⎞ thông số của mỗi chức năng cơ sở, các tham số hàm cơ sở khác nhau có cấu trúc của riêng họ. Monotonicity 1 • ΒS⎜ ••• ⎟ ⎜ ••• ••• 0 ⎟ 1 • S⎜ ••• ⎟ điều kiện có thể được lập như sau, cho tất cả cơ sở ⎝J • Β J ⎠ = ⎝ 1 • 1 ⎠ • ⎝J1 ••• J (9)⎠

Kết quả (Việt) 2:

mối quan hệ giữa các nhãn này, như C1 C2 ≺ ≺ ••• CJ, nơi
≺ biểu thị thứ tự nhất định giữa các cấp bậc khác nhau. Nếu một mẫu
xn thuộc về thể loại C j, nó được phân loại tự động vào
loại thấp thứ tự (C1, C2, ..., C j -1) là tốt. Vì vậy, các vector mục tiêu của xn, bằng cách sử dụng mã hóa các phân vùng đã ra lệnh,
là y (xn) = (0, 0, ..., 0, 1, 1, 1), nơi yi (xn) = 0 với mọi 1 ≤ i <j và yi (xn) = 1 nếu không, như thể hiện trong Bảng I. Việc xây dựng các vector mục tiêu tương tự như các phương pháp tiếp cận perceptron [29]. Nó cũng liên quan đến các mô hình probit tích lũy cổ điển cho OR [10], trong ý nghĩa rằng các nút đầu ra vector được coi như một tion estima- nhất định của phân phối xác suất tích lũy của các lớp (một ràng buộc đơn điệu trong các trọng số kết nối hid - lớp den cho lớp ra được áp dụng). Việc ước tính tích lũy và xác suất hậu nghiệm được tiếp tục thảo luận tại mục III-C. B. Neural Network mẫu Như đã nói trước đây, mô hình đề xuất là rất tương tự như mô hình tiêu chuẩn phân loại mạng lưới thần kinh nhưng bao gồm cả hạn chế đơn điệu. Vì lý do này, các mô hình được sáng tác bởi J chức năng: fj (x): RK → R với j = 1, ..., J, và một lớp ẩn (với cơ sở tương ứng chức năng). Sản phẩm cuối cùng của mỗi lớp có thể được mô tả như sau: S fj (xn) = β j • B (x) (3) Hình. 2. Cấu trúc của mô hình mạng thần kinh xác suất được đề xuất. SSN = 1 trong đó S là số lượng các tế bào thần kinh, Bs (xn) là một ánh xạ phi tuyến từ các lớp đầu vào cho lớp ẩn (cơ sở chức năng s = 1, ..., S : ⎧ beta 1 1 chức năng), và β j = j β, β j, ..., β j là kết nối s = s ⎪ beta 2 = 1 + 2 1 2 S sss ⎨ (6) trọng lượng giữa các lớp ẩn và thứ j nút đầu ra. Trong bài báo này, các hàm cơ sở được lựa chọn là hàm xích ma. ... ⎪ ⎩ beta J 1 2 J Vì vậy Bs (xn) = σ K wsi x (i), σ (x) = 1 1 + e-x (4 ) chịu s = s + s + ••• + s j ≥ 0 ∀ j = 1, ..., J. i = 1 Trong cách này, các tham số được hạn chế để giả định tích cực 1 2 JJ nơi ws = [ws 1, ws 2, ..., wsK] là các trọng số kết nối giữa các lớp đầu vào và các chức năng cơ sở sth. Sung. 2 đại diện cho cấu trúc của các mô hình đề xuất. Từ bây giờ, các giá trị β s = (βs, βs, ..., βs) ∈ R +. Phương trình (6) có thể được thể hiện dưới dạng ma trận, cho sth chức năng cơ bản, như sau: các thông số mô hình thiết lập được định nghĩa là z = {w, β}, nơi ⎛ β 1 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 ⎞ w ∈ RS × RK và β ∈ RS × RJ. ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ Lưu ý rằng các thông số kết nối các lớp ẩn với ⎝ • •• ⎠ = ⎝ ••• ••• 0 ⎠ • ⎝ ••• ⎠ (7) jj = 1, ..., J ​​J 1 ••• 1 J lớp ra {βs} s = 1, ... , S trong một mô hình phân loại danh nghĩa là không ra lệnh. Trong đề xuất này, họ được coi là được đặt hàng và các ràng buộc sau đảm bảo đơn điệu của họ: hoặc, trong các hình thức giảm β s = C • s ∀s = 1, ..., S (8) β jj 1 s ≤ βs ∀ j = 1, ..., J. ∀s = 1, ..., S. (5) trong đó C ∈ RJ × RJ, các vector cột s ∈ RJ. Sau đó, các hình thức ma trận xem xét tất cả các vectơ β s của tất cả các cơ sở chức năng được cung cấp như Bởi vì bất đẳng thức (5) được xác định cho mỗi cặp ⎛ β 1 1 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 1 ⎞ thông số của từng chức năng cơ bản, các thông số của các hàm cơ sở khác nhau có cấu trúc riêng của họ. Các đơn điệu 1 ••• βS ⎜ ••• ⎟ ⎜ ••• ••• 0 ⎟ 1 ••• S ⎜ ••• ⎟ điều kiện có thể định nghĩa như sau, cho tất cả các cơ sở ⎝ J ••• β J ⎠ = ⎝ 1 ••• 1 ⎠ • ⎝ J 1 ••• J (9) ⎠