relation between these labels, such

relation between these labels, such as C1 ≺ C2 ≺ ••• C J , where
≺ denotes the given order between different ranks. If a pattern
xn belongs to category C j , it is classified automatically into
lower-order categories (C1 , C2 , ... , C j −1) as well. Therefore, the target vector of xn , using the ordered partitions encoding,
is yˆ (xn ) = (0, 0, ... , 0, 1, 1, 1), where

yˆi (xn ) = 0 for all
1 ≤ i < j and yˆi (xn ) = 1 otherwise, as shown in Table I.
The formulation of the target vector is similar to the
perceptron approach [29]. It is also related to the classical cumulative probit model for OR [10], in the sense that the output nodes vector is considered as a certain estima- tion of the cumulative probability distribution of the classes (a monotonicity constraint in the weights connecting the hid- den layer to the output layer is imposed). The estimation of the cumulative and the posterior probability is further discussed in Section III-C.


B. Neural Network Model

As previously stated, the model proposed is very similar to a standard classification neural network model but including the monotonicity constraints. For this reason, the model is
composed by J potential functions: f j (x) : RK → R with
j = 1, ... , J , and a hidden layer (with corresponding basis
functions). The final output of each class can be described
with the following:

S
f j (xn ) = β j • B (x ) (3)


Fig. 2. Structure of the probabilistic neural network model proposed.
s s n s =1

where S is the number of neurons, Bs (xn ) is a nonlinear mapping from the input layer to the hidden layer (basis

functions s = 1, ... , S:
⎧ β 1 1
functions), and β j = β j ,β j , ... , β j is the connection

s = s
⎪ β 2 = 1 + 2
1 2 S

⎨ s s s

(6)
weights between the hidden layer and the j th output node. In
this paper, the selected basis function is the sigmoidal function.

...
⎪
⎩ β J 1 2 J

Therefore

Bs (xn ) = σ




K
wsi x (i )




, σ (x ) =




1
1 + e−x





(4)



subject to

s = s + s + ••• + s


j ≥ 0 ∀ j = 1, ... , J.
i =1

In this way, the parameters are restricted to assume positive
1 2 J J
where ws = [ws 1, ws 2, ..., wsK ] is the connection weights
between the input layer and the sth basis function. Fig. 2
represents the structure of the model proposed. From now on,

values β s = (βs , βs , ... , βs ) ∈ R+.
Equation (6) can be expressed in matrix form, for the sth
basis function, as follows:
the model parameters set is defined as z = {w, β }, where

⎛ β 1 ⎞

⎛ 1 0 0 ⎞

⎛ 1 ⎞
w ∈ RS × RK and β ∈ RS × R J .

⎜ ⎟ ⎜

⎟ ⎜ ⎟

Note that the parameters connecting the hidden layer to the

⎝ ••• ⎠ = ⎝ ••• ••• 0 ⎠ • ⎝ ••• ⎠ (7)
j j =1,..., J

J 1 ••• 1 J
output layer {βs }s =1,...,S in a nominal classification model are
not ordered. In this proposal, they are considered to be ordered and the following constraint ensures their monotonicity:


or, in the reduced form
β s = C • s ∀s = 1, ... , S (8)
β j j +1
s ≤ βs ∀ j = 1, ... , J.
∀s = 1, ... , S. (5)

where C ∈ R J × R J , the column vector s ∈ R J . Then,
the matrix form considering all the vectors β s of all basis
functions is provided as
Because the inequality (5) is defined for each pair of

⎛ β 1

1 ⎞ ⎛

1 0 0 ⎞ ⎛ 1 1 ⎞

parameters of each basis function, the parameters of different basis functions have their own structure. The monotonicity

1 ••• βS
⎜ ••• ⎟

⎜ ••• ••• 0 ⎟

1 ••• S
⎜ ••• ⎟
condition can be reformulated as follows, for all the basis

⎝
J ••• β J

⎠ = ⎝

1 ••• 1

⎠ • ⎝
J
1

••• J

(9)
⎠

Kết quả (Việt) 2:

mối quan hệ giữa các nhãn này, như C1 C2 ≺ ≺ ••• CJ, nơi
≺ biểu thị thứ tự nhất định giữa các cấp bậc khác nhau. Nếu một mẫu
xn thuộc về thể loại C j, nó được phân loại tự động vào
loại thấp thứ tự (C1, C2, ..., C j -1) là tốt. Vì vậy, các vector mục tiêu của xn, bằng cách sử dụng mã hóa các phân vùng đã ra lệnh,
là y (xn) = (0, 0, ..., 0, 1, 1, 1), nơi yi (xn) = 0 với mọi 1 ≤ i <j và yi (xn) = 1 nếu không, như thể hiện trong Bảng I. Việc xây dựng các vector mục tiêu tương tự như các phương pháp tiếp cận perceptron [29]. Nó cũng liên quan đến các mô hình probit tích lũy cổ điển cho OR [10], trong ý nghĩa rằng các nút đầu ra vector được coi như một tion estima- nhất định của phân phối xác suất tích lũy của các lớp (một ràng buộc đơn điệu trong các trọng số kết nối hid - lớp den cho lớp ra được áp dụng). Việc ước tính tích lũy và xác suất hậu nghiệm được tiếp tục thảo luận tại mục III-C. B. Neural Network mẫu Như đã nói trước đây, mô hình đề xuất là rất tương tự như mô hình tiêu chuẩn phân loại mạng lưới thần kinh nhưng bao gồm cả hạn chế đơn điệu. Vì lý do này, các mô hình được sáng tác bởi J chức năng: fj (x): RK → R với j = 1, ..., J, và một lớp ẩn (với cơ sở tương ứng chức năng). Sản phẩm cuối cùng của mỗi lớp có thể được mô tả như sau: S fj (xn) = β j • B (x) (3) Hình. 2. Cấu trúc của mô hình mạng thần kinh xác suất được đề xuất. SSN = 1 trong đó S là số lượng các tế bào thần kinh, Bs (xn) là một ánh xạ phi tuyến từ các lớp đầu vào cho lớp ẩn (cơ sở chức năng s = 1, ..., S : ⎧ beta 1 1 chức năng), và β j = j β, β j, ..., β j là kết nối s = s ⎪ beta 2 = 1 + 2 1 2 S sss ⎨ (6) trọng lượng giữa các lớp ẩn và thứ j nút đầu ra. Trong bài báo này, các hàm cơ sở được lựa chọn là hàm xích ma. ... ⎪ ⎩ beta J 1 2 J Vì vậy Bs (xn) = σ K wsi x (i), σ (x) = 1 1 + e-x (4 ) chịu s = s + s + ••• + s j ≥ 0 ∀ j = 1, ..., J. i = 1 Trong cách này, các tham số được hạn chế để giả định tích cực 1 2 JJ nơi ws = [ws 1, ws 2, ..., wsK] là các trọng số kết nối giữa các lớp đầu vào và các chức năng cơ sở sth. Sung. 2 đại diện cho cấu trúc của các mô hình đề xuất. Từ bây giờ, các giá trị β s = (βs, βs, ..., βs) ∈ R +. Phương trình (6) có thể được thể hiện dưới dạng ma trận, cho sth chức năng cơ bản, như sau: các thông số mô hình thiết lập được định nghĩa là z = {w, β}, nơi ⎛ β 1 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 ⎞ w ∈ RS × RK và β ∈ RS × RJ. ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ Lưu ý rằng các thông số kết nối các lớp ẩn với ⎝ • •• ⎠ = ⎝ ••• ••• 0 ⎠ • ⎝ ••• ⎠ (7) jj = 1, ..., J ​​J 1 ••• 1 J lớp ra {βs} s = 1, ... , S trong một mô hình phân loại danh nghĩa là không ra lệnh. Trong đề xuất này, họ được coi là được đặt hàng và các ràng buộc sau đảm bảo đơn điệu của họ: hoặc, trong các hình thức giảm β s = C • s ∀s = 1, ..., S (8) β jj 1 s ≤ βs ∀ j = 1, ..., J. ∀s = 1, ..., S. (5) trong đó C ∈ RJ × RJ, các vector cột s ∈ RJ. Sau đó, các hình thức ma trận xem xét tất cả các vectơ β s của tất cả các cơ sở chức năng được cung cấp như Bởi vì bất đẳng thức (5) được xác định cho mỗi cặp ⎛ β 1 1 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 1 ⎞ thông số của từng chức năng cơ bản, các thông số của các hàm cơ sở khác nhau có cấu trúc riêng của họ. Các đơn điệu 1 ••• βS ⎜ ••• ⎟ ⎜ ••• ••• 0 ⎟ 1 ••• S ⎜ ••• ⎟ điều kiện có thể định nghĩa như sau, cho tất cả các cơ sở ⎝ J ••• β J ⎠ = ⎝ 1 ••• 1 ⎠ • ⎝ J 1 ••• J (9) ⎠