where β , ∈ R Jmatrix form is × RS

where β , ∈ R J
matrix form is

× RS . Finally, the complete equation in

β = C • . (10)

For example, in the case of the modified ELM for generalized RBF (GRBF) algorithm, the centers of each GRBF were taken randomly from the patterns of the training set and the radius and τ (i.e., the exponent of the RBF) values were determined analytically, considering that the model must fulfill
C. Probabilistic Interpretation of the Outputs
Given the accumulated behavior of the output nodes:

two constraints: locality and coverage.
Finally, the output weights are approximated as
j j +1
f j (xn ) ≤ f j +1 (xn ), because the constraints βs ≤ βs are
imposed in the model formulation, the cumulative probability
for the j th output node is defined as

βˆ H†Yˆ

where H† is the pseudoinverse of H.


(18)
f j (xn )

Similar to the ELM framework, the model proposed for OR
P (yn ≤ j |xn , z) =

. (11)
f J (xn )


is derived from the solution of the following linear system
The model proposed approximates the posterior probability of a pattern to belong to category C j as
P (yn = j |xn , z) = P (yn ≤ j |xn , z) − P (yn ≤ j − 1|xn , z)
∀ j = 2, ... , J
P (yn = 1|xn , z) = P (yn ≤ 1|xn , z). (12)
Finally, using the posterior probability estimation of (12), the class predicted by the model corresponds to the class whose output value is the greatest. In this way, the optimum classification rule C (x) is the following:


(with the OrderedPartitions encoding scheme), derived from the estimation of the model parameters in (10):
Yˆ = H • β T = H • (C • )T
= H • T • CT (19)

subjected to
≥ 0. (20) Equivalently, the system can be defined as
C (x) = l ∗, where l ∗ = arg max
1≤l≤ J

P (yn = j |x, z). (13)




subjected to

Yˆ • (CT )−1 = H • T (21)
D. Parameter Estimation
Recently, an efficient learning algorithm, called ELM, for SLFNNs has been proposed in [40]. The minimum of the least squares problem (minimization of the squared error function)




Noting with Y˜


≥ 0. (22)
:= Yˆ • (CT )−1 and with Y˜ j the j th matrix
is the solution of the following linear system:
Hβ T = Yˆ



(14)

column, the following constrained quadratic programming problems, for all j = 1, ... , J , estimate the padding variables minimizing the quadratic errors:
where H is the hidden layer output matrix of the SLFN and defined as


Minimize
j ∈RS

Y˜ j − H • T

T Y˜ j − H • T
H = (h1 , h2 , ..., hS )
⎛ B1(x1) ... BS (x1) ⎞

subject to j ≥ 0. (23)

This is the so-called ICLS problem. Its numerical solu-
⎜ ... ... ...
⎝
B1 (xN ) ... BS (xN )

⎟ ∈ RN × RS (15)

tion can obtained by several gradient based algorithms, for example, by the trust-region-reflective algorithm (the lsqlin
method in MATLAB) or by the active-set algorithm [21]. The


and

Yˆ = (yˆ 1, yˆ2 , ... , yˆ N )T ∈ RN × R J (16)


β = (β 1 , β 2 , ..., β S ) ∈ R J × RS . (17)

main problem of these techniques is that they are iterative methods and, therefore, computationally more expensive than the methods based on ELM.
To determine analytically the β matrix a closed form for the
Traditionally, ELM sets the values for the hidden layer parameters w randomly when sigmoidal nodes are considered [19], [23], [40]. In the case of radial basis function (RBF) models, the centers of each basis function are typically deter- mined selecting randomly patterns from the training set [25]. Despite this, in the original ELM-RBF algorithm [41], the centers of the basis functions are initialized randomly (as the radius value) without considering the patterns of the training set.
It is also important to point out that more advanced
RBFs were also proposed in the ELM framework [42], [43].

solution of the ICLS problem is needed. This can be estimated
from the KKT conditions of the convex minimization prob- lem [22]. Fomby et al. [44], proposed a closed-form solution for the generic ICLS problem

Minimize Y − X • β T T Y − X • β T
β ∈RK
subject to A • β ≥ 0 (24)

where A is a suitable matrix for the model and β in this case represents the weights connecting the initial covariates (X ∈ RN × RK ) with the output (Y ∈ RN ). The solution takes the

Kết quả (Việt) 1:

nơi β, ∈ R Jdạng ma trận là × RS. Cuối cùng, phương trình hoàn thành trongΒ = C •. (10) Ví dụ, trong trường hợp của ELM lần cho tổng quát các thuật toán RBF (GRBF), các trung tâm của mỗi GRBF được lấy ngẫu nhiên từ các mô hình của các thiết lập đào tạo và bán kính và khoảng (tức là, số mũ của RBF) giá trị được xác định phân tích, xem xét rằng các mô hình phải hoàn tất C. xác suất giải thích các kết quả đầu raCho hành vi tích lũy của các nút đầu ra: hai hạn chế: địa phương và phạm vi bảo hiểm.Cuối cùng, trọng lượng đầu ra được xấp xỉ như j j + 1 f j (xn) ≤ f j + 1 (xn), bởi vì những hạn chế βs ≤ βsáp dụng trong việc xây dựng mô hình, xác suất tích lũycho j th đầu ra nút được định nghĩa là Βˆ H†Yˆnơi H† là pseudoinverse H. (18) f j (xn) Tương tự như khuôn khổ ELM, các mô hình đề xuất cho hoặc P (yn ≤ j |xn, z) = . (11)f J (xn) có nguồn gốc từ các giải pháp của hệ thống tuyến tính sau Các mô hình đề xuất xấp xỉ xác suất hậu nghiệm của một mô hình xếp nhầm vào thể loại C j nhưP (yn = j |xn, z) = P (yn ≤ j |xn, z) − P (yn ≤ j − 1|xn, z)∀ j = 2, ... , JP (yn = 1|xn, z) = P (yn ≤ 1|xn, z). (12)Cuối cùng, bằng cách sử dụng dự toán xác suất hậu nghiệm của (12), các lớp học dự đoán của các mô hình tương ứng với các lớp học có giá trị đầu ra là lớn nhất. Bằng cách này, các nguyên tắc tối ưu phân loại C (x) là như sau: (với OrderedPartitions mã hóa đề án), bắt nguồn từ dự toán của các tham số mô hình trong (10):Yˆ = H • Β T = H • (C •) T= H • T • CT (19)phải chịu sự ≥ 0. (20) tương tự, Hệ thống có thể được định nghĩa là C (x) = l ∗, nơi l ∗ = arg tối đa1≤l≤ J P (yn = j |x, z). (13) phải chịu sự Yˆ • (CT) −1 = H • T (21) Mất ước lượng tham sốGần đây, một thuật toán hiệu quả học tập, kêu gọi ELM, SLFNNs đã được đề xuất trong [40]. Tối thiểu của vấn đề tối thiểu (giảm thiểu lỗi bình phương chức năng) Lưu ý với Y˜ ≥ 0. (22): = Yˆ • (CT) −1 và với Y˜ j ma trận thứ j là giải pháp hệ thống tuyến tính sau:HΒ T = Yˆ (14) cột, các hạn chế bậc hai lập trình vấn đề sau đây, cho tất cả j = 1,..., J, ước tính các biến đệm giảm thiểu bậc hai lỗi: nơi H là ma trận ẩn lớp đầu ra của SLFN và định nghĩa là Giảm thiểu j ∈RS Y˜ j − H • T T Y˜ j − H • T H = (h1, h2,..., hS)⎛ B1(x1)... BS (x 1) ⎞ tùy thuộc vào j ≥ 0. (23)Đây là vấn đề cái gọi là ICLS. Của nó số solu- ⎜ ... ... ... ⎝B1 (xN)... BS (xN) ⎟ ∈ RN × RS (15) tion có thể thu được bằng một số thuật toán gradient dựa, ví dụ, bởi các thuật toán sự tin tưởng-vùng phản chiếu (lsqlinphương pháp trong MATLAB) hoặc bởi các thuật toán thiết lập hoạt động [21]. Các và Yˆ = (yˆ 1, yˆ2,..., yˆ N) T ∈ RN × R J (16)Β = (Β 1, Β 2,..., Β S) ∈ R J × RS. (17) Các vấn đề chính của các kỹ thuật này là họ là lặp đi lặp lại phương pháp và, do đó, computationally đắt hơn các phương pháp dựa trên ELM.Để xác định phân tích ma trận β một hình thức đóng cửa cho các Theo truyền thống, ELM đặt ra các giá trị cho tham số ẩn lớp w ngẫu nhiên khi sigmoidal nút được coi là [19], [23], [40]. Trong trường hợp của các mô hình chức năng (RBF) xuyên tâm cơ sở, các trung tâm của mỗi chức năng cơ sở thường là ngăn chặn - mỏ chọn ngẫu nhiên các mẫu từ bộ đào tạo [25]. Mặc dù vậy, trong thuật toán ban đầu của ELM-RBF [41], các trung tâm của các chức năng cơ sở được khởi tạo ngẫu nhiên (như giá trị bán kính) kỳ với mà không xem xét các mô hình của các thiết lập đào tạo.Nó cũng là quan trọng để chỉ ra rằng nâng cao hơnRBFs cũng đã được đề xuất trong khuôn khổ ELM [42], [43]. giải pháp của vấn đề ICLS là cần thiết. Điều này có thể được ước tínhtừ các điều kiện KKT của lồi giảm thiểu prob-lem [22]. Fomby et al. [44], đề xuất một giải pháp hình thức đóng cửa cho vấn đề ICLS chungGiảm thiểu Y − X • β T T Y − X • β T Β ∈RKtùy thuộc vào một • β ≥ 0 (24)nơi A là một ma trận thích hợp cho các mô hình và β trong trường hợp này đại diện cho trọng lượng kết nối đầu tiên covariates (X ∈ RN × RK) với đầu ra (Y ∈ RN). Các giải pháp mất các

Kết quả (Việt) 2:

nơi β, ∈ RJ
dạng ma trận là × RS. Cuối cùng, phương trình hoàn thành trong β = C •. (10) Ví dụ, trong trường hợp của ELM sửa đổi cho tổng quát RBF (GRBF) thuật toán, các trung tâm của mỗi GRBF được lấy ngẫu nhiên từ các mô hình của tập huấn luyện và bán kính và τ ​​(tức là, số mũ của RBF) giá trị đã được xác định để phân tích, xem xét rằng các mô hình phải thực hiện đầy đủ C. Giải thích theo xác suất của các kết quả đầu ra Với hành vi tích lũy của các nút đầu ra: hai khó khăn:. Địa phương và phạm vi bảo hiểm Cuối cùng, trọng lượng đầu ra được xấp xỉ như jj 1 fj (xn) ≤ fj 1 (xn), vì những hạn chế βs ≤ βs được áp dụng trong việc xây dựng mô hình, xác suất tích lũy cho j nút đầu ra được định nghĩa là β H † Y nơi H † là pseudoinverse của H. (18) fj (xn) Tương tự như các khuôn khổ ELM, các mô hình đề xuất cho HOẶC P (yn ≤ j | xn, z) =. (11) f J (xn) có nguồn gốc từ các giải pháp của hệ thống tuyến tính sau đây mô hình đề xuất xấp xỉ xác suất hậu nghiệm của một mô hình thuộc thể loại C j như P (yn = j | xn, z) = P (yn ≤ j | xn, z) - P (yn ≤ j - 1 | xn, z) ∀ j = 2, ..., J ​​P (yn = 1 | xn, z) = P (yn ≤ 1 | xn, z) . (12) Cuối cùng, sử dụng các ước lượng xác suất hậu nghiệm (12), các lớp được dự đoán bởi mô hình tương ứng với các lớp học có giá trị đầu ra là lớn nhất. Bằng cách này, các quy tắc phân loại tối ưu C (x) là như sau: (với OrderedPartitions mã hóa chương trình), có nguồn gốc từ các toán các thông số mô hình trong (10): Y = H • β T = H • (C •) T = H • T • CT (19) chịu ≥ 0. (20) tương đương, hệ thống có thể được định nghĩa là C (x) = l *, nơi l * = arg max 1≤l≤ J P (yn = j | x, z). (13) bị Y • (CT) -1 = H • T (21) D. Thông số Estimation Gần đây, một thuật toán học tập hiệu quả, gọi là ELM, cho SLFNNs đã được đề xuất trong [40]. Tối thiểu của các ô vuông vấn đề nhất (tối thiểu hóa hàm lỗi bình phương) Ghi nhận với Y~ ≥ 0. (22): = Y • (CT) -1 và với Y~ j thứ j ma trận là giải pháp của các tuyến sau Hệ thống: Hβ T = Y (14) cột, các vấn đề về lập trình bậc hai hạn chế sau đây, với mọi j = 1, ..., J, ước tính các biến đệm giảm thiểu các lỗi bậc hai: đó H là ẩn ma trận đầu ra lớp của SLFN và xác định là Minimize j ∈RS Y~ j - H • T TY~ j - H • T H = (h1, h2, ..., HS) ⎛ B1 (x1) ... BS (x1) ⎞ chịu j ≥ 0. (23) Đây là cái gọi là vấn đề ICLS. Của số solu- ⎜ ... ... ... ⎝ B1 (xN) ... BS (xN) ⎟ ∈ RN × RS (15) tion có thể thu được bằng một số thuật toán dựa trên độ dốc, ví dụ, bởi trust- thuật toán khu vực phản xạ (các lsqlin phương pháp trong MATLAB) hoặc bởi các thuật toán hoạt động-set [21]. Các và Y = (y 1, y2, ..., y N) T ∈ RN × RJ (16) β = (β 1, β 2, ..., β S) ∈ RJ × RS. (17) Vấn đề chính của những kỹ thuật này là họ là những phương pháp lặp đi lặp lại, và do đó, tính toán đắt hơn so với các phương pháp dựa trên ELM. Để xác định phân tích các ma trận β một hình thức đóng cửa cho truyền thống, ELM đặt các giá trị cho các tham số lớp ẩn w ngẫu nhiên khi các nút xích ma được coi là [19], [23], [40]. Trong trường hợp của hàm cơ sở xuyên tâm (RBF) các mô hình, các trung tâm của mỗi hàm cơ sở thường ngăn chặn, khai thác lựa chọn ngẫu nhiên các mẫu từ tập huấn luyện [25]. Mặc dù vậy, trong ELM-RBF thuật toán ban đầu [41], các trung tâm của các hàm cơ bản được khởi tạo ngẫu nhiên (như giá trị bán kính) mà không xem xét các mô hình của tập huấn luyện. Nó cũng rất quan trọng để chỉ ra rằng nâng cao hơn RBFs là cũng đề nghị trong khuôn khổ ELM [42], [43]. giải pháp của vấn đề ICLS là cần thiết. Điều này có thể được ước tính từ các điều kiện KKT của lồi giảm thiểu vấn đề về chất [22]. Fomby et al. [44], đã đề xuất một giải pháp hình thức đóng cho các vấn đề ICLS generic Giảm thiểu Y - X • β TTY - X • β T β ∈RK chịu A • β ≥ 0 (24) trong đó A là một ma trận thích hợp cho các mô hình và β trong trường hợp này đại diện cho các trọng số kết nối đồng biến số ban đầu (X ∈ RN × RK) với sản lượng (Y ∈ RN). Các giải pháp mất