Ordinal Neural Networks Without Ite

Ordinal Neural Networks Without Iterative Tuning

Francisco Fernández-Navarro, Member, IEEE, Annalisa Riccardi, and Sante Carloni




Abstract— Ordinal regression (OR) is an important branch of supervised learning in between the multiclass classification and regression. In this paper, the traditional classification scheme of neural network is adapted to learn ordinal ranks. The model proposed imposes monotonicity constraints on the weights connecting the hidden layer with the output layer. To do so, the weights are transcribed using padding variables. This reformulation leads to the so-called inequality constrained least squares (ICLS) problem. Its numerical solution can be obtained by several iterative methods, for example, trust region or line search algorithms. In this proposal, the optimum is determined analytically according to the closed-form solution of the ICLS problem estimated from the Karush–Kuhn–Tucker conditions. Furthermore, following the guidelines of the extreme learning machine framework, the weights connecting the input and the hidden layers are randomly generated, so the final model estimates all its parameters without iterative tuning. The model proposed achieves competitive performance compared with the state-of-the-art neural networks methods for OR.

Index Terms— Extreme learning machine (ELM), neural networks, ordinal regression (OR).


I. INT RODUCT ION
EARNING to classify or to predict numerical values from prelabeled patterns is one of the central research topics in machine learning and data mining [1]–[4]. However, less attention has been paid to ordinal regression [(OR), also called ordinal classification] problems, where the labels of the target variable exhibit a natural ordering. In contrast to regression problems, in OR, the ranks are discrete and finite. These ranks are also different from the class targets in nominal classification problems due to the existence of ranking information. For example, grade labels have the ordering
D ≺ C ≺ B ≺ A, where ≺ denotes the given order between
the ranks. Therefore, OR is a learning problem in between
the regression and nominal classification. Some of the fields where OR found application are medical research [5], [6], review ranking [7], econometric modeling [8], or sovereign credit ratings [9].
In statistics literature, the majority of the models are based on generalized linear models [10]. The proportional odds model (POM) [10] is a well-known statistical approach for OR, in which they rely on a specific distributional assumption on

Manuscript received August 14, 2013; revised December 3, 2013; accepted February 5, 2014. Date of publication February 21, 2014; date of current version October 15, 2014.
The authors are with the Advanced Concepts Team, European Space
Research and Technology Centre, European Space Agency, Noordwijk 14012, The Netherlands (e-mail: [e-mail]; francisco.fernandez.navarro@ esa.int; [e-mail]; [e-mail]).
Color versions of one or more of the figures in this paper are available online at http://ieeexplore.ieee.org.
Digital Object Identifier 10.1109/TNNLS.2014.2304976

the unobservable latent variables (generally assuming a logistic distribution) and a stochastic ordering of the input space. OR has evolved in the last years in the machine learning field, with many achievements for the community [11], from support vector machine (SVM) approaches [12], [13] to Gaussian processes [14] and discriminant learning [15].
In the field of neural networks, Mathieson [8] proposed
a model based on the POM statistical algorithm. In this paper, the POM algorithm is adapted for nonlinear prob- lems by including basis functions in the original formulation. Crammer and Singer [16] generalized the online perceptron algorithm with multiple thresholds to perform ordinal ranking. Cheng et al. [17] proposed an approach to adapt a traditional neural network to learn ordinal ranks. This proposal can be observed as a generalization of the perceptron method into multilayer perceptrons (neural network) for OR.
Extreme learning machine (ELM) is a framework to esti- mate the parameters of single-layer feedforward neural net- works (SLFNNs), where the hidden layer parameters do not need to be tuned but they are randomly assigned [18]. ELMs have demonstrated good scalability and generaliza- tion performance with a faster learning speed when com- pared with other models such as SVMs and backpropagation neural networks [19]. The natural adaptation of the ELM framework to OR problems has not been yet deeply inves- tigated. The ELM for OR (ELMOR) algorithm [20] is the first example of research in this direction. Deng et al. [20] proposed an encoding-based framework for OR, which includes three encoding schemes: single multioutput classifier, multiple binary-classificati

Kết quả (Việt) 1:

Mạng nơ-ron tự mà không có điều chỉnh lặp đi lặp lạiFrancisco Fernández-Navarro, thành viên, IEEE, Annalisa Riccardi, và Sante Carloni Tóm tắt — Các hồi quy tự (OR) là một chi nhánh quan trọng của giám sát học tập ở giữa multiclass phân loại và hồi quy. Trong bài báo này, chương trình truyền thống phân loại của mạng nơ-ron là thích nghi để tìm hiểu tự cấp bậc. Các mô hình đề xuất áp đặt monotonicity khó khăn về trọng lượng kết nối ẩn lớp với các lớp đầu ra. Để làm như vậy, trọng lượng được phiên âm bằng cách sử dụng các biến padding. Reformulation này dẫn đến vấn đề bất bình đẳng cái gọi là hạn chế tối thiểu (ICLS). Giải pháp số của nó có thể được thu được bằng một số phương pháp lặp đi lặp lại, ví dụ, thuật toán tìm kiếm khu vực hoặc dòng tin tưởng. Trong đề xuất này, tối ưu được xác định phân tích theo các giải pháp hình thức đóng cửa của vấn đề ICLS ước tính từ các điều kiện Karush-Kuhn-Tucker. Hơn nữa, sau các nguyên tắc của cực học máy khuôn khổ, trọng lượng kết nối đầu vào và các lớp ẩn được ngẫu nhiên tạo ra, do đó, các mô hình cuối cùng ước tính tất cả các tham số của nó mà không có điều chỉnh lặp đi lặp lại. Các mô hình đề xuất đạt được hiệu suất cạnh tranh so với các phương pháp nhà nước-of-the-art mạng nơ-ron cho hoặc.Chỉ số điều khoản — Cực học tập máy (ELM), mạng nơ-ron, tự regression (OR).I. INT RODUCT IONThu nhập để phân loại hoặc để dự đoán giá trị số từ prelabeled mô hình là một trong những chủ đề Trung tâm nghiên cứu trong máy học và khai thác dữ liệu [1]-[4]. Tuy nhiên, ít quan tâm đã được trả tiền để tự regression [(hoặc), cũng gọi là tự phân loại] vấn đề, nơi các nhãn của mục tiêu biến thể hiện một đặt hàng tự nhiên. Trái ngược với vấn đề hồi quy, tại OR, các cấp bậc là rời rạc và hữu hạn. Các cấp bậc cũng là khác nhau từ các mục tiêu lớp trong vấn đề phân loại trên danh nghĩa do sự tồn tại của xếp hạng thông tin. Ví dụ, lớp nhãn có các đặt hàngD ≺ C ≺ B ≺ A, nơi ≺ là bắt đơn đặt hàng nhất định giữacác cấp bậc. Vì vậy, hoặc là một vấn đề học tập ở giữahồi quy và phân loại trên danh nghĩa. Một số các lĩnh vực nơi hoặc tìm thấy ứng dụng nghiên cứu y học [5], [6], lại xếp hạng [7], mô hình kinh tế lượng [8] hoặc xếp hạng tín dụng có chủ quyền [9].Trong văn học thống kê, phần lớn các mô hình được dựa trên mô hình tuyến tính tổng quát [10]. Mô hình tỷ lệ cược tỷ lệ (POM) [10] là một cách tiếp cận thống kê nổi tiếng nhất, hoặc trong đó họ dựa vào một giả định distributional cụ thể trênBản thảo đã nhận được ngày 14 tháng 8 năm 2013; Sửa đổi ngày 3 tháng 8 năm 2013; chấp nhận 5 tháng 2 năm 2014. Ngày công bố ngày 21 tháng 2 năm 2014; ngày của phiên bản hiện tại 15 tháng 10 năm 2014.Các tác giả là với nâng cao khái niệm đội, không gian Châu ÂuNghiên cứu và Trung tâm công nghệ, các cơ quan không gian Châu Âu, Noordwijk 14012, Hà Lan (e-mail: [e-mail]; francisco.fernandez.navarro@ esa.int; [e-mail]; [e-mail]).Phiên bản màu sắc của một hoặc nhiều của các con số trong bài báo này có sẵn trực tuyến tại http://ieeexplore.ieee.org.Nhận dạng kỹ thuật số đối tượng 10.1109/TNNLS.2014.2304976 Các yếu tố tiềm ẩn unobservable (thường giả sử một phân phối hậu cần) và một thứ tự ngẫu nhiên đầu vào không gian. HOẶC đã phát triển trong năm qua trong lĩnh vực học tập máy, với nhiều thành tựu cho cộng đồng [11], từ hỗ trợ vector machine (SVM) phương pháp tiếp cận [12], [13] để quá trình Gaussian [14] và biệt thức học tập [15].Trong lĩnh vực mạng nơ-ron, Mathieson [8] đề xuấtmột mô hình dựa trên các thuật toán thống kê POM. Trong bài báo này, các thuật toán POM là thích nghi với phi tuyến prob-lems bằng cách bao gồm hàm cơ sở trong việc xây dựng ban đầu. Crammer và ca sĩ [16] Tổng quát các thuật toán trực tuyến perceptron với nhiều ngưỡng để thực hiện tự xếp hạng. Cheng et al. [17] đề xuất một cách tiếp cận để thích ứng với một mạng nơ-ron truyền thống để tìm hiểu tự đứng. Đề xuất này có thể được quan sát thấy như một tổng quát của phương pháp perceptron vào đa lớp perceptrons (thần kinh mạng) cho hoặc.Cực học máy (ELM) là một khuôn khổ để esti-mate các tham số của đơn lớp feedforward thần kinh lưới công trình (SLFNNs), nơi các thông số ẩn lớp không cần phải được điều chỉnh nhưng chúng ngẫu nhiên được phân công [18]. ELMs đã chứng minh hiệu suất tốt của khả năng mở rộng và generaliza-tion với tốc độ học tập nhanh hơn khi com - pared với các mô hình khác chẳng hạn như SVMs và backpropagation mạng nơ-ron [19]. Thích ứng tự nhiên của khuôn khổ ELM để OR vấn đề chưa được sâu inves-tigated. ELM cho thuật toán hoặc (ELMOR) [20] là ví dụ đầu tiên của nghiên cứu theo hướng này. Đặng et al. [20] đề xuất một khuôn khổ dựa trên mã hóa cho, hoặc bao gồm ba chương trình mã hóa: loại multioutput duy nhất, nhiều nhị phân-classificati

Kết quả (Việt) 2:

Neural Networks TT Nếu không lặp đi lặp lại chỉnh Francisco Fernández-Navarro, Thành viên, IEEE, Annalisa Riccardi, và Sante Carloni hồi quy Abstract- TT (OR) là một ngành quan trọng của việc học có giám sát ở giữa phân loại nhiều lớp và hồi quy. Trong bài báo này, sơ đồ phân loại truyền thống của mạng nơ ron được thích nghi để học bậc thứ tự. Mô hình đề xuất áp đặt những hạn chế đơn điệu về trọng lượng kết nối các lớp ẩn với lớp ra. Để làm như vậy, các trọng số được phiên mã bằng cách sử dụng các biến padding. Sửa đổi chính điều này dẫn đến cái gọi là bất đẳng thức bình phương nhỏ nhất hạn chế (ICLS) vấn đề. Giải pháp số của nó có thể được thu được bằng một số phương pháp lặp đi lặp lại, cho các thuật toán Ví dụ, khu vực thác hay tìm kiếm dòng. Trong đề xuất này, các tối ưu được xác định phân tích theo các giải pháp hình thức đóng của vấn đề ICLS ước tính từ các điều kiện Karush-Kuhn-Tucker. Hơn nữa, theo các hướng dẫn của các khuôn khổ học máy cực đoan, các trọng số kết nối đầu vào và các lớp ẩn được tạo ra một cách ngẫu nhiên, do đó, các mô hình cuối cùng ước tính tất cả các thông số của nó mà không cần điều chỉnh lặp đi lặp lại. Các đề xuất mô hình đạt hiệu suất cạnh tranh so với các nhà nước-of-the-nghệ thuật mạng nơron phương pháp OR. Index học máy Terms- Extreme (ELM), mạng nơron, hồi quy tự (OR). I. INT roduct ION LÃI phân loại hoặc để dự đoán các giá trị số từ mô hình prelabeled là một trong những đề tài nghiên cứu trung tâm trong học máy và khai thác dữ liệu [1] - [4]. Tuy nhiên, ít người chú ý đến thứ tự hồi quy [(OR), cũng được gọi là thứ tự phân loại] vấn đề, ​​nơi các nhãn của các triển lãm biến mục tiêu một trật tự tự nhiên. Ngược lại với vấn đề hồi quy, trong OR, các cấp bậc là rời rạc và hữu hạn. Những cấp bậc cũng khác nhau từ các mục tiêu lớp học trong vấn đề phân loại danh nghĩa do sự tồn tại của bảng xếp hạng thông tin. Ví dụ, nhãn lớp có thứ tự D C ≺ ≺ ≺ B A, nơi ≺ biểu thị thứ tự nhất định giữa các cấp bậc. Vì vậy, OR là một vấn đề học tập ở giữa các hồi quy và phân loại danh nghĩa. Một số lĩnh vực có HOẶC tìm thấy ứng dụng đang nghiên cứu y học [5], [6], xem xét xếp hạng [7], mô hình kinh tế lượng [8], hoặc xếp hạng tín dụng chủ quyền [9]. Trong văn học thống kê, phần lớn các mô hình dựa trên các mô hình tuyến tính tổng quát [10]. Các tỷ lệ cược tỷ lệ mô hình (POM) [10] là một phương pháp thống kê nổi tiếng với OR, trong đó họ dựa trên một giả định về phân phối cụ thể trên bản thảo đã nhận được ngày 14 tháng tám năm 2013; sửa đổi ngày 3 tháng 12 năm 2013; chấp nhận 05 tháng 2, 2014. Ngày xuất bản ngày 21 Tháng 2 năm 2014; ngày của phiên bản hiện tại ngày 15 tháng 10, 2014. Các tác giả với các khái niệm đội nâng cao, không gian châu Âu Trung tâm Nghiên cứu Công nghệ và Cơ quan Vũ trụ châu Âu, Noordwijk 14012, Hà Lan (e-mail: [e-mail]; francisco.fernandez.navarro @ esa.int; [e-mail];. [e-mail]) phiên bản màu của một hay nhiều nhân vật trong bài viết này là có sẵn trực tuyến tại http://ieeexplore.ieee.org. Object kỹ thuật số định danh 10,1109 / TNNLS.2014.2304976 các biến tiềm ẩn không quan sát được (thường giả định một phân phối hậu cần) và một trật tự ngẫu nhiên của không gian đầu vào. OR đã phát triển trong những năm qua trong lĩnh vực học máy, với nhiều thành tích cho các cộng đồng [11], từ máy vector hỗ trợ (SVM) phương pháp tiếp cận [12], [13] để quá trình Gaussian [14] và biệt thức học tập [15] . Trong lĩnh vực mạng thần kinh, Mathieson [8] đề xuất một mô hình dựa trên các thuật toán thống kê POM. Trong bài báo này, các thuật toán POM được chuyển thể mắc các phi tuyến bằng cách bao gồm các chức năng cơ bản trong việc xây dựng ban đầu. Người rèn luyện và Ca sĩ [16] tổng quát thuật toán perceptron trực tuyến với nhiều ngưỡng để thực hiện xếp hạng thứ tự. Cheng et al. [17] đề xuất một cách tiếp cận để thích ứng với một mạng lưới thần kinh truyền thống để tìm hiểu cấp bậc thứ tự. Đề xuất này có thể được quan sát như là một sự tổng quát của phương pháp perceptron vào perceptron đa lớp (mạng nơron) cho OR. Học máy Extreme (ELM) là một khuôn khổ để ước tính giao phối các thông số của đơn lớp feedforward các mạng lưới thần kinh (SLFNNs), nơi mà các thông số lớp ẩn không cần phải được điều chỉnh nhưng chúng được phân ngẫu nhiên [18]. Tia lửa đã chứng minh khả năng mở rộng tốt và hiệu suất sự tổng quát với một tốc độ nhanh hơn khi học tập do- với các mô hình khác như SVMs và lan truyền ngược các mạng thần kinh [19]. Sự thích ứng tự nhiên của khuôn khổ ELM để HOẶC vấn đề chưa được chưa sâu sắc, khối tigated. ELM cho OR (ELMOR) thuật toán [20] là ví dụ đầu tiên của nghiên cứu theo hướng này. Deng et al. [20] đề xuất một khuôn khổ mã hóa dựa trên cho OR, trong đó bao gồm ba cơ chế mã hóa: multioutput duy nhất phân loại, nhiều nhị phân-classificati