TABLE VT ES T MAE RES ULTS F O R E

TABLE V
T ES T MAE RES ULTS F O R E AC H DATA SET AND METHOD , INCLUDI NG THE AVERAGE OVER ALL , THE DIFFE R E N T SPL IT S , AND THE
STANDARD DEVI ATI ON (MeanSD ) TOGETHER W IT H T H E RES ULTS OF THE NONPARAMETRI C BONF ERRONI –DUNN T ES T
CONS I D ERI N G T HE MAEG AS THE T ES T VARI A BLE









Fig. 4. Ranking test diagrams for the mean generalization MZEG and MAEG
(α = 0.10). (a) Nemenyi CD diagram comparing the generalization MZE
mean rankings of the different methods. (b) Nemenyi CD diagram comparing
the generalization MAE mean rankings of the different methods.


a nonparametric Friedman test [56] has been carried out with
the ranking of MZEG and MAEG of the best models as the test variables. The nonparametric Friedman test shows that
the effect of the method used for classification is statistically significant at a significance level of 10%, as the confidence
interval is C0 = (0, F0.10 = 2.04) and the F -distribution
statistical values are F ∗ = 6.59 ∈/ C0 for MZEG and F ∗ =
8.16 ∈/

C0 for MAEG . Consequently, the null-hypothesis is



method obtains the best mean ranking ( RMZEG = 1.8125), followed by the NNOP method ( RMZEG = 2.3750).
Using MAEG as the variable test, a descriptive analysis of the results leads to the following remarks: the ORNN(ELM)
method obtains the best result for nine out of 16 data sets, the second best results for four other data sets, and the best mean
ranking ( RMAEG = 1.718).
The overperformance of the proposed algorithm with respect
to POM and NNPOM has to be attributed to the additional parameters included in the new model and to the different problem formulation. Those algorithms address the OR prob- lem using a regression approach. The proposed model handles the problem using as a base model a classification model with constraints. The improvement in accuracy with respect to ELMOP and NNOP (both are using as a base model a classification one) is related to the additional consistency provided in the output layer of the proposed model. The consistency problem was already described in Section II.


C. Statistical Tests for Performance Comparison
In this paper, the hypothesis testing techniques are used to provide statistical support for the analysis of the results [55]. Specifically, nonparametric tests are used, because the initial conditions that guarantee the reliability of the parametric tests may not be satisfied, causing the statistical analysis to lose credibility with these types of tests [55].
To determine the statistical significance of the rank differ-
ences observed for each method in the different data sets,

rejected stating that all algorithms perform equally in mean
ranking.
On the basis of this rejection, the Nemenyi post-hoc test is used to compare all the classifier with each other. The differences in rankings between the different algorithms and
the results of the Nemenyi test for α = 0.10 can be observed
in Fig. 4, using the corresponding critical values.
The results of the Bonferroni–Dunn test for α = 0.10 can be
observed in Tables IV and V using the corresponding critical
values for the two-tailed Bonferroni–Dunn test. From the results of these tests, it can be concluded that the ORNN(ELM) method obtains a significantly higher ranking of MZEG and MAEG when compared with the ELMOP, POM, and NNPOM methods. Furthermore, the proposed method requires a lower computational time than the above-mentioned methods. The analysis of the computational time is further described in the following section.

D. Time Complexity Analysis
Now, the time complexity of the proposed algorithms is analyzed. In general, standard OR algorithms involve solving a QP problem. Solving a QP problem of Hessian matrix
n × n has the complexity of O (n3 ) [57]. In this paper, the
most computational expensive task is the inversion of matrices
(required to estimate the parameters β ). The inversion of a size n × n matrix has a complexity of O (n2 log(n)), simpler than solving a QP problem of Hessian matrix of size n × n.
In the proposed algorithm, the inversion of matrices is required in the OLS estimation and in the correction needed in case some parameters do not fulfill the constraints. The remaining parameters (the parameters w) are randomly assigned.

Kết quả (Việt) 1:

BÀN VT ES T MAE RES ULTS F O R E AC H DỮ LIỆU TẬP HỢP VÀ PHƯƠNG PHÁP, BA CỦA TRUNG BÌNH TRÊN TẤT CẢ, NGƯỜ R E N T SPL IT S, VÀ Tiêu chuẩn DEVI ATI trên (MeanSD) với nhau W CNTT H T H E RES ULTS của NONPARAMETRI C BONF ERRONI-DUNN T ES TCHỐNG TÔI D ERI N G T ÔNG MAEG AS T ES T VARI A BLE Hình 4. Xếp hạng kiểm tra sơ đồ cho tổng quát có nghĩa là MZEG và MAEG (Α = 0,10). (a) Nemenyi CD biểu đồ so sánh tổng quát MZEcó nghĩa là bảng xếp hạng của các phương pháp khác nhau. (b) Nemenyi CD biểu đồ so sánhTổng quát MAE có nghĩa là bảng xếp hạng của các phương pháp khác nhau.một bài kiểm tra Friedman nonparametric [56] đã được thực hiện với việc xếp hạng của MZEG và MAEG của các mô hình tốt nhất là các thử nghiệm biến. Thử nghiệm Friedman nonparametric cho thấy rằng hiệu quả của phương pháp được sử dụng để phân loại là ý nghĩa thống kê quan trọng ở một mức độ ý nghĩa của 10%, như sự tự tinkhoảng thời gian là C0 = (0, F0.10 = 2,04) và F-phân phối thống kê giá trị là F ∗ = 6.59 ∈ / C0 cho MZEG và F ∗ = 8.16 ∈ / C0 cho MAEG. Kết quả là, các giả thuyết null là phương pháp lấy được thứ hạng tốt nhất có nghĩa là (RMZEG = 1.8125), theo phương pháp NNOP (RMZEG = 2.3750).Sử dụng MAEG như thử nghiệm biến, một phân tích mô tả của các kết quả dẫn đến những nhận xét sau đây: ORNN(ELM)phương pháp thu được kết quả tốt nhất cho chín trong số 16 bộ dữ liệu, kết quả thứ hai tốt nhất cho bốn tập hợp dữ liệu khác, và có nghĩa là tốt nhấtXếp hạng (RMAEG = 1.718).Overperformance các thuật toán được đề xuất với sự tôn trọngPOM và NNPOM đã được quy cho các tham số bổ sung bao gồm trong các mô hình mới và để xây dựng các vấn đề khác nhau. Những thuật toán địa chỉ OR prob-lem bằng cách sử dụng một cách tiếp cận hồi quy. Các mô hình được đề nghị xử lý vấn đề sử dụng như là một mô hình cơ sở một mô hình phân loại với khó khăn. Cải tiến độ chính xác đối với ELMOP và NNOP (cả hai đều sử dụng như là một mô hình cơ sở một phân loại một) liên quan đến sự thống nhất bổ sung được cung cấp trong các lớp đầu ra của các mô hình đề xuất. Vấn đề thống nhất đã được mô tả trong phần II.C. thống kê các xét nghiệm để so sánh hiệu suấtTrong bài báo này, giả thuyết thử nghiệm kỹ thuật được sử dụng để hỗ trợ thống kê cho phân tích của các kết quả [55]. Cụ thể, nonparametric thử nghiệm được sử dụng, bởi vì các điều kiện ban đầu đảm bảo độ tin cậy của các bài kiểm tra tham số có thể không được hài lòng, gây ra các phân tích thống kê để mất uy tín với các loại xét nghiệm [55].Để xác định ý nghĩa thống kê của khá xếp hạng-ences quan sát cho mỗi phương pháp trong các bộ dữ liệu khác nhau, bị từ chối nói rằng tất cả các thuật toán thực hiện bình đẳng trong có nghĩa làXếp hạng.Trên cơ sở từ chối này, thử nghiệm đặc biệt bài Nemenyi được sử dụng để so sánh tất cả loại với nhau. Sự khác biệt trong bảng xếp hạng giữa các thuật toán khác nhau vàkết quả của Nemenyi thử nghiệm cho α = 0,10 có thể được quan sát thấytrong hình 4, sử dụng các giá trị quan trọng tương ứng.Kết quả Bonferroni-Dunn kiểm tra cho α = 0,10 có thểquan sát thấy trong bảng IV và V bằng cách sử dụng quan trọng tương ứnggiá trị cho các bài kiểm tra Bonferroni-Dunn hai đuôi. Từ kết quả của các xét nghiệm, nó có thể được kết luận rằng phương pháp ORNN(ELM) lấy được một thứ hạng cao hơn đáng kể của MZEG và MAEG khi so sánh với các phương pháp ELMOP, POM, và NNPOM. Hơn nữa, phương pháp được đề xuất đòi hỏi một thời gian tính toán thấp hơn các phương pháp nói trên. Phân tích thời gian tính toán tiếp tục được mô tả trong các phần sau đây.Mất thời gian phức tạp phân tíchBây giờ, sự phức tạp thời gian của các thuật toán được đề xuất được phân tích. Nói chung, tiêu chuẩn OR thuật toán liên quan đến việc giải quyết một vấn đề QP. Giải quyết một vấn đề QP của ma trận Hessen × n có sự phức tạp của O (n3) [57]. Trong bài báo này, cácĐặt tính toán công việc tốn kém là đảo ngược của ma trận(cần thiết để ước tính tham số β). Đảo ngược của một kích thước n × n ma trận có một phức tạp của O (n2 log(n)), đơn giản hơn giải quyết một vấn đề QP của các ma trận Hesse của kích thước n × n.Trong thuật toán được đề xuất, đảo ngược ma trận là cần thiết trong dự toán OLS và trong sửa chữa cần thiết trong trường hợp một số tham số không đáp ứng các khó khăn. Các tham số còn lại (w thông số) được phân công ngẫu nhiên.

Kết quả (Việt) 2:

BẢNG V
T ES T MAE RES ULTS FORE AC H DỮ LIỆU SET VÀ PHƯƠNG PHÁP, includi NG CÁC TRUNG BÌNH TRÊN TẤT CẢ, THE nhiều loại kh THUÊ SPL IT S, VÀ
TIÊU CHUẨN DEVI ATI ON (MeanSD) TOGETHER W IT HTHE RES ULTS CỦA NONPARAMETRI C BONF ERRONI -DUNN T ES T
CONS ID ERI NGT HE MAEG AS THE T ES T Vari A BLE hình. 4. sơ đồ thử nghiệm Thứ hạng tổng quát bình MZEG và MAEG (α = 0,10). (a) Sơ đồ Nemenyi CD so sánh khái quát MZE bảng xếp hạng trung bình của các phương pháp khác nhau. (b) sơ đồ Nemenyi CD so sánh tổng quát MAE có nghĩa là bảng xếp hạng của các phương pháp khác nhau. một thử nghiệm Friedman không tham số [56] đã được thực hiện với thứ hạng của MZEG và MAEG của các mô hình tốt nhất là các biến thử nghiệm. Các thử nghiệm Friedman không tham số cho thấy hiệu quả của phương pháp dùng để phân loại có ý nghĩa thống kê ở mức ý nghĩa 10%, như sự tin tưởng khoảng thời gian là C0 = (0, F0.10 = 2,04) và F -distribution giá trị thống kê là F * = 6.59 ∈ / C0 cho MZEG và F * = 8,16 ∈ / C0 cho MAEG. Do đó, các null-giả thuyết là phương pháp lấy giá trị trung bình tốt nhất xếp hạng (RMZEG = 1,8125), tiếp theo là các phương pháp NNOP (RMZEG = 2,3750). Sử dụng MAEG như là thử nghiệm biến, một phân tích mô tả các kết quả dẫn đến những nhận xét ​​sau đây: ORNN (ELM) phương pháp có được kết quả tốt nhất cho chín trong số 16 bộ dữ liệu, kết quả tốt nhất thứ hai trong bốn bộ dữ liệu khác, và trung bình tốt nhất xếp hạng (RMAEG = 1,718). Các overperformance của thuật toán đề xuất với sự tôn trọng để POM và NNPOM đã được phân bổ cho các tham số bổ sung có trong các mô hình mới và xây dựng vấn đề khác nhau. Những thuật toán giải quyết các vấn đề về chất HOẶC sử dụng phương pháp hồi quy. Mô hình đề xuất xử lý các vấn đề bằng cách sử dụng như là một mô hình cơ sở một mô hình phân loại với các ràng buộc. Sự cải thiện về độ chính xác đối với ELMOP và NNOP với (cả hai đều được sử dụng như là một mô hình cơ sở phân loại một) có liên quan đến sự thống nhất bổ sung được cung cấp trong lớp ra của mô hình đề xuất. Các vấn đề nhất quán đã được mô tả trong Phần II. C. Các thử nghiệm thống kê cho hiệu suất so sánh Trong bài báo này, các giả thuyết thử nghiệm kỹ thuật được sử dụng để cung cấp hỗ trợ thống kê để phân tích các kết quả [55]. Cụ thể, kiểm tra không tham số được sử dụng, bởi vì các điều kiện ban đầu mà đảm bảo độ tin cậy của các bài kiểm tra tham số có thể không được đáp ứng, gây ra các phân tích thống kê để mất uy tín với các loại xét nghiệm [55]. Để xác định ý nghĩa thống kê của các khác biệt thứ hạng những trải quan sát cho mỗi phương pháp trong các bộ dữ liệu khác nhau, bị từ chối nói rằng tất cả các thuật toán thực hiện bình đẳng trong bình xếp hạng. Trên cơ sở từ chối này, các thử nghiệm sau hoc Nemenyi được sử dụng để so sánh tất cả các phân loại với nhau. Sự khác biệt trong bảng xếp hạng giữa các thuật toán khác nhau và các kết quả của thử nghiệm Nemenyi cho α = 0,10 có thể được quan sát thấy trong hình. 4, sử dụng các giá trị quan trọng tương ứng. Kết quả của các thử nghiệm Bonferroni-Dunn cho α = 0,10 có thể được quan sát thấy trong các bảng IV và V bằng cách sử dụng quan trọng tương ứng giá trị cho các thử nghiệm Bonferroni-Dunn hai đuôi. Từ kết quả của các xét nghiệm này, có thể kết luận rằng ORNN (ELM) phương pháp có được một thứ hạng cao hơn đáng kể MZEG và MAEG khi so sánh với các phương pháp ELMOP, POM, và NNPOM. Hơn nữa, phương pháp đề xuất đòi hỏi một thời gian tính toán thấp hơn so với các phương pháp nêu trên. Các phân tích của thời gian tính toán được mô tả thêm trong phần sau. D. Thời gian phức tạp Phân tích Bây giờ, độ phức tạp của thuật toán đề xuất được phân tích. Nói chung, tiêu chuẩn hoặc các thuật toán liên quan đến việc giải quyết một vấn đề QP. Giải quyết một vấn đề QP của ma trận Hessian n × n có sự phức tạp của O (n3) [57]. Trong bài báo này, các nhiệm vụ tính toán đắt nhất là đảo ngược của ma trận (cần thiết để ước lượng các thông số beta). Đảo ngược của một kích thước n × n ma trận có độ phức tạp là O (log n2 (n)), đơn giản hơn so với việc giải quyết một vấn đề QP của ma trận Hessian có kích thước n × n. Trong thuật toán đề xuất, sự nghịch đảo của ma trận là cần thiết trong OLS dự toán và trong đợt điều chỉnh cần thiết trong trường hợp một số thông số không thực hiện đầy đủ các ràng buộc. Các thông số còn lại (các tham số w) được phân ngẫu nhiên.