Fig. 7. Three constrained training

Fig. 7. Three constrained training sessions are illustrated during which the STM error e is minimized, and the LTM constraints are satisfied within very small
MSEs denoted by " and " .


while new STMs are formed. LTM preservation is verified by comparing the mean squared error (MSE) of the neural network controller over before and after the adaptation. Numerical results show that this error remains close to zero at all times. Also, LTM effectiveness is illustrated by testing the performance of the neural network controller throughout the steady-level flight envelope (Fig. 3) after the adaptation has taken place.
Classical gain-scheduled controllers (Section V-A1) are used to form a gradient-based LTM training set . Using the results in Section IV, this set can be embedded in the equality constraints


(26)

for which all variables are defined in Section IV and the ad- joined gradient is provided in Theorem 2. The neural network controller (9) has nodes, and is trained with prior to online implementation. If its performance becomes sub- optimal, the optimality condition (25) produces a target at every time step , which is immediately used by Algorithm 1 to update the weights of (9).
To initiate the DHP adaptation, the aircraft is directed to execute a large-angle turn with 60 at
(145 m/s, 6000 m). As was the case in the example provided in Fig. 4, this maneuver also violates both assumptions of small deviations and decoupled dynamics. Consequently, a classical controller (23) designed specifically for such flight conditions

is suboptimal, as can be verified by evaluating the optimality condition (25). For comparison, the neural network controller is updated both with an unconstrained RPROP algorithm [17] and with a constrained RPROP algorithm implementing the adjoined gradient. The constrained adaptive neural network controller is found to outperform both the linear design and the unconstrained adaptive controller, leading to an overall reduction in total cost of up to 62.5% by the final time
10 s (compared to the other controllers). Also, by the end
of the maneuver, the constrained-adaptive neural network’s performance is found to be nearly optimal, as shown by the incremental cost .
At the same time, by implementing the adjoined gradient, the constrained neural network controller retains accurate memory of the LTM training set , as shown in Table I, which summarizes the MSE over tested at sample time steps during the adaptation. It can be seen that throughout the adapta- tion the neural network controller trained with the constrained optimization algorithm maintains an MSE of for the output data, and an MSE lower than for the gradient data. The same DHP controller trained with an unconstrained RPROP algorithm considerably worsens the performance over the LTM training set, increasing the MSE by up to 24 orders of magnitude shortly after the adaptation begins. The training blues obtained from sample training sessions conducted with constrained and unconstrained RPROP algorithms are shown in Figs. 7 and 8, respectively. Each sample training session occurs at the time instant indicated on the plot. In these training blues, the STM error , defined in (5), is plotted with respect to the epochs used for its minimization. The LTM MSEs for the output and gradient data, denoted by and , respectively, are computed at the end of each training session using the




Fig. 8. Three unconstrained training sessions are illustrated during which the STM error e is minimized, but the LTM constraints are not satisfied, as shown by the large MSEs " and " .


TABLE II
PERCENT CHANGE IN ACTION NETWORK WEIGHTS UPDATED BY DHP ROUTINE





updated parameters, and shown in Figs. 7 and 8. Similar LTM MSE values are obtained at intermediate epochs, and in all other training sessions.
A previous approach to suppressing interference without rep- resenting the LTM data proposed to hold the LTM weights con- stant in an attempt to preserve the corresponding memories [4], [5]. However, due to the nonlinear nature of neural networks, when the STM weights are modified, the old values of the LTM weights may no longer match the LTM data, or the constraints (3). From (4), it is clear that the values of that satisfy (3) depend on the values of . Our simulations confirm that, by holding the LTM weights of the neural network controller con- stant during the adaptation, its performance over the steady- level envelope deteriorates with rapid increase of the LTM MSE as the STM weights are updated to minimize .
In our constrained optimization approach, all weights are allowed to change during incremental training, but the LTM weights change to preserve the memory, while the STM weights change to acqui

Kết quả (Việt) 1:

Hình 7. Ba buổi đào tạo hạn chế được minh họa trong thời gian đó e lỗi STM được tối thiểu hoá, và các khó khăn LTM được hài lòng trong rất nhỏTaotl biểu hiện bằng "và". trong khi STMs mới được hình thành. LTM bảo tồn được xác minh bởi so sánh, có nghĩa là lỗi bình phương (MSE) của bộ điều khiển mạng nơ-ron hơn trước và sau khi sự thích ứng. Số kết quả cho thấy rằng lỗi này vẫn còn gần bằng không mọi lúc. Ngoài ra, LTM hiệu quả được minh họa bằng cách kiểm tra hiệu suất của bộ điều khiển mạng nơ-ron trong suốt chuyến bay tăng cấp phong bì (hình 3) sau khi bộ đã xảy ra.Cổ điển dự kiến sẽ đạt được điều khiển (phần V-A1) được sử dụng để tạo thành một gradient-dựa LTM đào tạo thiết lập. Sử dụng các kết quả trong phần IV, thiết lập này có thể được nhúng trong các khó khăn bình đẳng (26)để mà tất cả các biến được xác định trong phần IV và quảng cáo - độ dốc tham gia cung cấp trong định lý 2. Bộ điều khiển mạng nơ-ron (9) có các nút, và được huấn luyện với trước khi thực hiện trực tuyến. Nếu hiệu quả của nó trở thành phụ-tối ưu, điều kiện điều (25) tạo ra một mục tiêu từng thời gian, ngay lập tức được sử dụng bởi 1 thuật toán để cập nhật các trọng lượng của (9).Để bắt đầu thích ứng DHP, chiếc máy bay đạo diễn để thực hiện một lần lượt lớn-góc với 60 tại(145 m/s, 6000 m). Như là trường hợp trong ví dụ được cung cấp trong hình 4, cơ động này cũng vi phạm cả hai giả định của các độ lệch nhỏ và tách năng động. Do đó, một cổ điển bộ điều khiển (23) được thiết kế đặc biệt cho điều kiện chuyến bay như vậy là suboptimal, như có thể được xác nhận bằng cách đánh giá các điều kiện điều (25). Để so sánh, bộ điều khiển mạng nơ-ron được Cập Nhật với một thuật toán RPROP không bị giới hạn [17] và với một thuật toán RPROP hạn chế việc thực hiện các gradient adjoined. Bộ điều khiển hạn chế thích nghi mạng nơ-ron phát hiện tốt hơn thiết kế tuyến tính và bộ điều khiển thích nghi không bị giới hạn, dẫn đến một tổng thể giảm tổng chi phí lên đến 62,5% bởi thời gian cuối cùng 10 s (so với các bộ điều khiển khác). Ngoài ra, đến cuốicủa cơ động, hiệu suất của mạng nơ-ron ràng buộc-thích nghi được tìm thấy là gần tối ưu, như thể hiện bởi chi phí gia tăng.Cùng lúc đó, bằng cách thực hiện các gradient adjoined, bộ điều khiển hạn chế mạng nơ-ron giữ lại bộ nhớ chính xác của bộ đào tạo LTM, như được hiển thị trong bảng I, tóm tắt MSE trên thử nghiệm mẫu thời gian bước trong quá trình thích ứng. Nó có thể được nhìn thấy rằng trong suốt adapta-tion mạng nơ-ron điều khiển được đào tạo với các thuật toán tối ưu hóa hạn chế duy trì một MSE của dữ liệu đầu ra, và một MSE thấp hơn cho các dữ liệu gradient. Bộ điều khiển DHP cùng được đào tạo với một thuật toán RPROP không bị giới hạn đáng kể nặng hơn hiệu suất trên LTM đào tạo thiết lập, tăng MSE đến 24 đơn đặt hàng của các cường độ ngay sau khi bắt đầu sự thích ứng. Blues đào tạo thu được từ buổi đào tạo mẫu được tiến hành với các thuật toán RPROP hạn chế và không bị giới hạn được hiển thị trong Figs. 7 và 8, tương ứng. Mỗi buổi tập mẫu xảy ra vào thời điểm ngay lập tức được nêu trên cốt truyện. Trong những blues đào tạo, STM lỗi, được định nghĩa trong (5), âm mưu đối với kỷ nguyên được sử dụng để giảm thiểu của nó. Taotl LTM cho sản lượng và gradient dữ liệu, được biểu thị bằng và, tương ứng, được tính vào cuối mỗi phiên làm việc đào tạo sử dụng các Hình 8. Ba buổi huấn luyện không bị giới hạn được minh họa trong thời gian đó e lỗi STM được cực tiểu hoá, nhưng các khó khăn LTM không hài lòng, như thể hiện bởi taotl lớn "và".BẢNG IIPHẦN TRĂM THAY ĐỔI TRONG TRỌNG LƯỢNG MẠNG LƯỚI HÀNH ĐỘNG CẬP NHẬT BỞI DHP THÓI QUEN Cập Nhật tham số, và hiển thị trong Figs. 7 và 8. Tương tự như LTM MSE giá trị thu được tại trung gian kỷ nguyên, và trong tất cả các buổi đào tạo khác.Một cách tiếp cận trước đó để trấn áp sự can thiệp mà không có đại diện-resenting dữ liệu LTM đề xuất để giữ trọng lượng LTM con-stant trong một nỗ lực để giữ những kỷ niệm tương ứng [4], [5]. Tuy nhiên, do tính chất phi tuyến của mạng nơ-ron, khi trọng lượng STM được sửa đổi, các giá trị cũ của trọng lượng LTM có thể không còn phù hợp với dữ liệu LTM, hoặc các khó khăn (3). Từ (4), nó là rõ ràng rằng các giá trị đó đáp ứng (3) phụ thuộc vào các giá trị của. Mô phỏng của chúng tôi xác nhận rằng, bằng cách giữ các trọng lượng LTM của mạng nơ-ron điều khiển con-stant trong thích ứng, hiệu quả của nó trên phong bì tăng cấp hủy với gia tăng nhanh chóng của LTM MSE như trọng lượng STM được Cập Nhật để giảm thiểu.Trong cách tiếp cận tối ưu hóa hạn chế của chúng tôi, tất cả trọng lượng được phép thay đổi trong đào tạo gia tăng, nhưng trọng lượng LTM thay đổi để bảo tồn bộ nhớ, trong khi trọng lượng STM thay đổi để acqui

Kết quả (Việt) 2:

Sung. 7. Ba buổi đào tạo hạn chế được minh họa trong đó STM lỗi e được giảm thiểu, và các khó khăn LTM được đáp ứng trong vòng rất nhỏ
MSEs ký hiệu là "và". Trong khi STMs mới được hình thành. Bảo quản LTM được xác minh bằng cách so sánh giá trị trung bình bình phương lỗi (MSE) của bộ điều khiển mạng neural trên trước và sau khi thích ứng. Kết quả số cho thấy rằng lỗi này vẫn gần bằng không tại mọi thời điểm. Ngoài ra, hiệu quả LTM được minh họa bằng cách kiểm tra hiệu suất của bộ điều khiển mạng lưới thần kinh trong suốt phong bì bay ổn định mức (Fig. 3) sau khi thích ứng đã xảy ra. Điều khiển được lưu theo lịch cổ điển (Phần V-A1) được sử dụng để tạo thành một dựa trên gradient tập huấn luyện LTM. Sử dụng kết quả tại mục IV, thiết lập này có thể được nhúng vào trong các chế bình đẳng (26) mà tất cả các biến được định nghĩa trong Mục IV và quảng cáo- tham gia gradient được cung cấp trong định lý 2. Mạng điều khiển thần kinh (9) có các nút, và được huấn luyện với trước khi thực hiện trực tuyến. Nếu hiệu suất của nó trở nên tối ưu phụ, các điều kiện tối ưu (25) tạo ra một mục tiêu ở mỗi bước thời gian, mà là ngay lập tức sử dụng bởi thuật toán 1 để cập nhật các trọng số của (9). Để bắt đầu thích ứng DHP, chiếc máy bay được chỉ đạo để thực hiện một góc lớn lần lượt với 60 tại (145 m / s, 6000 m). Như trường hợp trong ví dụ được cung cấp trong hình. 4, cơ động này cũng vi phạm cả hai giả định của sự chênh lệch nhỏ và động thái tách rời. Do đó, một bộ điều khiển cổ điển (23) được thiết kế đặc biệt cho điều kiện chuyến bay như vậy là không tối ưu, như có thể được xác nhận bằng cách đánh giá các điều kiện tối ưu (25). Để so sánh, bộ điều khiển mạng nơ ron được cập nhật cả hai với một RPROP thuật toán không bị giới [17] và với một thuật toán RPROP chế thực hiện gradient tiếp giáp. Việc thích nghi điều khiển mạng lưới thần kinh ràng buộc được tìm thấy để làm tốt hơn cả việc thiết kế tuyến tính và bộ điều khiển thích nghi không bị giới hạn, dẫn đến giảm tổng thể trong tổng chi phí lên đến 62,5% vào thời gian cuối cùng 10 s (so với các bộ điều khiển khác). Ngoài ra, vào cuối của cuộc diễn tập, các chế thích nghi hiệu suất mạng thần kinh nhân được tìm thấy là gần như tối ưu, như thể hiện bởi các chi phí gia tăng. Đồng thời, bằng cách thực hiện các gradient tiếp giáp, bộ điều khiển mạng lưới thần kinh buộc giữ lại bộ nhớ chính xác tập huấn luyện LTM, như thể hiện trong Bảng I, trong đó tóm tắt các MSE qua kiểm tra tại bước thời gian mẫu trong thời gian thích ứng. Có thể thấy rằng trong suốt sự phân thích ứng bộ điều khiển mạng lưới thần kinh được đào tạo với các thuật toán tối ưu hóa chế duy trì một MSE của cho các dữ liệu đầu ra, và một MSE thấp hơn so với các dữ liệu gradient. Bộ điều khiển DHP cùng được đào tạo với một thuật toán RPROP không bị giới hạn đáng kể hiệu suất tồi tệ hơn so với tập huấn luyện LTM, tăng MSE lên đến 24 đơn đặt hàng của các cường độ ngay sau khi thích ứng bắt đầu. Blues đào tạo thu được từ các buổi đào tạo mẫu được tiến hành với các thuật toán RPROP ràng buộc và không bị giới được thể hiện trong hình. 7 và 8, tương ứng. Mỗi buổi tập mẫu xảy ra vào thời điểm ngay lập tức ghi trên cốt truyện. Trong những nhạc blues đào tạo, các lỗi STM, được định nghĩa trong (5), được vẽ đối với kỷ nguyên sử dụng để giảm thiểu nó với. Các MSEs LTM cho đầu ra và gradient dữ liệu, ký hiệu, và tương ứng, được tính vào cuối mỗi buổi tập luyện bằng cách sử dụng hình. 8. Ba buổi tập huấn không bị giới được minh họa trong đó các lỗi STM e được giảm thiểu, nhưng những hạn chế LTM không hài lòng, như thể hiện bởi các MSEs lớn "và". TABLE II PERCENT THAY ĐỔI TRỌNG LƯỢNG MẠNG LƯỚI HOẠT ĐỘNG CẬP NHẬT THEO DHP ROUTINE cập nhật các thông số, và thể hiện trong Figs. 7 và 8. giá trị LTM MSE tương tự được lấy tại các thời kỳ trung gian, và trong tất cả các buổi đào tạo khác. Một cách tiếp cận trước đó để đàn áp mà không can thiệp của đại diện resenting dữ liệu LTM đề xuất để giữ trọng lượng LTM stant con- trong một nỗ lực để bảo tồn tương ứng kỷ niệm [4], [5]. Tuy nhiên, do tính chất phi tuyến của các mạng thần kinh, khi các trọng STM được sửa đổi, các giá trị cũ của các trọng LTM có thể không còn phù hợp với dữ liệu LTM, hoặc hạn chế (3). Từ (4), rõ ràng là các giá trị của thỏa mãn (3) phụ thuộc vào các giá trị của. Mô phỏng của chúng tôi xác nhận rằng, bằng cách giữ các trọng LTM của bộ điều khiển mạng lưới thần kinh stant con- trong thích ứng, hiệu quả của nó trên phong bì mức steady- hủy với sự gia tăng nhanh chóng của LTM MSE là các trọng STM được cập nhật để giảm thiểu. Trong chúng tôi hạn chế Phương pháp tối ưu hóa, tất cả các trọng số được phép thay đổi trong quá trình đào tạo gia tăng, nhưng các trọng LTM thay đổi để bảo vệ bộ nhớ, trong khi trọng lượng STM thay đổi để Acqui