To minimize LSTM's total error on a

To minimize LSTM's total error on a set of training sequences, iterative gradient descent such as backpropagation through time can be used to change each weight in proportion to its derivative with respect to the error. A major problem with gradient descent for standard RNNs is that error gradients vanish exponentially quickly with the size of the time lag between important events, as first realized in 1991.[11][12] With LSTM blocks, however, when error values are back-propagated from the output, the error becomes trapped in the memory portion of the block. This is referred to as an "error carousel", which continuously feeds error back to each of the gates until they become trained to cut off the value. Thus, regular backpropagation is effective at training an LSTM block to remember values for very long durations.

LSTM can also be trained by a combination of artificial evolution for weights to the hidden units, and pseudo-inverse or support vector machines for weights to the output units.[13] In reinforcement learning applications LSTM can be trained by policy gradient methods, evolution strategies or genetic algorithms.

Kết quả (Việt) 1:

Để giảm thiểu LSTM's tất cả các lỗi trên một tập hợp các trình tự đào tạo, lặp đi lặp lại gradient descent như backpropagation qua thời gian có thể được sử dụng để thay đổi trọng lượng mỗi theo tỷ lệ của nó phái sinh đối với các lỗi. Một vấn đề lớn với gradient descent RNNs tiêu chuẩn là rằng lỗi gradient biến mất theo cấp số nhân một cách nhanh chóng với kích thước của tụt hậu thời gian giữa các sự kiện quan trọng, như lần đầu tiên nhận ra trong năm 1991. [11] [12] với LSTM khối, Tuy nhiên, khi các giá trị lỗi là tuyên truyền trở lại từ đầu ra, các lỗi sẽ trở thành bị mắc kẹt trong phần bộ nhớ của các khối. Điều này được gọi là một "lỗi carousel", mà liên tục nguồn cấp dữ liệu lỗi trở lại cho mỗi cổng cho đến khi họ trở thành đào tạo để cắt giảm giá trị. Vì vậy, thường xuyên backpropagation là hiệu quả trong đào tạo một khối LSTM để ghi nhớ các giá trị cho thời gian rất dài.LSTM cũng có thể được huấn luyện bởi một sự kết hợp của sự tiến hóa nhân tạo đối trọng để ẩn các đơn vị và pseudo-nghịch đảo hoặc hỗ trợ vector máy cho trọng lượng cho các đơn vị đầu ra. [13] trong tăng cường việc học ứng dụng LSTM có thể được đào tạo bằng phương pháp gradient chính sách, chiến lược tiến hóa hoặc các thuật toán di truyền.

Kết quả (Việt) 2:

Để giảm thiểu tổng số lỗi LSTM trên một tập hợp các trình tự đào tạo, lặp đi lặp lại gradient descent như lan truyền ngược qua thời gian có thể được sử dụng để thay đổi mỗi trọng lượng tương ứng với dẫn xuất của nó đối với các lỗi với. Một vấn đề lớn với gradient descent cho RNNs chuẩn là gradients lỗi tan biến theo cấp số nhân một cách nhanh chóng với các kích thước của thời gian trễ giữa các sự kiện quan trọng, vì nhận ra đầu tiên vào năm 1991. [11] [12] Với khối LSTM, tuy nhiên, khi các giá trị lỗi được trở lại được truyền từ các đầu ra, các lỗi bị giữ lại trong phần bộ nhớ của khối. Điều này được gọi là một "lỗi băng chuyền", mà liên tục feeds lỗi trở lại cho mỗi cửa cho đến khi họ trở thành đào tạo để cắt đứt các giá trị. Do đó, lan truyền ngược thường xuyên có hiệu quả trong đào tạo một khối LSTM nhớ giá trị cho thời lượng rất dài.

LSTM cũng có thể được đào tạo bởi một sự kết hợp của sự tiến hóa nhân tạo cho trọng lượng cho các đơn vị ẩn, và giả nghịch đảo hoặc hỗ trợ máy vector cho trọng lượng cho các đơn vị đầu ra. [13] Trong các ứng dụng tăng cường học tập LSTM có thể được đào tạo theo phương pháp Gradient chính sách, chiến lược phát triển hoặc các thuật toán di truyền.

Kết quả (Việt) 3:

Cố gắng giảm tương ứng với một nhóm huấn luyện tổng của chuỗi lặp đi lặp lại lỗi, dốc xuống như qua thời gian có thể được dùng để so sánh với thuật toán truyền ngược lỗi và phái sinh mỗi thay đổi tỷ lệ trọng lượng.Với tiêu chuẩn RNNs dốc xuống một vấn đề chính là, sai số chỉ số độ dốc nhanh chóng biến mất thời gian giữa hai sự kiện quan trọng khác biệt kích thước, là lần đầu tiên thực hiện năm 1991. [11] [12] với khối, tuy nhiên, khi giá trị xuất lỗi từ lỗi của Lan, thành phần bộ nhớ bị mắc kẹt trong tòa nhà.Đó là được gọi là "sai lầm Carrossel", tiếp tục khiến mọi sai lầm về một cổng, cho đến khi họ trở thành huấn luyện để cắt đứt trị giá.Vì vậy, thông thường lây lan là hiệu quả đào tạo khối nhớ rất lâu dài của giá trị.Phương cũng có thể huấn luyện kết hợp nhân tạo cho giai đoạn tiến hóa mối hiểm họa của đơn vị, và giả nghịch hay đơn vị xuất máy vectơ hỗ trợ. [13] trong học tăng cường các ứng dụng của bên có thể thông qua chính sách đào tạo gradient của cách chiến lược, sự tiến hóa và giải thuật di truyền.