An LSTM network is an artificial ne

An LSTM network is an artificial neural network that contains LSTM units instead of, or in addition to, other network units. An LSTM unit is a recurrent network unit that excels at remembering values for either long or short durations of time. The key to this ability is that it uses no activation function within its recurrent components. Thus, the stored value is not iteratively squashed over time, and the gradient or blame term does not tend to vanish when Backpropagation through time is applied to train it.

LSTM units are often implemented in "blocks" containing several LSTM units. This design is typical with "deep" multi-layered neural networks, and facilitates implementations with parallel hardware. In the equations below, each variable in lowercase italics represents a vector with a size equal to the number of LSTM units in the block.

LSTM blocks contain three or four "gates" that they use to control the flow of information into or out of their memory. These gates are implemented using the logistic function to compute a value between 0 and 1. Multiplication is applied with this value to partially allow or deny information to flow into or out of the memory. For example, an "input gate" controls the extent to which a new value flows into the memory. A "forget gate" controls the extent to which a value remains in memory. And, an "output gate" controls the extent to which the value in memory is used to compute the output activation of the block. (In some implementations, the input gate and forget gate are combined into a single gate. The intuition for combining them is that the time to forget is when a new value worth remembering becomes available.)

The only weights in an LSTM block ( {displaystyle W} W and {displaystyle U} U) are used to direct the operation of the gates. These weights occur between the values that feed into the block (including the input vector {displaystyle x_{t}} x_{t}, and the output from the previous time step {displaystyle h_{t-1}} {displaystyle h_{t-1}}) and each of the gates. Thus, the LSTM block determines how to maintain its memory as a function of those values, and training its weights causes the LSTM block to learn the function that minimizes loss. LSTM blocks are usually trained with Backpropagation through time.

Kết quả (Việt) 1:

Một mạng lưới LSTM là một mạng nơ-ron nhân tạo có chứa đơn vị LSTM thay vì, hoặc thêm vào, các đơn vị khác của mạng. Đơn vị LSTM là một đơn vị tái phát mạng vượt trội tại ghi nhớ các giá trị cho thời gian dài hay ngắn của thời gian. Chìa khóa để khả năng này là nó sử dụng không có chức năng kích hoạt trong các thành phần tái phát. Vì vậy, các giá trị được lưu trữ không lặp đi lặp lại đè bẹp theo thời gian, và thuật ngữ độ dốc hoặc đổ lỗi cho không có xu hướng biến mất khi Backpropagation thông qua thời gian được áp dụng để đào tạo nó.Đơn vị LSTM thường được thực hiện trong "khối" có chứa một số LSTM đơn vị. Thiết kế này là điển hình với "sâu" đa lớp thần kinh mạng lưới, và tạo điều kiện cho việc triển khai song song phần cứng. Trong phương trình dưới đây, mỗi biến in nghiêng chữ thường đại diện cho một vectơ với một kích thước bằng số LSTM đơn vị trong khối.LSTM khối có chứa ba hoặc bốn "cửa" mà họ sử dụng để kiểm soát luồng thông tin vào hoặc ra khỏi bộ nhớ của họ. Các cổng được thực hiện bằng cách sử dụng các chức năng hậu cần để tính toán các giá trị giữa 0 và 1. Nhân được áp dụng với các giá trị này để một phần cho phép hoặc từ chối các thông tin để chảy vào hoặc ra khỏi bộ nhớ. Ví dụ, một "cổng vào" kiểm soát mức độ mà một giá trị mới chảy vào bộ nhớ. "Quên gate" kiểm soát trong phạm vi mà giá trị vẫn còn trong bộ nhớ. Và, một "cửa ngõ ra" điều khiển mức độ mà các giá trị trong bộ nhớ được sử dụng để tính toán kích hoạt đầu ra của các khối. (Trong một số hiện thực, đầu vào cổng và quên gate được kết hợp thành một cổng đơn. Trực giác cho kết hợp đó là thời gian để quên khi một giá trị mới đáng ghi nhớ trở nên có sẵn.)Trọng lượng chỉ trong một khối LSTM ({displaystyle W} W và {displaystyle U} U) được sử dụng để trực tiếp hoạt động của cổng. Trọng lượng các xảy ra giữa các giá trị vào khối (bao gồm cả đầu vào vector {displaystyle x_ {t}} x_ {t}, và đầu ra từ thời gian bước trước {displaystyle h_ {t-1}} {displaystyle h_ {t-1}}) và mỗi người trong số các cửa. Do đó, khối LSTM xác định làm thế nào để duy trì bộ nhớ của nó như là một chức năng của các giá trị, và đào tạo trọng lượng của nó gây ra các khối LSTM để tìm hiểu các chức năng giảm thiểu thiệt hại. LSTM khối thường được đào tạo với Backpropagation qua thời gian.

Kết quả (Việt) 2:

Một mạng lưới LSTM là một mạng lưới thần kinh nhân tạo có chứa đơn vị LSTM thay vì, hoặc bổ sung cho các đơn vị khác trong mạng. Một đơn vị LSTM là một đơn vị mạng tái phát mà trội về việc ghi nhớ các giá trị cho cả thời gian dài hoặc ngắn thời gian. Chìa khóa cho khả năng này là nó sử dụng không có chức năng kích hoạt trong các hợp phần tái phát của nó. Như vậy, giá trị được lưu trữ không được lặp đi lặp lại đè bẹp theo thời gian, và thời hạn gradient hoặc đổ lỗi không có xu hướng biến mất khi lan truyền ngược qua thời gian được áp dụng để đào tạo nó.

Đơn vị LSTM thường được thực hiện trong "khối" có chứa một số đơn vị LSTM. Thiết kế này là điển hình với các mạng nơron nhiều lớp "sâu", và tạo điều kiện triển khai thực hiện với phần cứng song song. Trong các phương trình dưới đây, mỗi biến in nghiêng chữ thường đại diện cho một vector có kích thước bằng với số lượng các đơn vị LSTM trong khối.

LSTM khối chứa ba hoặc bốn "cửa" mà họ sử dụng để kiểm soát dòng chảy của thông tin vào hoặc ra khỏi bộ nhớ của họ. Những cổng này được thực hiện bằng cách sử dụng chức năng hậu cần để tính toán một giá trị giữa 0 và 1. Phép nhân được áp dụng với giá trị này để cho phép một phần hoặc phủ nhận thông tin chảy vào hoặc ra khỏi bộ nhớ. Ví dụ, một "cổng vào" kiểm soát mức độ mà một giá trị mới chảy vào trong bộ nhớ. Một "quên cửa" kiểm soát mức độ mà một giá trị vẫn còn trong bộ nhớ. Và, một "cửa ra" kiểm soát mức độ mà các giá trị trong bộ nhớ được sử dụng để tính toán kích hoạt đầu ra của khối. (Trong một số hiện thực, các cổng đầu vào và quên khẩu được kết hợp vào một cổng duy nhất.

Trực giác cho kết hợp chúng là thời gian để quên là khi một giá trị mới đáng ghi nhớ trở nên có sẵn.) Các trọng chỉ trong một khối LSTM ({ displaystyle W} W và { displaystyle U} U) được sử dụng để chỉ đạo hoạt động của cửa. Các trọng xảy ra giữa các giá trị mà ăn vào khối (bao gồm cả các vector đầu vào { displaystyle X_ {t}} X_ {t}, và sản lượng từ các bước thời gian trước đó { displaystyle h_ {t-1}} { displaystyle h_ {t-1}}) và mỗi cổng. Như vậy, khối LSTM xác định làm thế nào để duy trì bộ nhớ của nó như là một chức năng của những giá trị, và đào tạo trọng lượng của nó gây ra các khối LSTM để tìm hiểu những chức năng giảm thiểu thiệt hại. Khối LSTM thường được huấn luyện với lan truyền ngược qua thời gian. Trực giác cho kết hợp chúng là thời gian để quên là khi một giá trị mới đáng ghi nhớ trở nên có sẵn.) Các trọng chỉ trong một khối LSTM ({ displaystyle W} W và { displaystyle U} U) được sử dụng để chỉ đạo hoạt động của cửa. Các trọng xảy ra giữa các giá trị mà ăn vào khối (bao gồm cả các vector đầu vào { displaystyle X_ {t}} X_ {t}, và sản lượng từ các bước thời gian trước đó { displaystyle h_ {t-1}} { displaystyle h_ {t-1}}) và mỗi cổng. Như vậy, khối LSTM xác định làm thế nào để duy trì bộ nhớ của nó như là một chức năng của những giá trị, và đào tạo trọng lượng của nó gây ra các khối LSTM để tìm hiểu những chức năng giảm thiểu thiệt hại. Khối LSTM thường được huấn luyện với lan truyền ngược qua thời gian. Trực giác cho kết hợp chúng là thời gian để quên là khi một giá trị mới đáng ghi nhớ trở nên có sẵn.) Các trọng chỉ trong một khối LSTM ({ displaystyle W} W và { displaystyle U} U) được sử dụng để chỉ đạo hoạt động của cửa. Các trọng xảy ra giữa các giá trị mà ăn vào khối (bao gồm cả các vector đầu vào { displaystyle X_ {t}} X_ {t}, và sản lượng từ các bước thời gian trước đó { displaystyle h_ {t-1}} { displaystyle h_ {t-1}}) và mỗi cổng. Như vậy, khối LSTM xác định làm thế nào để duy trì bộ nhớ của nó như là một chức năng của những giá trị, và đào tạo trọng lượng của nó gây ra các khối LSTM để tìm hiểu những chức năng giảm thiểu thiệt hại. Khối LSTM thường được huấn luyện với lan truyền ngược qua thời gian. ) Các trọng chỉ trong một khối LSTM ({ displaystyle W} W và { displaystyle U} U) được sử dụng để chỉ đạo hoạt động của các cửa. Các trọng xảy ra giữa các giá trị mà ăn vào khối (bao gồm cả các vector đầu vào { displaystyle X_ {t}} X_ {t}, và sản lượng từ các bước thời gian trước đó { displaystyle h_ {t-1}} { displaystyle h_ {t-1}}) và mỗi cổng. Như vậy, khối LSTM xác định làm thế nào để duy trì bộ nhớ của nó như là một chức năng của những giá trị, và đào tạo trọng lượng của nó gây ra các khối LSTM để tìm hiểu những chức năng giảm thiểu thiệt hại. Khối LSTM thường được huấn luyện với lan truyền ngược qua thời gian. ) Các trọng chỉ trong một khối LSTM ({ displaystyle W} W và { displaystyle U} U) được sử dụng để chỉ đạo hoạt động của các cửa. Các trọng xảy ra giữa các giá trị mà ăn vào khối (bao gồm cả các vector đầu vào { displaystyle X_ {t}} X_ {t}, và sản lượng từ các bước thời gian trước đó { displaystyle h_ {t-1}} { displaystyle h_ {t-1}}) và mỗi cổng. Như vậy, khối LSTM xác định làm thế nào để duy trì bộ nhớ của nó như là một chức năng của những giá trị, và đào tạo trọng lượng của nó gây ra các khối LSTM để tìm hiểu những chức năng giảm thiểu thiệt hại. Khối LSTM thường được huấn luyện với lan truyền ngược qua thời gian. và sản lượng từ các bước thời gian trước đó { displaystyle h_ {t-1}} { displaystyle h_ {t-1}}) và mỗi cổng. Như vậy, khối LSTM xác định làm thế nào để duy trì bộ nhớ của nó như là một chức năng của những giá trị, và đào tạo trọng lượng của nó gây ra các khối LSTM để tìm hiểu những chức năng giảm thiểu thiệt hại. khối LSTM thường được huấn luyện với lan truyền ngược qua thời gian. và sản lượng từ các bước thời gian trước đó { displaystyle h_ {t-1}} { displaystyle h_ {t-1}}) và mỗi cổng. Như vậy, khối LSTM xác định làm thế nào để duy trì bộ nhớ của nó như là một chức năng của những giá trị, và đào tạo trọng lượng của nó gây ra các khối LSTM để tìm hiểu những chức năng giảm thiểu thiệt hại. khối LSTM thường được huấn luyện với lan truyền ngược qua thời gian.

Kết quả (Việt) 3:

Một mạng lưới là mạng nơ - ron nhân tạo, bao gồm đơn vị thay thế tương ứng, hoặc đơn vị khác ngoại trừ, mạng lưới.Một đơn vị là một đơn vị chuyên môn bình thường mạng tương ứng với ký ức ngắn hay dài thời gian trị giá.Khả năng này của Key là, nó sử dụng nó trong thành phần thường xuyên không có chức năng hoạt động.Do đó, lưu trữ giá trị không phải lặp đi lặp lại đè bẹp. Theo thời gian, và độ dốc hay trách từ không biến mất khi vượt thời gian của thuật toán truyền ngược được huấn luyện.LSTM đơn vị thường xuyên thực hiện "miếng" chứa vài phương đơn vị.Thiết kế này là điển hình "sâu" tiền dày của mạng lưới thần kinh, và có lợi cho thực hiện song song với phần cứng.Phương trình dưới đây, dùng chữ thường chữ nghiêng mọi biến số đại diện cho một kích thước bằng khối các đơn vị tương đương số vector.Đồng gồm ba hoặc bốn "cổng", họ sử dụng điều khiển lưu thông tin vào hoặc ra khỏi ký ức của họ.Những cánh cửa hàm Logistic là sử dụng để tính toán giá trị đạt được giữa 0 và 1.Phép nhân áp dụng giá trị này, để cho phép hoặc từ chối thông tin phần chảy vào hoặc thoát khỏi bộ nhớ.Ví dụ, một "gõ cửa" kiểm soát ở một giá trị mới chảy vào mức độ của bộ nhớ.Một "lãng quên cửa" kiểm soát một giá trị ở mức độ trong ký ức.Và, một "đầu ra cửa" kiểm soát ở trong bộ nhớ được dùng để tính toán giá trị nên đồng xuất mức độ hoạt động.Ở một số thành các cửa và quên gõ cửa, bị sáp nhập thành một cánh cửa.Kết hợp với trực giác của họ là quên thời gian là khi một giá trị của ký ức mới xứng đáng trở nên có sẵn.Trong một khối duy nhất (LSTM [] và [displaystyle displaystyle W u] U) là dùng để hướng dẫn hoạt động cửa.Những giá trị xảy ra giữa thành Đô (bao gồm cả nhập dữ liệu vectơ [displaystyle x_ {T}] x_ {T}, và kết xuất từng bước tổ chức từ thời gian của [] [] [displaystyle h_ T-1 displaystyle h_ [T-1]]) và mỗi cánh cửa.Vì vậy, nên quyết định cách giữ cho những ký ức về khối chức năng giá trị của nó dẫn đến khối lượng, huấn luyện LSTM học chức năng, giảm thiểu thiệt hại.LSTM. Toà nhà đã được thường được huấn luyện, vượt thời gian của thuật toán truyền ngược.