A general point to be made here is

A general point to be made here is that different cognitive tasks often require different architec¬tures. This point can be illustrated by comparing the motion buffer approach presented here with simple recurrent networks of the sort proposed by Elman (1988), and illustrated in Figure 6. These networks and others which are similar in design have gained considerable currency in connectionist sequence processing applications generally, despite their being appropriate only for a limited range of tasks. Simple recurrent networks copy their hidden unit representations down to a set of state units, which then supply input to the hidden layer at the next time step. This makes them similar in overall form to finite-state automata: at a given point in time, the output and next state depend on the current input and current state. Given their formal similarity to finite-state automata, it is not surprising that networks of this sort have had some success in the induction of regular gram¬mars (Servan-Schreiber et al. 1988), and in the domain of grammatical induction generally (Stolcke 1990b). However, they are quite inappropriate for the task on which we are currently focusing, for at least two reasons. In the first place, there is no separate representation of the initial input, or the source in the terminology we are adopting here, so the network must learn to retain this information in its state representation whenever this is relevant, which it often is. This can add

considerably to the difficulty of the learning task. In addition, in simple recurrent networks there is no straightforward representation of the fact that an event has occurred independent of the time step during which it occurred. These predicted disadvantages are borne out by empirical testing, which has shown that the motion buffer approach outperforms simple recurrent networks when applied to the task of learning closed-class categorizations of spatial relations (Regier 1992). Of course, the motion buffer approach, with its deliberate disregard for intermediate sequentiality of events, would be essentially useless for grammatical induction or other tasks in which temporally intermediate sequentiality is of the essence.

Kết quả (Việt) 1:

Một điểm chung được thực hiện ở đây là nhiệm vụ nhận thức khác nhau thường yêu cầu khác nhau architec¬tures. Điểm này có thể được minh họa bằng cách so sánh chuyển động đệm phương pháp tiếp cận trình bày ở đây với mạng đơn giản tái phát của các loại được đề xuất bởi Elman (1988), và minh họa trong hình 6. Những mạng lưới này và những người khác tương tự như trong thiết kế đã thu được thu đáng kể trong việc tự xử lý các ứng dụng nói chung, mặc dù họ là thích hợp cho một phạm vi giới hạn của công việc. Mạng tái phát đơn giản sao chép của họ đại diện đơn vị ẩn xuống đến một tập hợp các đơn vị nhà nước, sau đó cung cấp đầu vào cho các lớp ẩn tại thời gian bước tiếp theo. Điều này làm cho chúng tương tự như trong hình thức tổng thể để automata hữu hạn nhà nước: tại một điểm nhất định trong thời gian, đầu ra và trạng thái tiếp theo tùy thuộc vào đầu vào hiện tại và trạng thái hiện tại. Cho tương tự chính thức của automata hữu hạn nhà nước, nó không phải là đáng ngạc nhiên rằng mạng của loại này có một số thành công cảm ứng thường xuyên gram¬mars (Servan-Schreiber et al. 1988), và trong vùng cảm ứng ngữ pháp thường (Stolcke 1990b). Tuy nhiên, họ là khá không thích hợp cho công việc mà chúng ta đang hiện đang tập trung, cho ít nhất hai lý do. Ở nơi đầu tiên, không không đại diện riêng biệt của ban đầu của bạn nhập vào, hoặc các nguồn trong các thuật ngữ chúng tôi đang áp dụng ở đây, vì vậy mạng phải tìm hiểu để giữ lại thông tin này trong đại diện tiểu bang của nó bất cứ khi nào điều này có liên quan, mà nó thường xuyên. Điều này có thể thêm đáng kể đến những khó khăn trong việc học tập. Ngoài ra, ở mạng tái phát đơn giản là không có đại diện đơn giản của thực tế, một sự kiện đã xảy ra độc lập với bước thời gian trong thời gian đó nó xảy ra. Những dự đoán nhược điểm mọc bằng thực nghiệm thử nghiệm, mà đã cho thấy rằng phương pháp tiếp cận vùng đệm chuyển động nhanh hơn so với mạng đơn giản tái phát khi áp dụng cho các nhiệm vụ học tập lớp đóng phân loại của quan hệ không gian (Regier 1992). Tất nhiên, phương pháp tiếp cận chuyển động đệm với nó cố ý bỏ qua cho sequentiality trung gian của các sự kiện, sẽ được về cơ bản vô ích cho ngữ pháp cảm ứng hoặc các tác vụ khác, trong đó sequentiality tạm trung gian là các chất.

Kết quả (Việt) 2:

Một điểm chung được thực hiện ở đây là các nhiệm vụ nhận thức khác nhau thường đòi hỏi architec¬tures khác nhau. Điểm này có thể được minh họa bằng cách so sánh các phương pháp đệm chuyển động trình bày ở đây với các mạng lưới tái phát đơn giản của các loại bằng Elman (1988) đề xuất, và được minh họa trong Hình 6. Các mạng lưới này và những người khác mà là tương tự như trong thiết kế đã đạt được đồng tiền đáng kể trong việc xử lý chuỗi connectionist các ứng dụng nói chung, mặc dù họ là chỉ thích hợp cho một phạm vi giới hạn của nhiệm vụ. Mạng tái phát đơn giản sao chép đại diện đơn vị ẩn của họ cho một tập hợp các đơn vị nhà nước, sau đó cung cấp đầu vào cho các lớp ẩn tại bước thời gian tới. Điều này làm cho chúng tương tự như trong hình thức tổng thể để automata hữu hạn nhà nước: tại một thời điểm cho trước, sản lượng và trạng thái tiếp theo phụ thuộc vào đầu vào hiện tại và trạng thái hiện tại. Với sự tương đồng chính thức của họ để hữu hạn nhà nước automata, nó không phải là đáng ngạc nhiên rằng các mạng loại này đã có một số thành công trong sự cảm ứng của gram¬mars thường xuyên (Servan-Schreiber et al. 1988), và trong lĩnh vực cảm ứng ngữ pháp thông thường ( Stolcke 1990b). Tuy nhiên, họ là khá phù hợp cho công việc mà chúng tôi đang tập trung, ít nhất hai lý do. Ở nơi đầu tiên, không có đại diện riêng biệt của đầu vào ban đầu, hoặc các nguồn trong các thuật ngữ chúng tôi đang áp dụng ở đây, do đó, mạng phải học để giữ lại thông tin này trong đại diện nhà nước của mình bất cứ khi nào đây là có liên quan, mà nó thường là. Điều này có thể thêm đáng kể vào độ khó của nhiệm vụ học tập. Ngoài ra, trong các mạng tái phát đơn giản không có đại diện đơn giản của thực tế là một sự kiện đã xảy ra độc lập với bước thời gian mà nó xảy ra. Những nhược điểm này dự đoán được sinh ra bằng cách kiểm tra thực nghiệm, trong đó đã chỉ ra rằng cách tiếp cận đệm chuyển động nhanh hơn so với các mạng lưới tái phát đơn giản khi áp dụng cho các nhiệm vụ học tập Phân Loại của quan hệ không gian lớp học đóng cửa (Regier 1992). Tất nhiên, cách tiếp cận đệm chuyển động, bất chấp ý của nó đối với tính liên tục trung gian của các sự kiện, sẽ được về cơ bản vô dụng để khởi ngữ pháp hoặc nhiệm vụ khác, trong đó tính liên tục về thời gian trung gian là điều cốt yếu.