Learning Continuous Phrase Represen

Learning Continuous Phrase Representations and
Syntactic Parsing with Recursive Neural Networks
Richard Socher, Christopher D. Manning, Andrew Y. Ng
Department of Computer Science
Stanford University
[e-mail], [e-mail], [e-mail]
Abstract
Natural language parsing has typically been done with small sets of discrete cate-
gories such as NP and VP, but this representation does not capture the full syntactic
nor semantic richness of linguistic phrases, and attempts to improve on this by lex-
icalizing phrases only partly address the problem at the cost of huge feature spaces
and sparseness. To address this, we introduce a recursive neural network architec-
ture for jointly parsing natural language and learning vector space representations
for variable-sized inputs. At the core of our architecture are context-sensitive re-
cursive neural networks (CRNN). These networks can induce distributed feature
representations for unseen phrases and provide syntactic information to accurately
predict phrase structure trees. Most excitingly, the representation of each phrase
also captures semantic information: For instance, the phrases “decline to com-
ment” and “would not disclose the terms” are close by in the induced embedding
space. Our current system achieves an unlabeled bracketing F-measure of 92.1%
on the Wall Street Journal dataset for sentences up to length 15.

Kết quả (Việt) 1:

Học tập liên tục cụm từ đại diện vàPhân tích cú pháp với mạng nơ-ron đệ quyRichard Socher, Christopher D. Manning, Andrew Y. NgVùng máy tính khoa họcĐại học [e-mail], [e-mail], [e-mail]óm tắtPhân tích cú pháp ngôn ngữ tự nhiên thường đã được thực hiện với nhỏ bộ rời rạc cate-gories chẳng hạn như NP và VP, nhưng đại diện này không nắm bắt cú pháp đầy đủcũng không phải các phong phú ngữ nghĩa của cụm từ ngôn ngữ, và các nỗ lực để cải thiện về điều này bởi lex-icalizing cụm từ chỉ một phần giải quyết vấn đề với chi phí của các tính năng lớn tạivà sparseness. Để giải quyết điều này, chúng tôi giới thiệu một đệ quy mạng nơ-ron architec-Ture cho cùng phân tích cú pháp ngôn ngữ tự nhiên và học đại diện không gian vectơcho đầu vào thay đổi kích cỡ. Tại cốt lõi của chúng tôi kiến trúc là context-sensitive re-mạng nơ-ron cursive (CRNN). Các mạng này có thể gây ra tính năng phân phốiđại diện cho cụm từ thần bí và cung cấp cú pháp thông tin cho chính xácdự đoán các cụm từ cơ cấu cây. Đặt excitingly, các đại diện của mỗi cụm từcũng bắt ngữ nghĩa thông tin: ví dụ, các cụm từ "từ chối để com -ment"và"sẽ không tiết lộ các điều khoản"nằm gần đó trong cảm ứng nhúngkhông gian. Hệ thống hiện tại của chúng tôi đạt được một ổ bracketing F-biện pháp 92,1%trên số liệu Wall Street Journal cho câu tối đa chiều dài 15.

Kết quả (Việt) 2:

Học Đại diện cụm từ liên tục và
cú pháp Phân tích cú pháp với Recursive Neural Networks
Richard Socher, Christopher D. Manning, Andrew Y. Ng
Sở Khoa học máy tính
Đại học Stanford
[e-mail], [e-mail], [e-mail]
Tóm tắt
tự nhiên phân tích ngôn ngữ đã thường được thực hiện với bộ nhỏ của trù rời rạc
gories như NP và VP, nhưng đại diện này không nắm bắt được đầy đủ cú pháp
phong phú cũng không ngữ nghĩa của cụm từ ngôn ngữ, và cố gắng để cải thiện điều này bằng cách lex-
cụm từ icalizing chỉ một phần địa chỉ vấn đề với chi phí của không gian tính năng rất lớn
và thưa thớt. Để giải quyết vấn đề này, chúng tôi giới thiệu một mạng lưới thần kinh trúc đệ quy
ture cho cùng phân tích ngôn ngữ tự nhiên và học tập không gian vector đại diện
cho yếu tố đầu vào biến có kích thước. Tại cốt lõi của kiến trúc của chúng tôi là tái bối cảnh nhạy cảm
mạng nơ-ron chữ thảo (CRNN). Các mạng lưới này có thể gây ra tính năng phân phối
đại diện cho các cụm từ vô hình và cung cấp thông tin cú pháp chính xác để
dự đoán cấu trúc cây cụm từ. Sôi nổi nhất, các đại diện của mỗi cụm từ
cũng nắm bắt được thông tin ngữ nghĩa: Ví dụ, cụm từ "suy giảm để so
phát "và" sẽ không tiết lộ các điều khoản "là gần trong nhúng gây ra
không gian. Hệ thống hiện tại của chúng tôi đạt được một bracketing F-measure không có nhãn của 92,1%
trên số liệu Wall Street Journal cho câu đến chiều dài 15.