1.2 Methods of computational lingui

1.2 Methods of computational linguistics

The methods employed in theoretical and practical research in computational linguistics have often drawn upon theories and findings in theoretical linguistics, philosophical logic, cognitive science (especially psycholinguistics), and of course computer science. However, early work from the mid-1950s to around 1970 tended to be rather theory-neutral, the primary concern being the development of practical techniques for such applications as MT and simple QA. In MT, central issues were lexical structure and content, the characterization of “sublanguages” for particular domains (for example, weather reports), and the transduction from one language to another (for example, using rather ad hoc graph transformation grammars or transfer grammars). In QA, the concern was with characterizing the question patterns encountered in a specific domain, and the relationship of these question patterns to the forms in which answers might stored, for instance in a relational database.

By the mid-1960s a number of researchers emboldened by the increasing power and availability of general-purpose computers, and inspired by the dream of human-level artificial intelligence, were designing systems aimed at genuine language understanding and dialogue. The techniques and theoretical underpinnings employed varied greatly. An example of a program minimally dependent on linguistic or cognitive theory was Joseph Weizenbaum's ELIZA program, intended to emulate (or perhaps caricature) a Rogerian psychiatrist. ELIZA relied on matching user inputs to stored patterns (brief word sequences interspersed with numbered slots, to be filled from the input), and returned one of a set of output templates associated with the matched input pattern, instantiated with material from the input. While ELIZA and its modern chatbot descendants are often said to rely on mere trickery, it can be argued that human verbal behavior is to some degree reflexive in the manner of ELIZA, i.e., we function in “preprogrammed” or formulaic manner in certain situations, for example, in exchanging greetings, or in responding at a noisy party to comments whose contents, apart from an occasional word, eluded us.

A very different perspective on linguistic processing was proffered in the early years by researchers who took their cue from ideas about associative processes in the brain. For example,
M. Ross Quillian (1968) proposed a model of word sense disambiguation based on “spreading activation” in a network of concepts (typically corresponding to senses of nouns) interconnected through relational links (typically corresponding to senses of verbs or prepositions). Variants of this “semantic memory” model were pursued by researchers such as Rumelhart, Lindsay and Norman (1972), and remain as an active research paradigm in computational models of language and cognition. Another psychologically inspired line of work was initiated in the 1960s and pursued for over two decades by Roger Schank and his associates, but in his case the goal was full story understanding and inferential question answering. A central tenet of the work was that the representation of sentential meaning as well as world knowledge centered around a few (e.g.,
11) action primitives, and inference was driven by rules associated primarily with these primitives; (a prominent exponent of a similar view was Yorick Wilks). Perhaps the most important aspect of Schank's work was the recognition that language understanding and inference were heavily dependent on a large store of background knowledge, including knowledge of numerous “scripts” (prototypical ways in which familiar kinds of complex events, such as dining at a restaurant, unfold) and plans (prototypical ways in which people attempt to accomplish their goals) (Schank & Abelson 1977).

More purely AI-inspired approaches that also emerged in the 1960s were exemplified in systems such as Sad Sam (Lindsay 1963), Sir (Raphael 1968) and Student (Bobrow 1968). These featured devices such as pattern matching/transduction for analyzing and interpreting restricted subsets of English, knowledge in the form of relational hierarchies and attribute-value lists, and QA methods based on graph search, formal deduction protocols and numerical algebra. An influential idea that emerged slightly later was that knowledge in AI systems should be framed procedurally rather than declaratively—to know something is to be able to perform certain functions (Hewitt 1969). Two quite impressive systems that exemplified such a methodology were shrdlu (Winograd 1972) and Lunar (Woods et al. 1972), which contained sophisticated proceduralized grammars and syntax-to-semantics mapping rules, and were able to function fairly robustly in their “micro-domains” (simulated blocks on a table, and a lunar rock database, respectively). In addition, shrdlu featured significant planning abilities, enabled by the microplanner goal-chaining language (a precursor of Prolog). Difficulties that remained for all of these approaches were extending linguistic coverage and the reliability of parsing and interpretation, and most of all, moving from microdomains, or coverage of a few paragraphs of text, to more varied, broader domains. Much of the difficulty of scaling up was attributed to the “knowledge acquisition bottleneck”—the difficulty of coding or acquiring the myriad facts and rules evidently required for more general understanding. Classic collections containing several articles on the early work mentioned in the last two paragraphs are Marvin Minsky's Semantic Information Processing (1968) and Schank and Colby's Computer Models of Thought and Language (1973).

Since the 1970s, there has been a gradual trend away from purely procedural approaches to ones aimed at encoding the bulk of linguistic and world knowledge in more understandable, modular, re-usable forms, with firmer theoretical foundations. This trend was enabled by the emergence of comprehensive syntactico-semantic frameworks such as Generalized Phrase Structure Grammar (GPSG), Head-driven Phrase Structure Grammar (HPSG), Lexical-Functional Grammar (LFG),

Tree-Adjoining Grammar (TAG), and Combinatory Categorial Grammar (CCG), where in each case close theoretical attention was paid both to the computational tractability of parsing, and the mapping from syntax to semantics. Among the most important developments in the latter area were Richard Montague's profound insights into the logical (especially intensional) semantics of language, and Hans Kamp's and Irene Heim's development of Discourse Representation Theory (DRT), offering a systematic, semantically formal account of anaphora in language.

A major shift in nearly all aspects of natural language processing began in the late 1980s and was virtually complete by the end of 1995: this was the shift to corpus-based, statistical approaches (signalled for instance by the appearance of two special issues on the subject by the quarterly Computational Linguistics in 1993). The new paradigm was enabled by the increasing availability and burgeoning volume of machine-readable text and speech data, and was driven forward by the growing awareness of the importance of the distributional properties of language, the development of powerful new statistically based learning techniques, and the hope that these techniques would overcome the scalability problems that had beset computational linguistics (and more broadly AI) since its beginnings.

The corpus-based approach has indeed been quite successful in producing comprehensive, moderately accurate speech recognizers, part-of-speech (POS) taggers, parsers for learned probabilistic phrase-structure grammars, and even MT and text-based QA systems and summarization systems. However, semantic processing has been restricted to rather shallow aspects, such as extraction of specific data concerning specific kinds of events from text (e.g., location, date, perpetrators, victims, etc., of terrorist bombings) or extraction of clusters of argument types, relational tuples, or paraphrase sets from text corpora. Currently, the corpus- based, statistical approaches are still dominant, but there appears to be a growing movement towards integration of formal logical approaches to language with corpus-based statistical approaches in order to achieve deeper understanding and more intelligent behavior in language comprehension and dialogue systems. There are also efforts to combine connectionist and neural-net approaches with symbolic and logical ones. The following sections will elaborate on many of the topics touched on above. General references for computational linguistics are Allen 1995, Jurafsky and Martin 2009, and Clark et al. 2010.

Kết quả (Việt) 1:

1.2 phương pháp của ngôn ngữ học tính toánPhương pháp làm việc trong nghiên cứu lý thuyết và thực tế trong ngôn ngữ học tính toán thường đã rút ra dựa trên lý thuyết và những phát hiện trong lý thuyết ngôn ngữ học, logic triết học, khoa học nhận thức (đặc biệt là psycholinguistics), và dĩ nhiên Khoa học máy tính. Tuy nhiên, đầu công việc từ giữa thập niên 1950 tới khoảng 1970 có xu hướng được khá lý thuyết trung lập, chủ đề chính là sự phát triển của các kỹ thuật thiết thực cho các ứng dụng như MT và bảo đảm chất lượng đơn giản. Ở MT, vấn đề Trung tâm là cơ cấu lexical và nội dung, các đặc tính của "sublanguages" cho các tên miền cụ thể (ví dụ, thời tiết báo cáo), và dẫn truyền từ một ngôn ngữ khác (ví dụ, bằng cách sử dụng đồ thị thay vì quảng cáo hoc chuyển đổi grammars hoặc chuyển grammars). Trong bảo đảm chất lượng, mối quan tâm là với characterizing những mẫu câu hỏi gặp phải trong một tên miền cụ thể, và mối quan hệ của các mô hình câu hỏi cho các hình thức trong đó câu trả lời có thể được lưu trữ, ví dụ trong một cơ sở dữ liệu quan hệ.Giữa những năm 1960, một số nhà nghiên cứu khuyến khích tin tưởng bởi sức mạnh ngày càng tăng và tính khả dụng của máy tính chung mục đích, và cảm hứng của ước mơ của con người-cấp độ trí tuệ nhân tạo, thiết kế hệ thống nhằm mục đích sự hiểu biết ngôn ngữ chính hãng và đối thoại. Các kỹ thuật và nền tảng lý thuyết làm việc khác nhau rất nhiều. Một ví dụ về một chương trình ít phụ thuộc vào ngôn ngữ hoặc nhận thức lý thuyết là chương trình ELIZA Joseph Weizenbaum, nhằm mục đích mô phỏng (hoặc có lẽ bức tranh biếm họa) một bác sĩ tâm thần Rogerian. ELIZA dựa trên phù hợp với đầu vào người dùng để lưu trữ mẫu (ngắn từ chuỗi xen kẽ với số khe cắm được lấp đầy từ đầu vào), và trở lại một trong một tập hợp các sản lượng mẫu liên kết với các mô hình đầu vào phù hợp, instantiated với các vật liệu từ các đầu vào. Trong khi ELIZA và các hậu duệ hiện đại chatbot thường được biết đến dựa vào trickery chỉ, nó có thể lập luận rằng hành vi bằng lời nói con người là đến một mức độ suy nghi theo cách của ELIZA, tức là, chúng tôi chức năng trong "preprogrammed" hoặc công thức cách trong tình huống nhất định, ví dụ, trong trao đổi lời chào hoặc đáp ứng tại một bữa tiệc ồn ào với ý kiến có nội dung, ngoài một chữ thường xuyên , lảng tránh cho chúng tôi. Một cái nhìn rất khác nhau về xử lý ngôn ngữ đã nêu trong những năm đầu của nhà nghiên cứu đã cue của họ từ những ý tưởng về quy trình kết hợp trong não. Ví dụ,M. Ross Quillian (1968) đã đề xuất một mô hình định hướng ý nghĩa từ dựa trên "lây lan kích hoạt" trong một mạng lưới các khái niệm (thông thường tương ứng với các giác quan của danh từ) nối liền với nhau thông qua quan hệ liên kết (thông thường tương ứng với các giác quan của giới từ hoặc động từ). Các biến thể của mô hình "ngữ nghĩa bộ nhớ" này đã được theo đuổi bởi các nhà nghiên cứu chẳng hạn như Rumelhart, Lindsay và Norman (1972), và biến thành một mô hình hoạt động nghiên cứu trong các mô hình tính toán của ngôn ngữ và nhận thức. Một tâm lý lấy cảm hứng từ dòng công việc được khởi xướng vào thập niên 1960 và theo đuổi trong hơn hai thập kỷ của Roger Schank và cộng sự của mình, nhưng trong trường hợp của ông mục đích là sự hiểu biết toàn bộ câu chuyện và trả lời các câu hỏi hồ. Một nguyên lý trung tâm của công việc là rằng các đại diện của sentential ý nghĩa và kiến thức thế giới tập trung xung quanh một vài (ví dụ:11) hành động nguyên thủy, và suy luận được thúc đẩy bởi quy tắc liên quan đến chủ yếu với các nguyên thủy; (một số mũ nổi bật của một cái nhìn tương tự như là Yorick rùa). Có lẽ các khía cạnh quan trọng nhất của công việc của Schank là sự công nhận rằng sự hiểu biết ngôn ngữ và suy luận là phụ thuộc nhiều vào một cửa hàng lớn của nền kiến thức, trong đó có kiến thức về rất nhiều "kịch bản" (nguyên mẫu cách trong đó quen thuộc các loại sự kiện phức tạp, chẳng hạn như ăn uống tại một nhà hàng, mở ra) và kế hoạch (nguyên mẫu cách mà mọi người cố gắng để đạt mục tiêu của họ) (Schank & Abelson năm 1977).Thêm hoàn toàn là AI-lấy cảm hứng từ phương pháp tiếp cận cũng nổi lên trong thập niên 1960 đã exemplified trong hệ thống chẳng hạn như buồn Sam (Lindsay 1963), Sir (Raphael 1968) và học sinh (Bobrow năm 1968). Các đặc trưng thiết bị như là mô hình phù hợp với/dẫn truyền với phân tích và giải thích các tập con bị giới hạn của các kiến thức tiếng Anh, trong hình thức quan hệ phân cấp và giá trị thuộc tính danh sách, và bảo đảm chất lượng phương pháp dựa trên đồ thị tìm, giao thức chính thức khấu trừ và số đại số. Một ý tưởng có ảnh hưởng nổi lên một chút sau đó là kiến thức trong hệ thống AI nên được đóng khung procedurally thay vì declaratively — để biết một cái gì đó là có thể thực hiện một số chức năng (Hewitt 1969). Hai hệ thống khá ấn tượng exemplified một phương pháp đã là shrdlu (Winograd 1972) và âm lịch (Woods et al. 1972), mà chứa tinh vi proceduralized grammars và quy tắc cú pháp, ngữ nghĩa lập bản đồ, và đã có thể chức năng khá đủ trong của họ "vi-tên miền" (mô phỏng khối trên một bảng, và một cơ sở dữ liệu âm nhạc rock, tương ứng). Ngoài ra, shrdlu đặc trưng đáng kể khả năng lập kế hoạch, kích hoạt bởi microplanner loạt mục tiêu ngôn ngữ (một tiền thân của Prolog). Những khó khăn mà vẫn cho tất cả các phương pháp tiếp cận mở rộng phạm vi bảo hiểm ngôn ngữ và độ tin cậy của phân tích và giải thích, và hầu hết tất cả, di chuyển từ microdomains, hoặc vùng phủ sóng của một vài đoạn văn bản, để thêm đa dạng, lĩnh vực rộng lớn hơn. Nhiều khó khăn rộng lên là do "kiến thức mua lại cổ chai" — những khó khăn của mã hóa hoặc có được vô số sự kiện và quy tắc rõ ràng yêu cầu cho sự hiểu biết tổng quát hơn. Cổ điển bộ sưu tập có nhiều bài viết về công việc ban đầu được đề cập trong đoạn cuối hai là Marvin Minsky ngữ nghĩa thông tin chế biến (1968) và Schank và Colby máy tính mô hình of Thought và ngôn ngữ (1973).Từ thập niên 1970, đã có một xu hướng dần dần đi từ phương pháp tiếp cận hoàn toàn là thủ tục cho những người nhằm mục đích mã hóa hàng loạt của ngôn ngữ và kiến thức thế giới trong các hình thức dễ hiểu hơn, mô-đun, tái sử dụng, với cơ sở vững chắc hơn lý thuyết. Xu hướng này đã được kích hoạt bởi sự xuất hiện của các khuôn khổ toàn diện syntactico ngữ nghĩa như tổng quát cụm từ cấu trúc ngữ pháp (GPSG), thúc đẩy đầu cụm từ cấu trúc ngữ pháp (HPSG), Lexical chức năng ngữ pháp (LFG), Vị trí cây ngữ pháp (từ khóa), và Combinatory Categorial ngữ pháp (CCG), nơi trong mỗi trường hợp đóng thuyết chú được cả hai để tính toán tractability của phân tích, và ánh xạ từ cú pháp ngữ nghĩa. Trong số những phát triển quan trọng nhất trong khu vực thứ hai là Richard Montague của cái nhìn sâu sắc vào hợp lý ngữ nghĩa (đặc biệt là intensional) của ngôn ngữ, và Hans Kamp và Irene Heim phát triển của Discourse đại diện lý thuyết (DRT), cung cấp một tài khoản có hệ thống, ngữ nghĩa chính thức của anaphora trong ngôn ngữ.Một sự thay đổi lớn trong gần như tất cả các khía cạnh của xử lý ngôn ngữ tự nhiên bắt đầu vào cuối thập niên 1980 và đã hầu như hoàn thành vào cuối năm 1995: đây là chuyển sang cách tiếp cận dựa trên corpus, thống kê (báo hiệu ví dụ bởi sự xuất hiện của hai vấn đề đặc biệt về đối tượng của ngôn ngữ học tính toán hàng quý năm 1993). Các mô hình mới đã được kích hoạt bởi tình trạng sẵn có ngày càng tăng và các khối lượng đang phát triển của máy có thể đọc văn bản và dữ liệu bài phát biểu, và bị đẩy về phía trước bằng cách phát triển nhận thức về tầm quan trọng của các thuộc tính distributional của ngôn ngữ, sự phát triển của mạnh mẽ mới ý nghĩa thống kê dựa trên kỹ thuật học tập, và hy vọng rằng các kỹ thuật này sẽ khắc phục các vấn đề khả năng mở rộng có bao vây ngôn ngữ học tính toán (và rộng hơn AI) kể từ khởi đầu của nó.The corpus-based approach has indeed been quite successful in producing comprehensive, moderately accurate speech recognizers, part-of-speech (POS) taggers, parsers for learned probabilistic phrase-structure grammars, and even MT and text-based QA systems and summarization systems. However, semantic processing has been restricted to rather shallow aspects, such as extraction of specific data concerning specific kinds of events from text (e.g., location, date, perpetrators, victims, etc., of terrorist bombings) or extraction of clusters of argument types, relational tuples, or paraphrase sets from text corpora. Currently, the corpus- based, statistical approaches are still dominant, but there appears to be a growing movement towards integration of formal logical approaches to language with corpus-based statistical approaches in order to achieve deeper understanding and more intelligent behavior in language comprehension and dialogue systems. There are also efforts to combine connectionist and neural-net approaches with symbolic and logical ones. The following sections will elaborate on many of the topics touched on above. General references for computational linguistics are Allen 1995, Jurafsky and Martin 2009, and Clark et al. 2010.