PROBABILISTIC LANGUAGE PROCESSINGIn

PROBABILISTIC LANGUAGE PROCESSING
In which we see how simple, statistically trained language models can be used to process collections of millions of words, rather than just single sentences.
In Chapter 22, we saw how an agent could communicate with another agent (human or software), using utterances in a common language. Complete syntactic and semantic analysis of the utterances is necessary to extract the full meaning of the utterances, and is possible because the utterances are short and restricted to a limited domain.
(CORPUS-BASED) In this chapter, we consider the corpus-based approach to language understanding. A corpus (plural corpora) is a large collection of text, such as the billions of pages that make up the World Wide Web. The text is written by and for humans, and the task of the software is to make it easier for the human to find the right information. This approach implies the use of statistics and learning to take advantage of the corpus, and it usually entails probabilistic language models that can be learned from data and that are simpler than the augmented DCGs of Chapter 22. For most tasks, the volume of data more than makes up for the simpler language model. We will look at three specific tasks: information retrieval (Section 23.2), information extraction (Section 23.3), and machine translation (Section 23.4). But first we present an overview of probabilistic language models.

Kết quả (Việt) 2:

Xác suất NGÔN NGỮ CHẾ
Trong đó chúng ta thấy cách đơn giản, mô hình ngôn ngữ đã được thống kê có thể được sử dụng để xử lý các bộ sưu tập của hàng triệu từ, chứ không phải chỉ là câu duy nhất.
Trong chương 22, chúng ta thấy làm thế nào một tác nhân có thể giao tiếp với các đại lý khác (người hoặc phần mềm) , sử dụng những phát biểu trong một ngôn ngữ chung. Toàn bộ phân tích cú pháp và ngữ nghĩa của lời phát biểu là cần thiết để trích xuất ý nghĩa đầy những lời lẽ, và có thể vì các lời phát biểu ngắn gọn và giới hạn trong một lĩnh vực hạn chế.
(CORPUS-DỰA) Trong chương này, chúng ta xem xét cách tiếp cận corpus dựa trên để hiểu biết ngôn ngữ. Một corpus (số nhiều corpora) là một bộ sưu tập lớn các văn bản, chẳng hạn như hàng tỷ các trang tạo nên World Wide Web. Văn bản được viết bởi và cho con người, và nhiệm vụ của phần mềm là để làm cho nó dễ dàng hơn cho con người để tìm ra thông tin đúng. Cách tiếp cận này bao hàm việc sử dụng số liệu thống kê và học tập để tận dụng lợi thế của corpus, và nó thường đòi hỏi mô hình ngôn ngữ xác suất có thể học được từ dữ liệu và đó là đơn giản hơn so với DCG augmented của Chương 22. Đối với hầu hết các nhiệm vụ, khối lượng dữ liệu nhiều hơn hơn làm cho các mô hình ngôn ngữ đơn giản. Chúng tôi sẽ xem xét ba nhiệm vụ cụ thể: tìm kiếm thông tin (Mục 23.2), khai thác thông tin (Mục 23.3), và bản dịch máy (mục 23.4). Nhưng trước tiên chúng tôi trình bày tổng quan về mô hình ngôn ngữ xác suất.