2.1 The structural hierarchyLanguag

2.1 The structural hierarchy

Language is structured at multiple levels, beginning in the case of spoken language with patterns in the acoustic signal that can be mapped to phones (the distinguishable successive sounds of which languages are built up). Groups of phones that are equivalent for a given language (not affecting the words recognized by a hearer, if interchanged) are the phonemes of the language.
The phonemes in turn are the constituents of morphemes (minimal meaningful word segments), and these provide the constituents of words. (In written language one speaks instead of characters, graphemes, syllables, and words.) Words are grouped into phrases, such as noun phrases, verb phrases, adjective phrases and prepositional phrases, which are the structural components of sentences, expressing complete thoughts. At still higher levels we have various types of discourse structure, though this is generally looser than lower-level structure.

Techniques have been developed for language analysis at all of these structural levels, though space limitations will not permit a serious discussion of methods used below the word level. It should be noted, however, that the techniques developed for speech recognition in the 1980s and 1990s were very influential in turning NLP research towards the new corpus-based, statistical approach referred to above. One key idea was that of hidden Markov models (HMMs), which model “noisy” sequences (e.g., phone sequences, phoneme sequences, or word sequences) as if generated probabilistically by “hidden” underlying states and their transitions. Individually or in groups, successive hidden states model the more abstract, higher-level constituents to be extracted from observed noisy sequences, such as phonemes from phones, words from phonemes, or parts of speech from words. The generation probabilities and the state transition probabilities are the parameters of such models, and importantly these can be learned from training data. Subsequently the models can be efficiently applied to the analysis of new data, using fast dynamic programming algorithms such as the Viterbi algorithm. These quite successful techniques were subsequently generalized to higher-level structure, soon influencing all aspects on NLP.

Kết quả (Việt) 1:

2.1 Hệ thống phân cấp cấu trúcNgôn ngữ cấu trúc ở nhiều cấp, bắt đầu trong trường hợp của các ngôn ngữ nói với các mẫu trong tín hiệu âm thanh có thể được ánh xạ tới điện thoại (các phân biệt liên tiếp âm thanh trong đó ngôn ngữ được xây dựng). Nhóm điện thoại tương đương cho một ngôn ngữ nhất định (không ảnh hưởng đến các từ được công nhận bởi một người nghe, nếu interchanged) là các âm vị của tiếng.Các âm vị lần lượt là các thành phần của thức (tối thiểu có ý nghĩa từ phân đoạn), và những cung cấp các thành phần của từ. (Trong ngôn ngữ viết một nói thay vì ký tự, graphemes, âm tiết, và từ.) Từ được chia thành các cụm từ, chẳng hạn như danh từ cụm từ, động từ cụm từ, tính từ cụm từ và cụm từ ngữ, có thành phần cấu trúc câu, thể hiện những suy nghĩ hoàn chỉnh. Tại cấp độ cao hơn vẫn còn chúng tôi có loại cấu trúc discourse, mặc dù điều này là thường lỏng hơn so với cấu trúc cấp thấp hơn. Kỹ thuật đã được phát triển cho ngôn ngữ phân tích ở tất cả các cấp độ cấu trúc, mặc dù space hạn chế sẽ không cho phép một cuộc thảo luận nghiêm trọng của phương pháp được sử dụng dưới mức từ Cần lưu ý, Tuy nhiên, các kỹ thuật phát triển nhận dạng tiếng nói trong thập niên 1980 và thập niên 1990 đã rất nhiều ảnh hưởng trong chuyển NLP nghiên cứu hướng tới corpus dựa trên, thống kê cách tiếp cận mới nói trên. Một ý tưởng quan trọng là rằng là mô hình Markov ẩn (HMMs), là mà mô hình chuỗi "ồn ào" (ví dụ như, điện thoại chuỗi, trình tự âm vị hoặc từ chuỗi) như nếu chứng minh có được tạo ra bởi "ẩn" kỳ cơ bản và quá trình chuyển đổi của họ. Cá nhân hoặc theo nhóm, kế tiếp ẩn kỳ mô hình thành phần trừu tượng hơn, cao cấp cần được trích xuất từ trình tự ồn ào quan sát, chẳng hạn như các âm vị từ điện thoại, từ từ âm vị, hoặc một phần của bài phát biểu từ từ. Các xác suất thế hệ và xác suất chuyển đổi tiểu bang là các thông số của mô hình như vậy, và quan trọng này có thể được học từ dữ liệu đào tạo. Sau đó các mô hình có thể được áp dụng một cách hiệu quả để phân tích dữ liệu mới, sử dụng các thuật toán lập trình năng động nhanh như các thuật toán Viterbi. Các kỹ thuật khá thành công sau đó tổng quát hóa cao cấp cấu trúc, sớm ảnh hưởng đến các khía cạnh tất cả về NLP.