Theunits of the morph lexicon for t

The
units of the morph lexicon for the experiments in this paper were learned from a joint
corpus containing newspapers, books and newswire stories of totally about 150 million
words (CSC, 2001). We obtained a lexicon of 50K statistical morphs by feeding the learning
algorithm with the word list containing the 390K most common words. The average length
of a morph was 3.4 letters including a word break symbol whereas the average word length
was 7.9 letters. For comparison we also created a lexicon of 69K grammatical morphs based
on rule-based morphological analysis of the words. For language model training we used
the same text corpus and the growing n-gram training algorithm (Siivola & Pellom, 2005)
and limited the language model size to approximately 40M n-grams for both statistical and
grammatical morphs and words.

Kết quả (Việt) 1:

CácCác đơn vị của lexicon morph cho thử nghiệm trong bài báo này đã học được từ một doanhCorpus có chứa báo, sách và newswire câu chuyện hoàn toàn khoảng 150 triệu đồngtừ (CSC, 2001). Chúng tôi có được một lexicon 50K morphs thống kê bằng cách cho học tậpthuật toán với danh từ có chứa các từ phổ biến nhất 390K. Chiều dài trung bìnhtrong một morph là 3,4 chữ bao gồm một break từ biểu tượng trong khi trung bình từ chiều dàiđổi chữ 7.9. Để so sánh chúng tôi cũng tạo ra một lexicon 69K ngữ pháp morphs dựatrên nguyên tắc dựa trên phân tích hình thái của các từ. Ngôn ngữ mô hình đào tạo chúng tôi sử dụngcùng một văn bản corpus và các thuật toán n-gam đào tạo ngày càng tăng (Siivola & Pellom, 2005)và giới hạn kích thước mô hình ngôn ngữ với khoảng 40M n-gam cho cả hai thống kê vàngữ pháp morphs và lời nói.

Kết quả (Việt) 2:

Các
đơn vị của từ vựng morph cho các thí nghiệm trong bài báo này được rút ra từ một doanh
corpus chứa báo, sách và những câu chuyện của mạng tin hoàn toàn về 150 triệu
từ (CSC, 2001). Chúng tôi thu được một từ vựng của 50K biến hình thống kê bằng cách cho ăn học
thuật toán với các danh từ có chứa các 390K từ phổ biến nhất. Chiều dài trung bình
của một biến là 3,4 chữ bao gồm một biểu tượng phá vỡ từ khi từ trung bình chiều dài
là 7,9 chữ cái. Để so sánh, chúng tôi cũng tạo ra một từ vựng của 69k morphs ngữ pháp dựa
trên phân tích hình thái dựa trên nguyên tắc của các từ. Đối với đào tạo mô hình ngôn ngữ chúng ta sử dụng
ngữ liệu cùng một văn bản và các thuật toán huấn luyện n-gram phát triển (Siivola & Pellom, 2005)
và giới hạn kích thước mô hình ngôn ngữ cho khoảng 40M n-gram cho cả thống kê và
biến hình và từ ngữ pháp.