As for Pw, we read in the unigram c

As for Pw, we read in the unigram counts from a datafile. If a word appears in the corpus,
its estimated probability is Count(word)/N, where N is the corpus size. Actually, instead of
using the full 13-million-type unigram datafile, I created vocab_common, which (a) is caseinsensitive,
so that the counts for “the”, “The”, and “THE” are added together under a single
entry for “the”; (b) only has entries for words made out of letters, not numbers or
punctuation (so “+170.002” is out, as is “can’t”); and (c) lists only the most common 1/3
of a million words (which together cover 98% of the tokens).

Kết quả (Việt) 1:

Đối với Pw, chúng ta đọc trong đếm unigram từ một datafile. Nếu một từ xuất hiện trong corpus,xác suất ước tính của nó là tính (từ) / N, N là kích thước corpus. Trên thực tế, thay vì củaTôi sử dụng đầy đủ 13-triệu-loại unigram datafile, tạo ra vocab_common, mà (a) là caseinsensitive,Vì vậy mà số lần cho "", "The", và "Các" được thêm vào với nhau theo một đĩa đơnmục nhập cho "các"; (b) chỉ có mục từ tạo ra chữ cái, số không hoặcdấu chấm câu (vì vậy, "+170.002" là ra, như là "không thể"); và (c) liệt kê chỉ là phổ biến nhất 1/3một triệu từ (mà với nhau bao gồm 98% của các thẻ).

Kết quả (Việt) 2:

Đối với Pw, chúng ta đọc trong đếm unigram từ một datafile. Nếu một từ xuất hiện trong các ngữ liệu,
xác suất ước tính của nó là Count (word) / N, trong đó N là kích thước corpus. Trên thực tế, thay vì
sử dụng đầy đủ 13-triệu-type unigram datafile, tôi tạo ra vocab_common, trong đó (a) là caseinsensitive,
do đó tính cho "the", "The", và "THE" được thêm vào với nhau dưới một single
entry cho"; (b) chỉ có mục cho những từ được làm bằng các chữ cái, không phải con số hoặc
dấu chấm câu (như vậy "170,002" là ra, như là "không thể"); và (c) liệt kê chỉ là phổ biến nhất 1/3
của một triệu từ (mà cùng nhau trải 98% của thẻ).