Although tokenization is usually not regarded as a difficult task in most segmented languages such as English, there are a number of problems in achieving precise treatment of lexical entries.
Although tokenization is usually notregarded as a difficult task in most segmented languagessuch as English, there are a number of problemsin achieving precise treatment of lexical entries.
Mặc dù tokenization thường không được coi là một nhiệm vụ khó khăn trong ngôn ngữ phân đoạn nhất như tiếng Anh, có một số vấn đề trong việc đạt được điều trị chính xác các mục từ vựng.