In non-segmented languagessuch as C

In non-segmented languages
such as Chinese and Japanese, since words are not
separated by delimiters such as white spaces, tokenization
is a important and difficult task.

Kết quả (Việt) 1:

Trong phòng không phân đoạn ngôn ngữchẳng hạn như Trung Quốc và Nhật bản, kể từ khi từ khôngcách nhau bằng delimiters chẳng hạn như không gian màu trắng, tokenizationlà một nhiệm vụ quan trọng và khó khăn.

Kết quả (Việt) 2:

Trong các ngôn ngữ không phân đoạn
như Trung Quốc và Nhật Bản, từ từ không được
ngăn cách bởi các dấu phân cách như các không gian màu trắng, tokenization
là một nhiệm vụ quan trọng và khó khăn.