In pre-processing step of the corpu

In pre-processing step of the corpus, we mainly perform following two operations-
• we put all numbers in different groups based on number of digits in them. For example, all single digit numbers are replaced by the token “number1”, all double digit numbers by the token “number2” and so on.
• each punctuation mark is considered as separate token

Kết quả (Việt) 1:

Trong bước trước chế biến của các văn thể, chúng tôi chủ yếu là thực hiện theo hai hoạt động-• chúng tôi đặt tất cả các số trong nhóm khác nhau dựa trên số lượng chữ số trong đó. Ví dụ, tất cả đơn chữ số được thay thế bằng mã thông báo "number1", tất cả hai chữ số của mã thông báo "number2" và vân vân.• mỗi dấu được coi là riêng biệt mã thông báo

Kết quả (Việt) 2:

Trong bước tiền xử lý của corpus, chúng tôi chủ yếu thực hiện sau hai operations-
• chúng tôi đặt tất cả các số trong các nhóm khác nhau dựa trên số lượng các chữ số trong họ. Ví dụ, tất cả các chữ số duy nhất được thay thế bởi các dấu hiệu "number1", tất cả các số chữ số gấp đôi vào các mã thông báo "number2" và như vậy.
• từng dấu chấm câu được coi là dấu hiệu riêng biệt