3.1.2 Spelling error detectionBefor

3.1.2 Spelling error detection
Before performing this step, tweets must be removed noisy contents such as
emotion symbols (e.g: ❤❤,..), hashtag symbols, link url @username, etc. In order
to detect errors, we synthesize and build a dictionary for all Vietnamese words.
This dictionary includes more than 7,300 words. In our method, a word will be
identified error if it does not appear in the dictionary. Normally, Vietnamese
includes two kind of errors: typing error and spelling error.
3.1.3 Normalization
After spelling error detection phase, the word with spelling error was identified.
The system first uses vocabulary structure, set of syllable rules to fix this typing
error, then the result will be measured the similarity with the word in the dictionary to find word with the highest similarity degree. In the case we can not
find the result word in the dictionary, the system will use n-gram to normalize
the error word. Table 1 shows the normalization results Vietnamese tweets.

Kết quả (Việt) 1:

3.1.2 phát hiện lỗi chính tảTrước khi thực hiện bước này, tweets phải là loại bỏ ồn ào nội dung chẳng hạn nhưbiểu tượng cảm xúc (ví dụ như: ❤❤,...), biểu tượng hashtag, liên kết url @username, vv. Theo thứ tựđể phát hiện lỗi, chúng tôi tổng hợp và xây dựng một từ điển cho tất cả các từ Việt Nam.Từ điển này bao gồm hơn 7.300 từ. Trong phương pháp của chúng tôi, một từ sẽxác định lỗi nếu nó không xuất hiện trong từ điển. Thông thường, Việt Nambao gồm hai loại lỗi: đánh máy lỗi và lỗi chính tả.3.1.3 bình thường hóaSau khi giai đoạn phát hiện lỗi chính tả, từ với chính tả lỗi đã được xác định.Hệ thống đầu tiên sử dụng cấu trúc từ vựng, thiết lập quy tắc âm tiết để sửa chữa này đánh máylỗi, thì kết quả sẽ đo tương tự với từ trong từ điển để tìm từ với mức độ tương tự cao nhất. Trong trường hợp chúng tôi có thể khôngTìm các kết quả từ trong từ điển, Hệ thống sẽ sử dụng n-gam để bình thường hóatừ lỗi. Bảng 1 cho thấy kết quả bình thường hóa tweets Việt Nam.

Kết quả (Việt) 2:

Phát hiện lỗi chính tả 3.1.2
Trước khi thực hiện bước này, tweets phải được loại bỏ nội dung ồn ào như
những biểu tượng cảm xúc (ví dụ: ❤❤, ..), biểu tượng hashtag, link urlusername, vv Để
phát hiện lỗi, chúng tôi tổng hợp và xây dựng một từ điển cho tất cả các từ tiếng Việt.
Từ điển này bao gồm hơn 7.300 từ. Trong phương pháp của chúng tôi, một từ sẽ được
xác định lỗi, nếu nó không xuất hiện trong từ điển. Thông thường, Việt
bao gồm hai loại lỗi:. gõ lỗi chính tả và lỗi
3.1.3 Normalization
. Sau giai đoạn phát hiện lỗi chính tả, từ ngữ với lỗi chính tả đã được xác định
hệ thống đầu tiên sử dụng cấu trúc từ vựng, thiết lập các quy tắc âm tiết để sửa chữa gõ này
lỗi, sau đó kết quả sẽ được đo sự tương tự với các từ trong từ điển để tìm từ có mức độ tương đồng cao nhất. Trong trường hợp chúng tôi không thể
tìm thấy từ kết quả trong từ điển, hệ thống sẽ sử dụng n-gram để bình thường hóa
từ lỗi. Bảng 1 cho thấy các kết quả bình thường tweets Việt.