We call a stringdefined in the dict

We call a string
defined in the dictionary lexeme. From an algorithmic
point of view, tokenization is regarded as the
process of converting an input stream of characters
into a stream of lexemes.

Kết quả (Việt) 2:

Chúng tôi gọi một chuỗi
được định nghĩa trong từ điển lexeme. Từ một thuật toán
điểm trên, tokenization được coi là
quá trình chuyển đổi một dòng đầu vào của các nhân vật
vào một dòng của lexemes.