Subject similarity is a very import

Subject similarity is a very important feature. Subjects of both messages are tokenizedand the number of tokens present in both subjects is divided by the total number of tokens in both texts.
•
The final, most important feature, is the text similarity. Our distance function retrieves the text similarity from the text analysis component, which is described later in following section. The value is normalized on interval 0 to 1.Listed features are combined in a distance function as described insection 4.5.
4.4 Text analysis
Performing a quality text analysis and a subsequent similarity calculation should bring the highest benefit to the information value of the distance function. The text analysis component operation can be divided into tokenization, term ranking and similarity calculation as described in subsection 3.2.5.Tokenization in our framework simply splits words separated by any non-letter character.Regular expressions are used to achieve this and although not necessary, this will allow to improve the tokenizer in the future. The used regular expression is ”(

S+)

s”.Before describing the other two steps, it is necessary to list data structures that these steps use:
•
Terms
is a dictionary of all terms in all documents, each term has an associated value defining in how many documents is the term present. This structure is updated when anew instance is being processed by the distance function. The occurrence count value is used when calculating the IDF coefficient.
•
Cached IDF s
dictionary is used to cache Inverse Document Frequency values of terms to avoid calculating them every time a document similarity is being computed.
•
Documents
is also a dictionary, this one contains information about Term Frequency of terms contained in a data instance - document. Each document has an associated dictionary -
Term TFs
of terms within that document. This nested dictionary stores a Term Frequency value for each term.Term ranking iterates through all terms returned from the tokenization and updates the necessary items in the structures. Terms dictionary is checked for the presence of the term -if it is present occurrence count is incremented, else the term is added with a value of 1. The cached IDF value for a term must be updated in Cached IDF s to reflect that the occurrence value has changed. Last update concerns Documents where the new document entry must be added and every processed term inserted into the inner dictionary . As can be seen from the data structures used, the final TF-IDF score isn’t stored any-where. This is because a new document addition would require to recalculate the score for every contained term in every document that contains the same term, which would be highly

Kết quả (Việt) 1:

Chủ đề tương tự là một tính năng rất quan trọng. Đối tượng của cả hai thư là tokenizedand số thẻ hiện diện ở cả hai đối tượng chia cho tổng số thẻ trong cả hai văn bản.•Các tính năng cuối cùng, quan trọng nhất, là sự giống nhau của văn bản. Hàm khoảng cách của chúng tôi lấy sự giống nhau của văn bản từ thành phần phân tích văn bản, được mô tả sau này trong phần sau đây. Giá trị bình thường trên đoạn 0 đến 1. Listed tính năng được kết hợp trong một hàm khoảng cách như được mô tả insection 4,5.4.4 phân tích văn bảnThực hiện một phân tích văn bản chất lượng và tính toán tương tự sau đó sẽ mang lại lợi ích cao nhất thông tin giá trị của hàm khoảng cách. Các văn bản phân tích thành phần hoạt động có thể được chia thành tokenization, thuật ngữ tương tự và xếp hạng tính toán như mô tả trong tiểu mục 3.2.5.Tokenization trong khuôn khổ của chúng tôi chỉ đơn giản là chia tách từ cách nhau bằng bất kỳ ký tự thư. Biểu thức thông thường được sử dụng để đạt điều này và mặc dù không cần thiết, điều này sẽ cho phép để cải thiện tokenizer trong tương lai. Các biểu hiện thường xuyên được sử dụng là ")S +)s". Trước khi mô tả hai bước, nó là cần thiết để cấu trúc dữ liệu danh sách sử dụng các bước sau:•Điều khoảnlà một từ điển thuật ngữ tất cả trong tất cả các tài liệu, mỗi thuật ngữ có giá trị liên quan đến xác định trong các tài liệu có bao nhiêu là một thuật ngữ hiện nay. Cấu trúc này được cập nhật khi trở lại trường hợp đang được xử lý bởi hàm khoảng cách. Giá trị tính phổ biến được sử dụng khi tính toán coefficient của IDF.•Lưu trữ IDF stừ điển được sử dụng để bộ nhớ cache Inverse tài liệu tần số giá trị của các điều khoản để tránh tính toán họ mỗi khi một tài liệu tương tự là đang được tính toán.•Tài liệucũng là một từ điển, điều này có chứa thông tin về thuật ngữ tần số của các điều khoản được chứa trong một trường hợp dữ liệu - tài liệu. Mỗi tài liệu có một từ điển liên kết-Thuật ngữ TFsCác điều khoản trong tài liệu đó. Từ điển lồng này cửa hàng một giá trị tần số hạn cho mỗi cụm từ. Thứ hạng thuật ngữ iterates qua tất cả giá trị trả lại từ tokenization và cập nhật các mục cần thiết trong các cấu trúc. Từ điển thuật ngữ kiểm tra cho sự hiện diện của thuật ngữ-nếu nó là hiện nay xuất hiện tính incremented, thuật ngữ khác được thêm vào với giá trị là 1. Giá trị IDF ẩn cho cụm từ phải được Cập Nhật trong cache IDF s để phản ánh các giá trị phổ biến đã thay đổi. Lần cập nhật mới mối quan tâm tài liệu nơi mục tài liệu mới phải được thêm và mọi hạn chế biến chèn vào bên trong từ điển. Có thể nhìn thấy từ các cấu trúc dữ liệu được sử dụng, lực lượng đặc nhiệm-IDF điểm cuối cùng là không lưu trữ bất kỳ ở đâu. Điều này là bởi vì một bổ sung tài liệu mới sẽ cần phải tính toán lại số điểm cho mỗi cụm từ chứa trong mỗi tài liệu có chứa các thuật ngữ tương tự sẽ đánh giá cao

Kết quả (Việt) 2:

Chủ đề giống nhau là một tính năng rất quan trọng. Đối tượng của cả hai thông điệp được tokenizedand số lượng thẻ có mặt trong cả hai môn được chia cho tổng số lượng thẻ trong cả hai văn bản.
•
Các thức, tính năng quan trọng nhất, là sự tương đồng văn bản. Hàm khoảng cách của chúng tôi lấy sự tương đồng văn bản từ các thành phần phân tích văn bản, được mô tả sau này trong phần sau. Các giá trị bình thường trên khoảng 0 đến tính năng 1.Listed được kết hợp trong một hàm khoảng cách như mô tả insection 4.5.
Phân tích 4.4 Tiêu
Biểu diễn một phân tích văn bản chất lượng và tính toán tương tự tiếp theo sẽ mang lại lợi ích cao nhất với giá trị thông tin của các hàm khoảng cách. Các hoạt động phân tích văn bản thành phần có thể được chia thành tokenization, xếp hạng hạn và tính toán tương tự như mô tả trong tiểu mục 3.2.5.Tokenization trong khuôn khổ của chúng tôi chỉ đơn giản là chia tách từ ngăn cách bởi một biểu thức character.Regular không chữ được sử dụng để đạt được điều này và mặc dù không cần thiết , điều này sẽ cho phép nâng cao tokenizer trong tương lai. Các biểu hiện thường xuyên sử dụng là "(

S +)

s" .Before mô tả hai bước khác, nó là cần thiết để liệt kê các cấu trúc dữ liệu mà các bước sử dụng:
•
Điều khoản
là một từ điển của tất cả các điều khoản trong tất cả các văn bản, mỗi học kỳ có liên quan giá trị xác định trong bao nhiêu văn bản là hiện tại hạn. Cấu trúc này được cập nhật khi một lần nữa thể hiện đang được xử lý bởi các hàm khoảng cách. Các giá trị đếm xuất được sử dụng khi tính IDF COE ffi cient.
•
Cached IDF của
từ điển được sử dụng để cache các giá trị Document Frequency Inverse từ ngữ để tránh tính toán cho họ mỗi khi một sự tương tự tài liệu đã được tính toán.
•
Tài liệu
cũng là một từ điển, chương trình này có chứa thông tin về tần số hạn các điều khoản có trong một trường hợp dữ liệu - tài liệu. Mỗi tài liệu có từ điển liên quan -
TF hạn
các điều khoản trong tài liệu đó. Từ điển lồng nhau có thể lưu trữ một giá trị tần số hạn cho mỗi term.Term xếp hạng lặp qua tất cả các điều khoản trở về từ tokenization và cập nhật các nội dung cần thiết trong các cấu trúc. Từ điển thuật ngữ được kiểm tra sự hiện diện của thuật ngữ -Nếu nó là hiện nay số lượng xuất được tăng lên, khác thuật ngữ được thêm vào với giá trị 1. IDF giá trị lưu trữ trong một thời hạn này phải được cập nhật trong Cached IDF để phản ánh rằng sự xuất hiện giá trị đã thay đổi. Cập nhật liên quan đến tài liệu mà mục tài liệu mới phải được thêm vào và mỗi hạn chế đưa vào từ điển bên trong. Như có thể thấy từ các cấu trúc dữ liệu được sử dụng, số điểm TF-IDF thức không lưu trữ bất kỳ-nơi. Điều này là do một sự bổ sung tài liệu mới sẽ đòi hỏi phải tính toán lại số điểm cho mỗi cụm từ có trong mọi tài liệu có chứa các thuật ngữ tương tự, trong đó sẽ được đánh giá cao