Evaluation In total, there are 6, 9

Evaluation In total, there are 6, 965 entity hashtag pairs returned by all systems. We employ five volunteers to evaluate the pairs in the range from 0 to 2, where 0 means the entity is noisy or obviously unrelated, 2 means the entity is strongly tied to the topic of the hashtag, and 1 means that although the entity and hashtag might share some
common contexts, they are not involved in a direct relationship (for instance, the entity is a too general concept such as Ice hockey, as in the case illustrated in Figure 2). The annotators were advised to use search engines, the Twitter search box
or Wikipedia archives whenever applicable to get more background on the stories. Inter-annotator agreement under Fleiss score is 0.625

Kết quả (Việt) 2:

Đánh giá tổng cộng, có 6, 965 cặp thực thể hashtag trở bởi mọi hệ thống. Chúng tôi sử dụng năm tình nguyện viên để đánh giá các cặp trong phạm vi 0-2, trong đó 0 có nghĩa là thực thể là ồn ào hoặc rõ ràng là không liên quan, 2 có nghĩa là các thực thể được gắn chặt chẽ với các chủ đề của hashtag, và 1 có nghĩa là mặc dù các thực thể và hashtag có thể chia sẻ một số
bối cảnh chung, họ không tham gia vào một mối quan hệ trực tiếp (ví dụ, các thực thể là một khái niệm quá chung chung như khúc côn cầu trên băng, như trong trường hợp minh họa trong hình 2). Các annotators được khuyên nên sử dụng công cụ tìm kiếm, hộp tìm kiếm Twitter
hoặc lưu trữ Wikipedia bất cứ khi nào được áp dụng để có được nền nhiều hơn trên các câu chuyện. Hiệp định liên Annotator dưới điểm Fleiss là 0,625