Each system is given a set of sente

Each system is given a set of sentences as input, and returns a set of binary extractions as output. We created a test set of 500 sentences sampled from the Web, using Yahoo’s random link service.3 After running each extractor over the input sentences, two human judges independently evaluated each extraction as correct or incorrect. The judges reached agreement on 86% of the extractions, with an agreement score of κ = 0.68. We report results on the subset of the data where the two judges concur. The judges labeled uninformative extractions (where critical information was dropped from the extraction) as incorrect. This is a stricter standard than was used in previous Open IE evaluations

Kết quả (Việt) 1:

Mỗi hệ thống được đưa ra một tập hợp các câu như đầu vào, và trả về một bộ nhị phân nhổ như sản lượng. Chúng tôi tạo ra một bộ thử nghiệm của 500 câu lấy mẫu từ các trang Web, bằng cách sử dụng của Yahoo liên kết ngẫu nhiên service.3 sau khi chạy mỗi vắt lên câu đầu vào, hai thẩm phán của con người một cách độc lập đánh giá mỗi khai thác như là đúng hay sai. Các thẩm phán đã đạt thỏa thuận trên 86% các nhổ, với số điểm thỏa thuận là κ = 0,68. Chúng tôi báo cáo kết quả về tập hợp con của dữ liệu mà hai thẩm phán tán. Các thẩm phán có nhãn uninformative nhổ (nơi mà thông tin quan trọng đã được giảm xuống từ việc khai thác) là không chính xác. Đây là một tiêu chuẩn nghiêm ngặt hơn được sử dụng trong các trình duyệt IE mở trước đánh giá

Kết quả (Việt) 2:

Mỗi hệ thống được đưa ra một tập hợp các câu như đầu vào, và trả về một tập hợp các chiết nhị phân như đầu ra. Chúng tôi tạo ra một bộ thử nghiệm 500 câu lấy mẫu từ trang web, sử dụng liên kết service.3 ngẫu nhiên của Yahoo Sau khi chạy từng vắt qua câu đầu vào, hai thẩm phán con người độc lập đánh giá từng khai thác là đúng hay sai. Các thẩm phán đã đạt được thỏa thuận về 86% của nhổ răng, với một số thỏa thuận của κ = 0,68. Chúng tôi báo cáo kết quả trên tập hợp các dữ liệu mà hai giám khảo đồng tình. Các thẩm phán nhãn nhổ răng không đủ thông tin (trong đó thông tin quan trọng đã bị bỏ từ quá trình chiết) là không chính xác. Đây là một tiêu chuẩn chặt chẽ hơn đã được sử dụng trong đánh giá mở IE trước