For each turker, we evaluated his o

For each turker, we evaluated his or her average F1 score on gold utterances and removed annotations by turkers with an F1 score below 0.5. We then compared the two annotations for each utterance and selected labels agreed to by both turkers. In cases of dispute, we select the label assigned by the turker with highest F1. This yielded a total of 9971 annotated utterances (510K tokens). The inter-annotator agreement between turkers computed using Cohen’s κ [22] was .72.5

Kết quả (Việt) 1:

Cho mỗi turker, chúng tôi đánh giá của mình F1 số điểm trung bình trên vàng lời và gỡ bỏ chú thích bằng turkers với số điểm F1 dưới đây 0,5. Chúng tôi sau đó so sánh hai chú thích cho mỗi câu phát biểu và đã chọn nhãn đồng ý của cả hai turkers. Trong trường hợp gây tranh cãi, chúng tôi chọn nhãn phân công của turker với cao nhất F1. Điều này mang lại tổng cộng 9971 chú thích lời (510K thẻ). Thỏa thuận liên annotator giữa turkers tính toán bằng cách sử dụng của Cohen κ [22] là.72.5

Kết quả (Việt) 2:

Đối với mỗi Türker, chúng tôi đánh giá điểm F1 trung bình của mình vào những lời nói vàng và loại bỏ các chú thích bằng turkers với số điểm F1 dưới 0,5. Chúng tôi sau đó so sánh hai chú thích cho mỗi lời nói và nhãn lựa chọn đồng ý của cả hai turkers. Trong trường hợp tranh chấp, chúng ta chọn nhãn bởi Türker với F1 cao nhất được giao. Điều này mang lại tổng cộng 9.971 lời phát biểu được chú thích (510K thẻ). Hiệp định liên Annotator giữa turkers tính toán sử dụng κ Cohen [22] là .72.5