The annotations are collected at li

The annotations are collected at line level, with a
separate annotation for each of the six emotions. We
collect numerical annotations using a scale between
0 and 10, with 0 corresponding to the absence of an
emotion, and 10 corresponding to the highest intensity.
Each HIT (i.e., annotation session) contains an
entire song, with a number of lines ranging from 14
to 110, for an average of 50 lines per song.
The annotators were instructed to: (1) Score the
emotions from the writer perspective, not their own
perspective; (2) Read and interpret each line in context;
i.e., they were asked to read and understand
the entire song before producing any annotations;
(3) Produce the six emotion annotations independent
from each other, accounting for the fact that a line
could contain none, one, or multiple emotions. In
addition to the lyrics, the song was also available
online, so they could listen to it in case they were
not familiar with it. The annotators were also given
three different examples to illustrate the annotation.
While the use of crowdsourcing for data annotation
can result in a large number of annotations in
a very short amount of time, it also has the drawback
of potential spamming that can interfere with
the quality of the annotations. To address this aspect,
we used two different techniques to prevent spam.
First, in each song we inserted a “checkpoint” at a
random position in the song – a fake line that reads
“Please enter 7 for each of the six emotions.” Those
annotators who did not follow this concrete instruction
were deemed as spammers who produce annotations
without reading the content of the song, and
thus removed. Second, for each remaining annotator,
we calculated the Pearson correlation between
her emotion scores and the average emotion scores
of all the other annotators. Those annotators with a
correlation with the average of the other annotators
below 0.4 were also removed, thus leaving only the
reliable annotators in the pool.

Kết quả (Việt) 1:

Các chú thích sẽ được thu thập ở các cấp độ dòng, với mộtriêng các chú thích cho mỗi sáu cảm xúc. Chúng tôithu thập số chú thích bằng cách sử dụng một quy mô giữa0 và 10, với 0 tương ứng với sự vắng mặt của mộtcảm xúc, và 10 tương ứng với cường độ cao nhất.Mỗi HIT (tức là, chú thích phiên) chứa mộtbài hát toàn bộ, với một số dòng khác nhau, từ 14đến 110 cho một trung bình là 50 dòng cho mỗi bài hát.Các annotators đã được hướng dẫn đến: (1) điểm cáccảm xúc từ quan điểm của nhà văn, không riêng của họquan điểm; (2) đọc và giải thích mỗi dòng trong bối cảnh;tức là, họ đã được yêu cầu để đọc và hiểubài hát toàn bộ trước khi sản xuất bất kỳ chú thích;(3) sản xuất ra các chú thích sáu cảm xúc độc lậptừ mỗi khác, kế toán cho một thực tế rằng một dòngcó thể chứa không có, một hoặc nhiều cảm xúc. Ởbổ sung vào lời bài hát, ca khúc cũng đã có sẵntrực tuyến, do đó, họ có thể nghe nó trong trường hợp họ đãkhông quen thuộc với nó. Các annotators cũng được đưa raba khác nhau ví dụ để minh họa cho các chú thích.Trong khi việc sử dụng crowdsourcing để chú thích dữ liệucó thể dẫn đến một số lớn các chú thích trongmột khoảng thời gian rất ngắn, nó cũng có nhược điểmtiềm năng gửi thư rác mà có thể gây nhiễu sóng đối vớichất lượng của các chú thích. Đến địa chỉ các khía cạnh này,chúng tôi sử dụng hai kỹ thuật khác nhau để ngăn chặn thư rác.Đầu tiên, trong mỗi bài hát chúng ta chèn một trạm kiểm soát"" tại mộtCác vị trí ngẫu nhiên trong các bài hát-một dòng giả mà đọc"Vui lòng nhập 7 cho mỗi người trong số những cảm xúc sáu." Những ngườiannotators người đã không làm theo này hướng dẫn cụ thểđược coi như là người gửi thư rác người sản xuất chú thíchmà không đọc nội dung của bài hát, vàVì thế bị loại bỏ. Thứ hai, cho mỗi annotator còn lại,chúng tôi tính toán sự tương quan Pearson giữaphổ nhạc cảm xúc của mình và điểm số trung bình là cảm xúccủa tất cả các khác annotators. Những annotators với mộtmối tương quan với mức trung bình của annotators khácdưới 0,4 được cũng bị loại bỏ, do đó để lại chỉ làannotators đáng tin cậy trong hồ bơi.

Kết quả (Việt) 2:

Các chú thích được thu thập ở cấp dòng, với
chú thích riêng biệt cho mỗi sáu cảm xúc. Chúng tôi
thu thập các chú thích số sử dụng thang giữa
0 và 10, với 0 tương ứng với sự vắng mặt của một
cảm xúc, và 10 tương ứng với cường độ cao nhất.
Mỗi HIT (tức là, phiên chú thích) chứa
toàn bộ bài hát, với một số dòng khác nhau, từ 14
. 110, với giá trung bình của 50 dòng mỗi bài hát
The annotators được hướng dẫn để: (1) Điểm các
cảm xúc từ quan điểm người viết, không phải của riêng của họ
quan điểm; (2) Đọc và giải thích từng dòng trong bối cảnh;
ví dụ, họ được yêu cầu đọc và hiểu
toàn bộ bài hát trước khi sản xuất bất kỳ chú thích;
(3) Sản xuất sáu cảm xúc chú thích độc lập
với nhau, chiếm thực tế là một dòng
có thể chứa không có, một, hoặc nhiều cảm xúc. Trong
Ngoài các bài hát, bài hát cũng đã có sẵn
trực tuyến, vì vậy họ có thể nghe nó trong trường hợp họ
không quen thuộc với nó. Các annotators cũng đã được đưa ra
ba ví dụ khác để minh họa các chú thích.
Trong khi việc sử dụng crowdsourcing cho dữ liệu chú thích
có thể dẫn đến một số lượng lớn các chú thích trong
một khoảng thời gian rất ngắn, nó cũng có nhược điểm
của spam tiềm năng mà có thể cản trở
sự chất lượng của các chú thích. Để giải quyết các khía cạnh này,
chúng tôi sử dụng hai kỹ thuật khác nhau để ngăn chặn thư rác.
Đầu tiên, trong mỗi bài hát, chúng tôi đưa vào một "trạm kiểm soát" tại một
vị trí ngẫu nhiên trong bài hát - một dòng giả mà đọc
". Vui lòng nhập 7 cho mỗi sáu cảm xúc" những
annotators người không làm theo hướng dẫn cụ thể này
đã được coi là kẻ gửi thư rác đã sản xuất ra các chú thích
mà không đọc nội dung của bài hát, và
do đó loại bỏ. Thứ hai, đối với mỗi chú giải còn lại,
chúng tôi tính toán tương quan Pearson giữa
điểm số cảm xúc của mình và điểm số cảm xúc trung bình
của tất cả các annotators khác. Những annotators với một
mối tương quan với mức trung bình của annotators khác
dưới 0,4 cũng đã được gỡ bỏ, do đó chỉ để lại
annotators đáng tin cậy trong hồ bơi.