Additionally we can compute Precisi

Additionally we can compute Precision@K. For a given
value of K it is computed as the number of cases for which
target response r was within the topK responses that were
ranked by the model.
We compare the Smart Reply response selection model
to three baselines on the same ranking task. The Random
baseline ranks R randomly. The Frequency baseline ranks
them in order of their frequency in the training corpus. This
baseline captures the extent to which we can simply suggest
highly frequent responses without regard for the contents of
the original message. The Multiclass-BOW baseline ranks
R using a feedforward neural network whose input is the
original message, represented with bag of words features,
and whose output is a distribution over the elements of R
(a softmax)

Kết quả (Việt) 1:

Ngoài ra, chúng tôi có thể tính toán Precision@K. Cho một nhất địnhgiá trị của nó được tính như số lượng các trường hợp mà Kmục tiêu đáp ứng r là trong các phản ứng topK đãXếp hạng của các mô hình.Chúng tôi so sánh các mô hình lựa chọn phản ứng thông minh trả lờiđể ba đường cơ sở về việc xếp hạng tương tự. Các ngẫu nhiênđường cơ sở bậc R ngẫu nhiên. Các tần số cơ sở cấp bậcchúng theo thứ tự của tần số trong corpus đào tạo. Điều nàyđường cơ sở nắm bắt phạm vi mà chúng tôi chỉ đơn giản là có thể đề nghịCác phản ứng rất cao thường xuyên mà không có liên quan cho các nội dung củathư gốc. Đường cơ sở Multiclass-CUNG bậcR sử dụng mạng nơ-ron feedforward có đầu vào là cácthông báo ban đầu, đại diện với túi của các tính năng từ,và sản lượng mà là một phân bố trên các yếu tố của R(softmax)

Kết quả (Việt) 2:

Ngoài ra chúng tôi có thể tính toán chính xác @ K. Đối với một định
giá trị của K nó được tính như số lượng các trường hợp mà
mục tiêu đáp ứng r là trong các câu trả lời topK đã được
xếp hạng bởi các mô hình.
Chúng tôi so sánh các mô hình lựa chọn Trả lời phản ứng thông minh
để ba đường cơ sở về công tác xếp hạng tương tự. Ngẫu nhiên
ban đầu đứng R ngẫu nhiên. Các cơ sở Tần số xếp
chúng theo thứ tự tần suất xuất hiện trong ngữ liệu huấn luyện. Điều này
cơ bản nắm bắt được mức độ mà chúng ta chỉ có thể đề nghị
phản ứng rất thường xuyên mà không quan tâm về nội dung của
thông báo ban đầu. Các cơ sở nhiều lớp-BOW đứng
R sử dụng một mạng truyền thẳng mà đầu vào là các
thông báo ban đầu, đại diện với túi của từ tính năng,
và có đầu ra là một bản phân phối qua các yếu tố của R
(một softmax)