While perplexity is a quality indic

While perplexity is a quality indicator, it does not actually
measure performance at the scoring task we are ultimately
interested in. In particular, it does not take into account
the constraint of choosing a response in R. Therefore we
also evaluate the model on a response ranking task: for each
of N test message pairs (o; r) for which r 2 R, we compute
s = P(rjo) and 8i xi = P(wijo), where wi is the i-th element
of R. Then we sort the set R = fs; x1; : : : ; xNg in descending
order. Finally, we define ranki = argminj(RjjRj = s). Put
simply, we are finding the rank of the actual response with
respect to all elements in R.

Kết quả (Việt) 1:

Trong khi perplexity là một chỉ số chất lượng, nó hiện không thực sựđo lường hiệu suất tại nhiệm vụ ghi bàn chúng tôi là cuối cùngquan tâm đến. Đặc biệt, nó không đưa vào tài khoảnhạn chế của việc lựa chọn một phản ứng trong R. Do đó chúng tôicũng đánh giá mô hình trên một nhiệm vụ thứ hạng phản ứng: cho mỗin kiểm tra tin nhắn cặp (o; r) mà 2 R r, chúng tôi tính toáns = P(rjo) và 8i xi = P(wijo), wi đâu các yếu tố i-thcủa R. Sau đó chúng tôi sắp xếp các thiết lập R = fs; x1; : : : ; xNg giảm dầnđơn đặt hàng. Cuối cùng, chúng tôi xác định ranki = argminj(RjjRj = s). Đặtđơn giản, chúng tôi đang tìm kiếm xếp hạng của các phản ứng thực tế vớitôn trọng cho tất cả các yếu tố trong R.

Kết quả (Việt) 2:

Trong khi lúng túng là một chỉ số chất lượng, nó không thực sự
đo lường hiệu quả tại các nhiệm vụ ghi bàn chúng tôi là cuối cùng
quan tâm. Đặc biệt, nó không đưa vào tài khoản
các hạn chế của việc lựa chọn một phản ứng trong R. Do đó, chúng tôi
cũng đánh giá các mô hình trên một phản ứng xếp hạng nhiệm vụ: cho mỗi
N cặp báo test (o; r) trong đó r 2 R, chúng tôi tính toán
s = P (rjo) và 8I xi = P (wijo), nơi wi là phần tử thứ i
của R. Sau đó chúng tôi sắp xếp các bộ R = fs; x1; :::; xNg tự giảm dần
theo thứ tự. Cuối cùng, chúng ta định nghĩa ranki = argminj (RjjRj = s). Đặt
đơn giản, chúng tôi đang tìm kiếm thứ hạng của các phản ứng thực tế với
sự tôn trọng cho tất cả các yếu tố trong R.