Mikolov et al. [2] present the nega

Mikolov et al. [2] present the negative-sampling approach as a more efficient
way of deriving word embeddings. While negative-sampling is based on the
skip-gram model, it is in fact optimizing a different objective. What follows is
the derivation of the negative-sampling objective.
Consider a pair (w, c) of word and context. Did this pair come from the
training data? Let’s denote by p(D = 1|w, c) the probability that (w, c) came
from the corpus data. Correspondingly, p(D = 0|w, c) = 1 − p(D = 1|w, c) will
be the probability that (w, c) did not come from the corpus data. As before,
assume there are parameters θ controlling the distribution: p(D = 1|w, c; θ).

Kết quả (Việt) 1:

Mikolov et al. [2] trình bày các phương pháp lấy mẫu tiêu cực như là một hiệu quả hơncách bắt nguồn từ embeddings. Trong khi lấy mẫu tiêu cực dựa trên cácbỏ qua-gam mô hình, nó trong thực tế việc tối ưu hóa với một mục tiêu khác nhau. Điều gì sau làderivation mục tiêu tiêu cực-mẫu.Hãy xem xét một cặp (w, c) của từ và ngữ cảnh. Sao cặp này đến từ cácđào tạo dữ liệu? Chúng ta hãy biểu thị bởi p (D = 1 | w, c) xác suất đó (w, c) đếntừ dữ liệu corpus. Tương ứng, p (D = 0 | w, c) = 1 − p (D = 1 | w, c) sẽlà các xác suất rằng (w, c) không đến từ các dữ liệu corpus. Như trước,giả sử có thông số θ kiểm soát phân phối: p (D = 1 | w, c; θ).

Kết quả (Việt) 2:

Mikolov et al. [2] trình bày các phương pháp tiêu cực lấy mẫu như một hiệu quả hơn
cách phát sinh embeddings từ. Trong khi tiêu cực lấy mẫu được dựa trên
mô hình bỏ qua-gram, nó là trong thực tế tối ưu hóa một mục tiêu khác nhau. Sau đây là
nguồn gốc của các mục tiêu tiêu cực lấy mẫu.
Hãy xem xét một cặp (w, c) của từ và ngữ cảnh. Đã cặp này đến từ các
dữ liệu huấn luyện? Hãy biểu thị bởi p (D = 1 | w, c) các xác suất (w, c) đến
từ các dữ liệu corpus. Tương ứng, p (D = 0 | w, c) = 1 - p (D = 1 | w, c) sẽ
có xác suất (w, c) không đến từ các dữ liệu corpus. Như trước đây,
giả sử có các tham số q kiểm soát phân phối: p (D = 1 | w, c; θ).

Kết quả (Việt) 3:

Mikolov et al.[2] sẽ gánh lấy mẫu là một phương pháp hiệu quả hơn.Từ phát sinh của cách nhúng.Và lấy mẫu là dựa trên âmBỏ qua mô hình G, thực ra là tối ưu hóa mục tiêu khác nhau.Dưới đây làPhụ mẫu của mục tiêu. Suy luận.Xem xét một cặp (W, C) các từ và ngữ cảnh.Đôi từ đó đến à?Tập dữ liệu?Để chúng ta sử dụng P (d = 1 | W. C) xác suất (W, C).Dữ liệu từ Corpus.Tương ứng với đất, P (d = 0 | W, C) = 1 − p (d = 1 | W. C) sẽLà (W, C) xác suất không có dữ liệu từ Corpus.Như trước,Giả sử có tham số θ, phân phối kiểm soát: P (d = 1 | W, C; θ).