Although distributed machine learni

Although distributed machine learning (ML) algorithms
have been extensively studied [22, 12, 10, 9], scaling to a
large number of machines can still be challenging. Most fast
converging single machine algorithms update model parameters at a very high rate which makes them hard to distribute
without compromises. For example, single-machine stochastic gradient descent (SGD) [7] updates model parameters
after processing each training example, while coordinate descent (CD) [18] updates them after processing a single feature. Common approaches to distribute SGD or CD break
the basic
ow of the single-machine algorithm by letting updates occur with some delay or by batching [16, 22, 8, 23

Kết quả (Việt) 1:

Mặc dù phân phối máy các thuật toán học (ML)đã rộng rãi nghiên cứu [22, 12, 10, 9], mở rộng quy mô để mộtsố lượng lớn của máy vẫn có thể được thử thách. Nhanh nhấthội tụ các thuật toán máy Cập Nhật tham số mô hình tại một tỷ lệ rất cao mà làm cho họ khó có thể phân phốiNếu không có thỏa hiệp. Ví dụ, một máy ngẫu nhiên gradient descent (SGD) [7] bản Cập Nhật tham số mô hìnhsau khi xử lý mỗi ví dụ đào tạo, trong khi người gốc tọa độ (CD) [18] Cập Nhật chúng sau khi xử lý một tính năng duy nhất. Các phương pháp phổ biến để phân phối SGD hoặc CD breakcơ bản ow của giải thuật single-máy bằng cách cho phép Cập Nhật xảy ra với một số sự chậm trễ hoặc định lượng [16, 22, 8, 23

Kết quả (Việt) 2:

Mặc dù máy phân phối học (ML) các thuật toán
đã được nghiên cứu rộng rãi [22, 12, 10, 9], nhân rộng đến một
số lượng lớn các máy này có thể vẫn còn là một thách thức. Hầu hết nhanh
thông số thuật toán máy cập nhật mô hình hội tụ duy nhất tại một tỷ lệ rất cao mà làm cho họ khó có thể phân phối
mà không cần thỏa hiệp. Ví dụ, máy đơn ngẫu nhiên gradient descent (SGD) thông số [7] mô hình cập nhật
sau khi chế biến mỗi ví dụ đào tạo, trong khi phối hợp gốc (CD) [18] cập nhật chúng sau khi chế biến một tính năng duy nhất. Phương pháp chung để phân phối SGD hoặc CD đột
cơ bản
ow của thuật toán máy đơn bằng cách cho phép cập nhật xảy ra với một số chậm trễ hoặc bằng cách trộn [16, 22, 8, 23