The convergence behavior of many di

The convergence behavior of many distributed machine learning (ML) algorithms can be sensitive to the number of machines being used or to changes in the computing environment. As a result, scaling to a large number of machines can be challenging. In this paper, we describe a new scalable coordinate descent (SCD) algorithm for generalized linear models whose convergence behavior is always the same, regardless of how much SCD is scaled out and regardless of the computing environment. This makes SCD highly robust and enables it to scale to massive datasets on low-cost commodity servers. Experimental results on a real advertising dataset in Google are used to demonstrate SCD's cost effectiveness and scalability. Using Google's internal cloud, we show that SCD can provide near linear scaling using thousands of cores for 1 trillion training examples on a petabyte of compressed data. This represents 10,000x more training examples than the `large-scale' Net ix prize dataset. We also show that SCD can learn a model for 20 billion training examples in two hours for about $10.

Kết quả (Việt) 1:

Hành vi hội tụ của nhiều máy phân phối học thuật toán (ML) có thể nhạy cảm với số lượng máy móc được sử dụng hoặc để thay đổi trong môi trường máy tính. Kết quả là, mở rộng quy mô để một số lượng lớn các máy có thể được thử thách. Trong bài báo này, chúng tôi mô tả một thuật toán mới mở rộng gốc tọa độ (SCD) cho các mô hình tuyến tính tổng quát mà hành vi của hội tụ là luôn luôn như nhau, bất kể bao nhiêu SCD quy mô ra và bất kể môi trường máy tính. Điều này làm cho SCD rất mạnh mẽ và cho phép nó để quy mô to lớn datasets trên máy chủ hàng hóa chi phí thấp. Các kết quả thử nghiệm trên một thực sự quảng cáo các số liệu trong Google được sử dụng để chứng minh chi phí e ffectiveness của SCD và khả năng mở rộng. Sử dụng các đám mây bên trong của Google, chúng tôi hiển thị SCD có thể cung cấp gần mở rộng quy mô tuyến tính bằng cách sử dụng hàng nghìn lõi cho 1 nghìn tỷ đào tạo ví dụ về một petabyte nén dữ liệu. Điều này đại diện cho 10.000 x ví dụ đào tạo khác hơn so với số liệu 'quy mô' giải thưởng Net ix. Chúng tôi cũng cho rằng SCD có thể tìm hiểu một mô hình cho 20 tỷ đào tạo ví dụ trong hai giờ cho khoảng $10.

Kết quả (Việt) 2:

Các hành vi hội tụ của nhiều thuật toán phân phối máy học (ML) có thể nhạy với số lượng máy được sử dụng hoặc những thay đổi trong môi trường máy tính. Kết quả là, nhân rộng đến một số lượng lớn các máy móc có thể được thử thách. Trong bài báo này, chúng tôi mô tả một thuật toán mở rộng phối hợp gốc (SCD) mới cho các mô hình tuyến tính tổng quát mà hành vi tụ luôn luôn là như nhau, bất kể bao nhiêu SCD được thu nhỏ lại ra ngoài và không phụ thuộc vào môi trường máy tính. Điều này làm cho SCD rất mạnh mẽ và cho phép nó để mở rộng quy mô để dữ liệu khổng lồ trên các máy chủ hàng chi phí thấp. Kết quả thí nghiệm trên một tập dữ liệu quảng cáo sản tại Google được sử dụng để chứng minh chi phí e? ffectiveness và khả năng mở rộng SCD của. Sử dụng điện toán đám mây nội bộ của Google, chúng tôi cho thấy rằng SCD có thể cung cấp gần rộng tuyến tính sử dụng hàng nghìn lõi cho 1 nghìn tỷ ví dụ huấn luyện trên một petabyte dữ liệu nén. Điều này thể hiện 10,000x ví dụ huấn luyện nhiều hơn 'quy mô lớn' ix Net giải thưởng tập dữ liệu. Chúng tôi cũng thấy rằng SCD có thể học được một mô hình cho 20 tỷ ví dụ huấn luyện trong hai giờ cho khoảng $ 10.