Setting hyperparameters in a smart

Setting hyperparameters in a smart way
In the preceding example, we set the penalty parameter to 1. We could just as well
have set it to 2 (or half, or 200, or 20 million). Naturally, the results vary each time.
If we pick an overly large value, we get underfitting. In extreme case, the learning
system will just return every coefficient equal to zero. If we pick a value that is too
small, we overfit and are very close to OLS, which generalizes poorly.
How do we choose a good value? This is a general problem in machine learning:
setting parameters for our learning methods. A generic solution is to use crossvalidation.
We pick a set of possible values, and then use cross-validation to choose
which one is best. This performs more computation (ten times more if we use 10
folds), but is always applicable and unbiased.
We must be careful, though. In order to obtain an estimate of generalization, we
have to use two levels of cross-validation: one level is to estimate the
generalization, while the second level is to get good parameters. That is, we split
the data in, for example, 10 folds. We start by holding out the first fold and will
learn on the other nine. Now, we split these again into 10 folds in order to choose
the parameters. Once we have set our parameters, we test on the first fold. Now,
we repeat this nine other times.

Kết quả (Việt) 1:

Thiết lập hyperparameters trong một cách thông minhTrong ví dụ trước, chúng tôi thiết lập các thông số hình phạt để 1. Chúng tôi có thể chỉ là tốtđã thiết lập nó 2 (hoặc một nửa, 200, hoặc 20 triệu). Đương nhiên, các kết quả khác nhau mỗi lần.Nếu chúng tôi chọn một giá trị quá lớn, chúng tôi nhận underfitting. Trong trường hợp cực đoan, học tậpHệ thống sẽ chỉ trở lại mỗi hệ số bằng 0. Nếu chúng tôi chọn một giá trị là quánhỏ, chúng tôi overfit và đang rất gần OLS, generalizes kém.Chúng tôi chọn một giá trị tốt như thế nào? Đây là một vấn đề chung trong máy học:thiết lập các thông số cho các phương pháp học tập. Một giải pháp chung là sử dụng crossvalidation.Chúng tôi chọn một tập hợp các giá trị có thể, và sau đó sử dụng cross-xác nhận để lựa chọncái nào là tốt nhất. Điều này thực hiện thêm các tính toán (mười lần nhiều hơn nếu chúng tôi sử dụng 10nếp gấp), nhưng là luôn luôn áp dụng và không thiên vị.Chúng tôi phải cẩn thận, mặc dù. Để có được một ước tính tổng quát, chúng tôicó thể sử dụng hai cấp độ của cross-xác nhận: một cấp là để ước lượng cácTổng quát, trong khi mức độ thứ hai là để có được tốt tham số. Có nghĩa là, chúng tôi chiacác dữ liệu trong, ví dụ, nếp gấp 10. Chúng tôi bắt đầu bằng cách đưa ra lần đầu tiên và sẽTìm hiểu về khác chín. Bây giờ, chúng tôi chia một lần nữa vào nếp gấp 10 để chọnCác tham số. Một khi chúng tôi đã thiết lập các thông số của chúng tôi, chúng tôi thử nghiệm trên những lần đầu tiên. Bây giờ,chúng tôi lặp lại này chín lần khác.

Kết quả (Việt) 2:

Thiết lập siêu tham số một cách thông minh
Ở ví dụ trên, chúng ta thiết lập các tham số hình phạt 1. Chúng tôi chỉ có thể cũng
đã đặt nó vào 2 (hoặc một nửa, hoặc 200, hoặc 20 triệu USD). Đương nhiên, các kết quả khác nhau mỗi lần.
Nếu chúng ta chọn một giá trị quá lớn, chúng tôi nhận được underfitting. Trong trường hợp cực đoan, việc học tập
hệ thống sẽ chỉ trở về mỗi hệ số bằng không. Nếu chúng ta chọn một giá trị đó là quá
nhỏ, chúng tôi overfit và rất gần gũi với OLS, mà khái quát kém.
Làm thế nào để chúng ta chọn một giá trị tốt? Đây là một vấn đề chung trong học máy:
thiết lập các thông số cho các phương pháp học tập của chúng tôi. Một giải pháp chung chung là sử dụng crossvalidation.
Chúng tôi chọn một tập hợp các giá trị có thể, và sau đó sử dụng cross-validation để chọn
cái nào là tốt nhất. Điều này thực hiện nhiều tính toán (mười lần hơn nếu chúng ta sử dụng 10
nếp gấp), nhưng luôn luôn được áp dụng và không thiên vị.
Chúng tôi phải cẩn thận, mặc dù. Để có được một ước tính tổng quát, chúng ta
phải sử dụng hai cấp độ của cross-validation: một cấp là để ước tính
tổng quát, trong khi mức độ thứ hai là để có được thông số tốt. Đó là, chúng ta chia
các dữ liệu, ví dụ, 10 lần. Chúng tôi bắt đầu bằng cách tổ chức ra lần đầu tiên và sẽ
tìm hiểu về chín khác. Bây giờ, chúng tôi chia các nếp gấp lại thành 10 để lựa chọn
các thông số. Một khi chúng tôi đã thiết lập các thông số của chúng tôi, chúng tôi thử nghiệm trên lần đầu tiên. Bây giờ,
chúng ta lặp lại chín lần này khác.