CHAPTEREVALUATINGHYPOTHESESEmpirica

CHAPTER
EVALUATING
HYPOTHESES
Empirically evaluating the accuracy of hypotheses is fundamental to machine learning. This chapter presents an introduction to statistical methods for estimating hypothesis accuracy, focusing on three questions. First, given the observed accuracy
of a hypothesis over a limited sample of data, how well does this estimate its accuracy over additional examples? Second, given that one hypothesis outperforms
another over some sample of data, how probable is it that this hypothesis is more
accurate in general? Third, when data is limited what is the best way to use this
data to both learn a hypothesis and estimate its accuracy? Because limited samples
of data might misrepresent the general distribution of data, estimating true accuracy
from such samples can be misleading. Statistical methods, together with assumptions about the underlying distributions of data, allow one to bound the difference
between observed accuracy over the sample of available data and the true accuracy
over the entire distribution of data.
5.1 MOTIVATION
In many cases it is important to evaluate the performance of learned hypotheses
as precisely as possible. One reason is simply to understand whether to use the
hypothesis. For instance, when learning from a limited-size database indicating
the effectiveness of different medical treatments, it is important to understand as
precisely as possible the accuracy of the learned hypotheses. A second reason is
that evaluating hypotheses is an integral component of many learning methods.
For example, in post-pruning decision trees to avoid overfitting, we must evaluate
the impact of possible pruning steps on the accuracy of the resulting decision tree.
Therefore it is important to understand the likely errors inherent in estimating the
accuracy of the pruned and unpruned tree.
Estimating the accuracy of a hypothesis is relatively straightforward when
data is plentiful. However, when we must learn a hypothesis and estimate its
future accuracy given only a limited set of data, two key difficulties arise:
Bias in the estimate. First, the observed accuracy of the learned hypothesis
over the training examples is often a poor estimator of its accuracy over
future examples. Because the learned hypothesis was derived from these
examples, they will typically provide an optimistically biased estimate of
hypothesis accuracy over future examples. This is especially likely when
the learner considers a very rich hypothesis space, enabling it to overfit the
training examples. To obtain an unbiased estimate of future accuracy, we
typically test the hypothesis on some set of test examples chosen independently of the training examples and the hypothesis.
a Variance in the estimate. Second, even if the hypothesis accuracy is measured over an unbiased set of test examples independent of the training
examples, the measured accuracy can still vary from the true accuracy, depending on the makeup of the particular set of test examples. The smaller
the set of test examples, the greater the expected variance.
This chapter discusses methods for evaluating learned hypotheses, methods
for comparing the accuracy of two hypotheses, and methods for comparing the
accuracy of two learning algorithms when only limited data is available. Much
of the discussion centers on basic principles from statistics and sampling theory,
though the chapter assumes no special background in statistics on the part of the
reader. The literature on statistical tests for hypotheses is very large. This chapter
provides an introductory overview that focuses only on the issues most directly
relevant to learning, evaluating, and comparing hypotheses.
5.2 ESTIMATING HYPOTHESIS ACCURACY
When evaluating a learned hypothesis we are most often interested in estimating
the accuracy with which it will classify future instances. At the same time, we
would like to know the probable error in this accuracy estimate (i.e., what error
bars to associate with this estimate).
Throughout this chapter we consider the following setting for the learning
problem. There is some space of possible instances X (e.g., the set of all people)
over which various target functions may be defined (e.g., people who plan to
purchase new skis this year). We assume that different instances in X may be encountered with different frequencies.A convenient way to model this is to assume
there is some unknown probability distribution D that defines the probability of
encountering each instance in X

Kết quả (Việt) 1:

CHƯƠNGĐÁNH GIÁGIẢ THUYẾTEmpirically đánh giá tính chính xác của giả thuyết là cơ bản để máy học. Chương này giới thiệu một giới thiệu về các phương pháp thống kê cho các ước tính chính xác của giả thuyết, tập trung vào ba câu hỏi. Đầu tiên, được quan sát chính xácmột giả thuyết trên một mẫu dữ liệu giới hạn, tốt như thế nào này hiện ước tính độ chính xác hơn bổ sung ví dụ? Thứ hai, được đưa ra một giả thuyết rằng nhanh hơn so vớikhác hơn một số mẫu dữ liệu, có thể xảy ra như thế nào là nó rằng giả thuyết này là thêmchính xác nói chung? Thứ ba, khi dữ liệu được giới hạn trong những gì là cách tốt nhất để sử dụng nàydữ liệu cho cả hai tìm hiểu một giả thuyết và ước tính độ chính xác? Vì hạn chế mẫudữ liệu có thể xuyên tạc phân phối tổng hợp dữ liệu, ước tính chính xác đúng sự thậttừ mẫu như vậy có thể gây hiểu nhầm. Phương pháp thống kê, cùng với các giả định về các bản phân phối cơ bản của dữ liệu, cho phép một ràng buộc sự khác biệtgiữa các quan sát độ chính xác trong các mẫu dữ liệu sẵn có và tính chính xác đúng sự thậtqua sự phân bố toàn bộ dữ liệu.5.1 ĐỘNG LỰCTrong nhiều trường hợp, nó là quan trọng để đánh giá hiệu suất của các học giả thuyếtcàng chính xác càng tốt. Một lý do là đơn giản để hiểu cho dù sử dụng cácgiả thuyết. Ví dụ, khi học hỏi từ một giới hạn kích thước cơ sở dữ liệu chỉ rahiệu quả của điều trị y tế khác nhau, quan trọng là phải hiểu làchính xác càng tốt tính chính xác của giả thuyết đã học được. Lý do thứ hai làđánh giá các giả thuyết là một thành phần không thể thiếu của nhiều phương pháp học tập.Ví dụ, ở sau khi cắt tỉa cành cây quyết định để tránh overfitting, chúng ta phải đánh giáCác tác động có thể cắt tỉa bước về tính chính xác của kết quả cây quyết định.Vì vậy nó là quan trọng để hiểu những sai sót khả năng vốn có trong dự toán cácđộ chính xác của sự cây pruned và unpruned.Ước tính chính xác của một giả thuyết là tương đối đơn giản khidữ liệu rất phong phú. Tuy nhiên, khi chúng ta phải tìm hiểu một giả thuyết và ước tính của nóđộ chính xác tương lai được đưa ra chỉ là một tập hợp giới hạn các dữ liệu, những khó khăn chính hai phát sinh:Thiên vị trong các ước tính. Đầu tiên, quan sát độ chính xác của giả thuyết họcqua các ví dụ huấn luyện thường là một ước tính người nghèo của độ chính xác hơnVí dụ trong tương lai. Bởi vì các giả thuyết học được bắt nguồn từ nhữngVí dụ, họ thường sẽ cung cấp một ước tính lạc quan kiến củagiả thuyết các chính xác hơn ví dụ trong tương lai. Điều này đặc biệt là khả năng khingười học sẽ xem xét một không gian giả thuyết rất phong phú, cho phép nó để overfit cácCác ví dụ huấn luyện. Để có được một xấp xỉ không thiên vị của chính xác trong tương lai, chúng tôithường kiểm tra giả thuyết trên một số thiết lập thử nghiệm ví dụ chọn độc lập với các ví dụ huấn luyện và các giả thuyết.một phương sai trong các ước tính. Thứ hai, ngay cả khi giả thuyết chính xác được đo trên một tập các ví dụ kiểm tra độc lập với việc đào tạo không thiên vịVí dụ, độ chính xác đo có thể vẫn còn khác nhau từ sự thật chính xác, tùy thuộc vào các trang điểm của các thiết lập cụ thể của kiểm tra ví dụ. Nhỏ hơnCác thiết lập thử nghiệm ví dụ, các lớn hơn dự kiến phương sai.Chương này thảo luận về các phương pháp để đánh giá các học giả thuyết, phương phápđể so sánh độ chính xác của hai giả thuyết và phương pháp để so sánh cácđộ chính xác của thuật toán học hai khi chỉ giới hạn dữ liệu có sẵn. NhiềuTrung tâm thảo luận về các nguyên tắc cơ bản từ các số liệu thống kê và lý thuyết mẫu,mặc dù các chương giả định không có nền tảng đặc biệt trong số liệu thống kê trên part of thengười đọc. Các tài liệu trên thống kê thử nghiệm giả thuyết là rất lớn. Chương nàycung cấp một tổng quan giới thiệu chỉ tập trung vào những vấn đề đặt trực tiếpliên quan đến học tập, đánh giá và so sánh các giả thuyết.5.2 ƯỚC HYPOTHESIS CHÍNH XÁCKhi đánh giá một giả thuyết học chúng ta quan tâm thường xuyên nhất ở ước tínhđộ chính xác mà nó sẽ phân loại các trường hợp trong tương lai. Cùng lúc đó, chúng tôimuốn biết các lỗi có thể xảy ra trong này ước tính độ chính xác (tức là, những gì lỗithanh liên kết với các ước tính này).Trong chương này, chúng tôi xem xét các thiết lập sau đây cho học tậpvấn đề. Một số không gian có thể có trường hợp X (ví dụ, các thiết lập của tất cả mọi người)qua đó có thể được định nghĩa chức năng mục tiêu khác nhau (ví dụ, những người có kế hoạchmua ván trượt mới năm nay). Chúng tôi giả định rằng các trường hợp khác nhau trong X có thể gặp phải với tần số khác nhau. Một cách thuận tiện để mô hình này là giả địnhđó là một số không biết xác suất phân phối D xác định xác suấtgặp phải mỗi trường hợp X

Kết quả (Việt) 2:

CHƯƠNG
ĐÁNH GIÁ
giả thuyết
Theo kinh nghiệm đánh giá độ chính xác của giả thuyết là nền tảng cho máy tính học tập. Chương này trình bày giới thiệu về phương pháp thống kê để đánh giá độ chính xác giả thuyết, tập trung vào ba câu hỏi. Đầu tiên, với độ chính xác quan sát
của một giả thuyết trên một mẫu hạn chế về dữ liệu, cũng như thế nào này ước tính chính xác của nó trong ví dụ bổ sung? Thứ hai, cho rằng một giả thuyết làm tốt hơn
nữa trên một số mẫu dữ liệu, làm thế nào có thể xảy ra là nó rằng giả thuyết này là hơn
chính xác nói chung? Thứ ba, khi dữ liệu bị hạn chế một cách tốt nhất để sử dụng này là những gì
dữ liệu cho cả hai học một giả thuyết và ước tính chính xác của nó? Bởi vì mẫu hạn chế
của dữ liệu có thể xuyên tạc sự phân bố chung của dữ liệu, ước lượng chính xác thực
từ các mẫu như vậy có thể gây hiểu nhầm. Phương pháp thống kê, cùng với những giả định về phân bố cơ bản của dữ liệu, cho phép một để ràng buộc sự khác biệt
giữa độ chính xác quan sát trên các mẫu dữ liệu có sẵn và độ chính xác thực sự
trên toàn bộ phân phối dữ liệu.
5.1 ĐỘNG LỰC
Trong nhiều trường hợp, điều quan trọng là để đánh giá hiệu suất của giả thuyết học được
càng chính xác càng tốt. Một lý do đơn giản là để hiểu xem có sử dụng các
giả thuyết. Ví dụ, khi học từ một cơ sở dữ liệu giới hạn kích thước cho thấy
tính hiệu quả của phương pháp điều trị y tế khác nhau, điều quan trọng là phải hiểu như
chính xác càng tốt về tính chính xác của các giả thuyết đã học. Lý do thứ hai là
rằng việc đánh giá các giả thuyết là một phần không thể thiếu của nhiều phương pháp học tập.
Ví dụ, trong cây quyết định sau cắt tỉa để tránh overfitting, chúng ta phải đánh giá
tác động của các bước cắt tỉa có thể về tính chính xác của cây quyết định kết quả.
Vì vậy nó là quan trọng để hiểu được các lỗi có khả năng vốn có trong việc ước tính
chính xác của các cây tỉa và không được tỉa.
ước tính độ chính xác của một giả thuyết là tương đối đơn giản khi
dữ liệu dồi dào. Tuy nhiên, khi chúng ta phải học một giả thuyết và ước tính của nó
chính xác tương lai nhất định chỉ có một số hạn chế các dữ liệu, hai khó khăn chính phát sinh:
Bias trong dự toán. Thứ nhất, chính xác quan sát của các giả thuyết đã học
qua các ví dụ huấn luyện thường xuyên là một ước lượng nghèo về tính chính xác hơn
ví dụ tương lai. Bởi vì các giả thuyết đã học được bắt nguồn từ những
ví dụ, họ thường sẽ cung cấp một ước tính lạc quan sai lệch về
độ chính xác giả thuyết qua các ví dụ tương lai. Điều này đặc biệt có khả năng khi
người học xem xét một không gian giả thuyết rất phong phú, cho phép nó để overfit các
ví dụ huấn luyện. Để có được một ước lượng không chệch của độ chính xác tương lai, chúng tôi
thường kiểm tra giả thuyết về một số thiết lập của các ví dụ thử nghiệm được lựa chọn độc lập của các ví dụ huấn luyện và các giả thuyết.
Một phương sai trong dự toán. Thứ hai, ngay cả khi tính chính xác giả thuyết được đo trên một bộ thiên vị của các ví dụ kiểm tra độc lập của việc đào tạo
ví dụ, độ chính xác đo vẫn có thể thay đổi từ chính xác, tùy thuộc vào cấu trúc của tập hợp các ví dụ kiểm tra. Các nhỏ hơn
tập các ví dụ kiểm tra, càng sai mong đợi.
Chương này thảo luận về phương pháp đánh giá các giả thuyết đã học, phương pháp
để so sánh độ chính xác của hai giả thuyết, và các phương pháp để so sánh
độ chính xác của hai thuật toán học khi giới hạn số liệu có sẵn. Phần lớn
các cuộc thảo luận tập trung vào các nguyên tắc cơ bản từ các thống kê và lý thuyết lấy mẫu,
mặc dù chương giả định không có nền tảng đặc biệt trong thống kê trên một phần của
người đọc. Các tài liệu về kiểm định thống kê cho giả thuyết là rất lớn. Chương này
cung cấp một cái nhìn tổng quan giới thiệu mà chỉ tập trung vào những vấn đề trực tiếp nhất
có liên quan đến học tập, đánh giá và so sánh các giả thuyết.
5.2 Ước tính GIẢ THUYẾT CHÍNH XÁC
Khi đánh giá một giả thuyết đã học chúng ta thường quan tâm nhiều nhất trong việc dự đoán
chính xác mà nó sẽ phân loại các trường hợp tương lai. Đồng thời, chúng tôi
muốn biết các lỗi có thể xảy ra trong dự toán chính xác này (tức là cái lỗi
thanh để kết hợp với ước tính này).
Trong suốt chương này chúng ta xem xét sau thiết cho việc học tập
vấn đề. Có một số không gian của trường có thể X (ví dụ, các thiết lập của tất cả mọi người)
qua đó các chức năng mục tiêu khác nhau có thể được xác định (ví dụ, những người có kế hoạch
mua ván trượt mới trong năm nay). Chúng tôi cho rằng trường hợp khác nhau trong X có thể gặp phải với nhau frequencies.A cách thuận tiện để mô hình này là giả định
có một số khả năng biết phân phối D định nghĩa xác suất
gặp phải mỗi trường hợp trong X