Example 8.4 Predicting a class labe

Example 8.4 Predicting a class label using na¨ ıve Bayesian classification. We wish to predict the
class label of a tuple using na¨ ıve Bayesian classification, given the same training data
as in Example 8.3 for decision tree induction. The training data were shown earlier
in Table 8.1. The data tuples are described by the attributes age, income, student, and
credit rating. The class label attribute, buys computer, has two distinct values (namely,
{yes, no}). Let C1 correspond to the class buys computer = yes and C2 correspond to
buys computer = no. The tuple we wish to classify is
X = (age = youth, income = medium, student = yes, credit rating = fair)
We need to maximize P(X|Ci)P(Ci), for i = 1, 2. P(Ci), the prior probability of each
class, can be computed based on the training tuples:
P(buys computer = yes) = 9/14 = 0.643
P(buys computer = no) = 5/14 = 0.357
To compute P(X|Ci), for i = 1, 2, we compute the following conditional probabilities:
P(age = youth | buys computer = yes) = 2/9 = 0.222
P(age = youth | buys computer = no) = 3/5 = 0.600
P(income = medium | buys computer = yes) = 4/9 = 0.444
P(income = medium | buys computer = no) = 2/5 = 0.400
P(student = yes | buys computer = yes) = 6/9 = 0.667
HAN 15-ch08-327-392-9780123814791 2011/6/1 3:21 Page 354 #28
354 Chapter 8 Classification: Basic Concepts
P(student = yes | buys computer = no) = 1/5 = 0.200
P(credit rating = fair | buys computer = yes) = 6/9 = 0.667
P(credit rating = fair | buys computer = no) = 2/5 = 0.400
Using these probabilities, we obtain
P(X|buys computer = yes) = P(age = youth | buys computer = yes)
× P(income = medium | buys computer = yes)
× P(student = yes | buys computer = yes)
× P(credit rating = fair | buys computer = yes)
= 0.222 × 0.444 × 0.667 × 0.667 = 0.044.
Similarly,
P(X|buys computer = no) = 0.600 × 0.400 × 0.200 × 0.400 = 0.019.
To find the class, Ci, that maximizes P(X|Ci)P(Ci), we compute
P(X|buys computer = yes)P(buys computer = yes) = 0.044 × 0.643 = 0.028
P(X|buys computer = no)P(buys computer = no) = 0.019 × 0.357 = 0.007
Therefore, the na¨ ıve Bayesian classifier predicts buys computer = yes for tuple X.
“What if I encounter probability values of zero?” Recall that in Eq. (8.12), we estimate P(X|Ci) as the product of the probabilities P(x1|Ci), P(x2|Ci),..., P(xn|Ci), based
on the assumption of class-conditional independence. These probabilities can be estimated from the training tuples (step 4). We need to compute P(X|Ci) for each class (i =
1,2,...,m) to find the class Ci for which P(X|Ci)P(Ci) is the maximum (step 5). Let’s
consider this calculation. For each attribute–value pair (i.e., Ak = xk, for k = 1,2,...,n)
in tuple X, we need to count the number of tuples having that attribute–value pair, per
class (i.e., per Ci, for i = 1,..., m). In Example 8.4, we have two classes (m = 2), namely
buys computer = yes and buys computer = no. Therefore, for the attribute–value pair
student = yes of X, say, we need two counts—the number of customers who are students
and for which buys computer = yes (which contributes to P(X|buys computer = yes))
and the number of customers who are students and for which buys computer = no
(which contributes to P(X|buys computer = no)).
But what if, say, there are no training tuples representing students for the class
buys computer = no, resulting in P(student = yes|buys computer = no) = 0? In other
words, what happens if we should end up with a probability value of zero for some
P(xk|Ci)? Plugging this zero value into Eq. (8.12) would return a zero probability for
P(X|Ci), even though, without the zero probability, we may have ended up with a high
probability, suggesting that X belonged to class Ci! A zero probability cancels the effects
of all the other (posteriori) probabilities (on Ci) involved in the product.
There is a simple trick to avoid this problem. We can assume that our training database, D, is so large that adding one to each count that we need would only make a
negligible difference in the estimated probability value, yet would conveniently avoid the
HAN 15-ch08-327-392-9780123814791 2011/6/1 3:21 Page 355 #29
8.4 Rule-Based Classification 355
case of probability values of zero. This technique for probability estimation is known as
the Laplacian correction or Laplace estimator, named after Pierre Laplace, a French
mathematician who lived from 1749 to 1827. If we have, say, q counts to which we each
add one, then we must remember to add q to the corresponding denominator used in
the probability calculation. We illustrate this technique in Example 8.5

Kết quả (Việt) 1:

Ví dụ 8.4 dự đoán một nhãn lớp bằng cách sử dụng na¨ ıve Bayes phân loại. Chúng tôi muốn để dự đoán cáclớp nhãn của một tuple bằng cách sử dụng na¨ ıve Bayes phân loại, được đưa ra cùng một dữ liệu đào tạonhư trong ví dụ 8.3 cho quyết định cây cảm ứng. Đào tạo dữ liệu được hiển thị trước đóở bảng 8.1. Tuples dữ liệu được mô tả bằng các thuộc tính tuổi, thu nhập, sinh viên, vàXếp hạng tín dụng. Thuộc tính nhãn lớp, mua máy tính, có hai giá trị riêng biệt (cụ thể,{yes, no}). Hãy để tương ứng với các máy tính mua lớp C1 = yes và C2 tương ứng vớimua máy tính = không. Tuple chúng tôi muốn phân loại làX = (tuổi = tuổi trẻ, thu nhập = trung bình, học sinh = yes, xếp hạng tín dụng = fair)Chúng ta cần để tối đa hóa P(X| CI)P(CI), cho tôi = 1, 2. P(CI), xác suất trước của mỗilớp học, có thể được tính toán dựa trên tuples đào tạo:P (mua máy tính = yes) = 9/14 = 0.643P (mua máy tính = không) = 5/14 = 0.357Để tính toán P(X| CI), cho tôi = 1, 2, chúng tôi tính toán xác suất có điều kiện sau đây:P (độ tuổi thanh niên = | mua máy tính = yes) = 2/9 = 0.222P (độ tuổi thanh niên = | mua máy tính = không) = 3/5 = 0.600P (thu nhập = vừa | mua máy tính = yes) = 4/9 = 0.444P (thu nhập = vừa | mua máy tính = không) = 2/5 = 0.400P (học sinh = yes | mua máy tính = yes) = 6/9 = 0.667HAN 15-ch08-327-392-9780123814791 2011/6/1 3:21 trang 354 #28354 chương 8 phân loại: khái niệm cơ bảnP (học sinh = yes | mua máy tính = không) = 1/5 = 0.200P (xếp hạng tín dụng = fair | mua máy tính = yes) = 6/9 = 0.667P (xếp hạng tín dụng = fair | mua máy tính = không) = 2/5 = 0.400Sử dụng các xác suất, chúng tôi có đượcP (X | mua máy tính = yes) = P (tuổi = tuổi trẻ | mua máy tính = yes)× P(income = medium | buys computer = yes)× P(student = yes | buys computer = yes)× P(credit rating = fair | buys computer = yes)= 0.222 × 0.444 × 0.667 × 0.667 = 0.044.Tương tự,P (X | mua máy tính = không) = 0.600 × 0.400 × 0.200 × 0.400 = 0.019.Để tìm các lớp học, Ci, tối đa hóa P(X| CI)P(CI), chúng tôi tính toánP (X | mua máy tính = yes) P (mua máy tính = yes) = 0.044 × 0.643 = 0.028P (X | mua máy tính = không) P (mua máy tính = không) = 0.019 × 0.357 = 0,007Vì vậy, na¨ ıve Bayes loại dự đoán máy tính mua = yes cho tuple X."Nếu tôi gặp xác suất giá trị của số không?" Nhớ lại rằng trong Eq. (8,12), chúng tôi ước tính P(X| CI) là sản phẩm của các xác suất P(x1| CI), P(x2| CI),..., P(xn| CI), dựa trêntrên các giả định của lớp-có điều kiện độc lập. Các xác suất có thể được ước tính từ đào tạo tuples (bước 4). Chúng ta cần phải tính toán P(X| CI) cho mỗi lớp (tôi =1,2,..., m) để tìm các lớp Ci cho đó P(X| CI)P(CI) là tối đa (bước 5). Chúng ta hãyHãy xem xét việc tính toán này. Đối với mỗi cặp thuộc tính – giá trị (tức là Ak = xk, k = 1,2,..., n)tuple X, chúng ta cần phải đếm số tuples có mà cặp thuộc tính-giá trị, mỗilớp học (ví dụ, mỗi Ci, cho tôi = 1,..., m). Trong ví dụ 8.4, chúng ta có hai lớp (m = 2), cụ thể làmua máy tính = yes và mua máy tính = không. Vì vậy, cho giá trị thuộc tính-cặpsinh viên = yes của X, nói, chúng ta cần hai điểm-số lượng khách hàng có sinh viênvà cho những máy tính mua = yes (có đóng góp cho P (X | mua máy tính = yes))số lượng khách hàng có sinh viên và mà mua máy tính = không(mà góp phần vào P (X | mua máy tính = không)).Nhưng nếu những gì, nói, có không có đào tạo tuples đại diện cho sinh viên các lớpmua máy tính = không, kết quả là P (học sinh = yes | mua máy tính = không) = 0? Kháclời nói, những gì sẽ xảy ra nếu chúng ta nên kết thúc với giá trị xác suất bằng 0 đối với một sốP(XK| CI)? Cắm không giá trị này vào Eq. (8,12) sẽ trở lại một xác suất không choP(X| CI), mặc dù, mà không có zero xác suất, chúng tôi có thể đã kết thúc với một caoxác suất, gợi ý rằng X thuộc lớp Ci! Một xác suất không hủy bỏ các hiệu ứngcủa tất cả các khác (posteriori) xác suất (trên Ci) tham gia trong các sản phẩm.Đó là một mẹo đơn giản để tránh vấn đề này. Chúng ta có thể giả định rằng cơ sở dữ liệu đào tạo của chúng tôi, D, lớn như vậy mà thêm một cho mỗi số mà chúng ta cần sẽ chỉ làm cho mộtsự khác biệt không đáng kể trong giá trị ước tính xác suất, chưa nào thuận tiện tránh cácHAN 15-ch08-327-392-9780123814791 2011/6/1 3:21 trang 355 #298.4 dựa trên quy tắc phân loại 355trường hợp giá trị xác suất của zero. Kỹ thuật này cho dự toán xác suất được gọi làLaplace chỉnh hoặc ước tính Laplace, được đặt tên theo Pierre Laplace, Phápnhà toán học người sống 1749-1827. Nếu chúng tôi có nói rằng, q tính mà mỗi chúng taThêm một, sau đó chúng ta phải nhớ để thêm q vào mẫu số tương ứng được sử dụng trongtính toán xác suất. Chúng tôi minh họa cho kỹ thuật này trong ví dụ 8.5

Kết quả (Việt) 2:

Ví dụ 8.4 Dự đoán một nhãn lớp bằng Na Ive phân loại Bayes. Chúng tôi muốn để dự đoán
nhãn lớp của một bộ sử dụng na Ive phân loại Bayesian, cho dữ liệu huấn luyện cùng
như trong Ví dụ 8.3 cho cảm ứng cây quyết định. Dữ liệu huấn luyện được hiển thị trước đó
trong Bảng 8.1. Các bộ dữ liệu được mô tả bởi các thuộc tính tuổi tác, thu nhập, học sinh và
xếp hạng tín dụng. Các thuộc tính nhãn lớp, mua máy tính, có hai giá trị khác nhau (cụ thể là,
{yes, no}). Hãy C1 tương ứng với các lớp mua máy tính = yes và C2 tương ứng để
mua máy tính = không. Các tuple chúng tôi muốn phân loại là
X = (tuổi = thanh niên, thu nhập = trung bình, sinh viên = yes, xếp hạng tín dụng = công bằng)
Chúng tôi cần để tối đa hóa P (X | Ci) P (Ci), với i = 1, 2. P (Ci), xác suất trước của mỗi
lớp, có thể được tính toán dựa trên bộ dữ liệu huấn luyện:
P (mua máy tính = yes) = 9/14 = 0,643
P (mua máy tính = không) = 5/14 = 0,357
Để tính P ( X | Ci), với i = 1, 2, chúng tôi tính toán các xác suất có điều kiện sau đây:
P (tuổi = trẻ | mua máy tính = yes) = 2/9 = 0,222
P (tuổi = trẻ | mua máy tính = không) = 3 / 5 = 0,600
P (thu nhập = medium | mua máy tính = yes) = 4/9 = 0,444
P (thu nhập = medium | mua máy tính = không) = 2/5 = 0,400
P (sinh viên = yes | mua máy tính = yes) = 6 / 9 = 0,667
HAN 15 ch08-327-392-9780123814791 2011/06/01 03:21 trang 354 # 28
354 Chương 8 Phân loại: Các khái niệm cơ bản
P (sinh viên = yes | mua máy tính = không) = 1/5 = 0,200
P (xếp hạng tín dụng = công bằng | mua máy tính = yes) = 6/9 = 0,667
P (xếp hạng tín dụng = công bằng | mua máy tính = không) = 2/5 = 0,400
Sử dụng các xác suất, ta có
P (X | mua máy tính = yes ) = P (tuổi = tuổi trẻ | mua máy tính = có)
× P (thu nhập = medium | mua máy tính = có)
× P (sinh viên = yes | mua máy tính = có)
× P (xếp hạng tín dụng = công bằng | mua máy tính = yes)
= 0,222 × 0,444 × 0,667 × 0,667 = 0,044.
Tương tự như vậy,
P. (X | mua máy tính = không) = 0,600 × 0,400 × 0,200 × 0,400 = 0,019
Để tìm lớp, Ci, nhằm tối đa hóa P (X | Ci) P (Ci), ta tính
P (X | mua máy tính = có) P (mua máy tính = yes) = 0,044 × 0,643 = 0,028
P (X | mua máy tính = không) P (mua máy tính = không) = 0,019 × 0,357 = 0,007
Do đó, Na Ive phân loại Bayes dự đoán mua máy tính = yes cho tuple X.
"nếu tôi gặp phải các giá trị xác suất bằng không?" Nhớ lại rằng trong phương. (8.12), chúng tôi ước tính P (X | Ci) là sản phẩm của các xác suất P (x1 | Ci), P (x2 | Ci), ..., P (xn | Ci), dựa
trên giả định của class- độc lập có điều kiện. Những xác suất có thể được ước lượng từ các bộ dữ liệu đào tạo (bước 4). Chúng tôi cần phải tính toán P (X | Ci) cho mỗi lớp học (i =
1,2, ..., m) để tìm thấy những lớp Ci mà P (X | Ci) P (Ci) là tối đa (bước 5) . Hãy
xem xét tính toán này. Đối với mỗi cặp thuộc tính-giá trị (tức là, Ak = xk, k = 1,2, ..., n)
trong tuple X, chúng ta cần phải đếm số lượng các bộ dữ liệu có mà cặp thuộc tính-giá trị, mỗi
lớp (tức là, mỗi Ci, i = 1, ..., m). Trong ví dụ 8.4, chúng ta có hai lớp (m = 2), cụ thể là
mua máy tính = yes và mua máy tính = không. Do đó, đối với các cặp thuộc tính-giá trị
sinh viên = yes của X, nói rằng, chúng ta cần hai tội-số lượng khách hàng là sinh viên
và cho đó mua máy tính = yes (đóng góp để P (X | mua máy tính = có))
và số lượng khách hàng là sinh viên và cho đó mua máy tính = không
. (đóng góp để P (X | mua máy tính = không))
Nhưng nếu, nói rằng, không có bộ dữ liệu đào tạo đại diện cho sinh viên các lớp
mua máy tính = không có, kết quả là P (sinh viên = yes | mua máy tính = không) = 0? Trong khác
từ, những gì sẽ xảy ra nếu chúng ta nên kết thúc với một giá trị xác suất bằng không đối với một số
P (xk | Ci)? Đem giá trị này bằng không vào Eq. (8.12) sẽ trả về một khả năng không cho
P (X | Ci), mặc dù, không có xác suất bằng không, chúng ta có thể đã kết thúc với một cao
xác suất, gợi ý rằng X thuộc lớp Ci! Một xác suất bằng không hủy bỏ những ảnh hưởng
của các bản khác (hậu) xác suất (trên Ci) có liên quan đến sản phẩm.
Có một thủ thuật đơn giản để tránh vấn đề này. Chúng ta có thể giả định rằng cơ sở dữ liệu đào tạo của chúng tôi, D, là rất lớn mà thêm một đến mỗi số mà chúng ta cần sẽ chỉ làm cho một
sự khác biệt đáng kể trong giá trị xác suất ước tính, chưa thuận tiện sẽ tránh được
HAN 15 ch08-327-392-9780123814791 2011 / 01/06 03:21 trang 355 # 29
8.4 Rule-Based Phân loại 355
trường hợp giá trị xác suất bằng không. Kỹ thuật này để ước lượng xác suất được gọi là
điều chỉnh Laplacian hay Laplace ước lượng, được đặt tên sau khi Pierre Laplace, một người Pháp
nhà toán học người sống từ năm 1749 đến năm 1827. Nếu chúng ta có, nói, đếm q mà mỗi chúng ta
thêm một, sau đó chúng ta phải nhớ để thêm q cho mẫu số tương ứng được sử dụng trong
việc tính toán xác suất. Chúng tôi minh họa kỹ thuật này trong ví dụ 8.5