3 Parallel Algorithms for Induction

3 Parallel Algorithms for Induction of Decision Tree
Classifiers
Classification is an important data mining problem. The input to the problem
is a data-set called the training set, which consists of a number of examples
each having a number of attributes. The attributes are either continuous, when
the attribute values are ordered, or categorical, when the attribute values are
unordered. One of the categorical attributes is called the class label or the clas-
sifying attribute. The objective is to use the training set to build a model of
the class label based on the other attributes such that the model can be used to
classify new data not from the training data-set. Application domains include re-
tail target marketing, fraud detection, and design of telecommunication service
plans. Several classification models like neural networks [Lip87], genetic algo-
rithms [Gol89], and decision trees [Qui93] have been proposed. Decision trees
are probably the most popular since they obtain reasonable accuracy [DMT94]
and they are relatively inexpensive to compute.
Most of the existing induction–based algorithms like C4.5 [Qui93], CDP [AIS93a],
SLIQ [MAR96], and SPRINT [SAM96] use Hunt’s method [Qui93] as the basic
algorithm. Here is its recursive description for constructing a decision tree from
a set T of training cases with classes denoted {C1, C2, . . . , Ck}.
Case 1 T contains cases all belonging to a single class Cj . The decision tree for
T is a leaf identifying class Cj .
Case 2 T contains cases that belong to a mixture of classes. A test is chosen,
based on a single attribute, that has one or more mutually exclusive outcomes
{O1, O2, . . . , On}. Note that in many implementations, n is chosen to be
2 and this leads to a binary decision tree. T is partitioned into subsets
T1, T2, . . . , Tn, where Ti contains all the cases in T that have outcome Oi of
the chosen test. The decision tree for T consists of a decision node identifying
the test, and one branch for each possible outcome. The same tree building
machinery is applied recursively to each subset of training cases.
Case 3 T contains no cases. The decision tree for T is a leaf, but the class to be
associated with the leaf must be determined from information other than T.
For example, C4.5 chooses this to be the most frequent class at the parent
of this node.
Figure 1 shows a training data set with four data attributes and two classes
and its classification decision tree constructed using the Hunt’s method. In the

Kết quả (Việt) 1:

3 song song thuật toán cho cảm ứng của cây quyết địnhMáy phân loạiPhân loại là một vấn đề khai thác dữ liệu quan trọng. Đầu vào cho vấn đềmột tập hợp dữ liệu được gọi là tập hợp đào tạo, bao gồm một số ví dụmỗi người có một số thuộc tính. Các thuộc tính là một trong hai khi liên tục,Các giá trị thuộc tính được yêu cầu, hoặc phân loại, khi các giá trị thuộc tínhcó thứ tự. Một trong các thuộc tính phân loại được gọi là lớp nhãn hoặc t-thuộc tính sifying. Mục tiêu là để sử dụng đào tạo thiết lập để xây dựng một mô hình củanhãn lớp học dựa trên các thuộc tính khác như vậy mà các mô hình có thể được sử dụng đểphân loại các dữ liệu mới không phải từ các dữ liệu đào tạo-thiết lập. Lĩnh vực ứng dụng bao gồm re-đuôi mục tiêu tiếp thị, phát hiện gian lận, và thiết kế của dịch vụ viễn thôngkế hoạch. Một số phân loại mô hình giống như mạng nơ-ron [Lip87], thuật toán di truyền-rithms [Gol89], và cây quyết định [Qui93] đã được đề xuất. Cây quyết địnhcó lẽ là phổ biến nhất kể từ khi họ có được độ chính xác hợp lý [DMT94]và họ là tương đối rẻ tiền để tính toán.Hầu hết các thuật toán cảm ứng-dựa sẵn có như C4.5 [Qui93], CDP [AIS93a],SLIQ [MAR96], và SPRINT [SAM96] sử dụng phương pháp của Hunt [Qui93] là cơ bảnthuật toán. Dưới đây là mô tả của nó đệ quy cho việc xây dựng một cây quyết định từmột bộ T trường hợp đào tạo với các lớp học được biểu thị {C1, C2,..., Ck}.Trường hợp 1 T có trường hợp tất cả thuộc một lớp Cj. Các cây quyết địnhT is a leaf identifying class Cj .Case 2 T contains cases that belong to a mixture of classes. A test is chosen,based on a single attribute, that has one or more mutually exclusive outcomes{O1, O2, . . . , On}. Note that in many implementations, n is chosen to be2 and this leads to a binary decision tree. T is partitioned into subsetsT1, T2, . . . , Tn, where Ti contains all the cases in T that have outcome Oi ofthe chosen test. The decision tree for T consists of a decision node identifyingthe test, and one branch for each possible outcome. The same tree buildingmachinery is applied recursively to each subset of training cases.Case 3 T contains no cases. The decision tree for T is a leaf, but the class to beassociated with the leaf must be determined from information other than T.For example, C4.5 chooses this to be the most frequent class at the parentof this node.Figure 1 shows a training data set with four data attributes and two classesand its classification decision tree constructed using the Hunt’s method. In the

Kết quả (Việt) 2:

3 Thuật toán song song cho cảm ứng của cây quyết định
Classifiers
Phân loại là một vấn đề khai thác dữ liệu quan trọng. Các đầu vào cho vấn đề
là một dữ liệu tập hợp được gọi là tập huấn luyện, trong đó bao gồm một số ví dụ
từng có một số thuộc tính. Các thuộc tính hoặc là liên tục, khi
các giá trị thuộc tính được đặt hàng, hoặc phân loại, khi các giá trị thuộc tính là
không có thứ tự. Một trong những thuộc tính phân loại được gọi là nhãn lớp hoặc clas-
thuộc tính sifying. Mục tiêu là để sử dụng đào tạo thiết để xây dựng một mô hình của
các nhãn lớp dựa trên các thuộc tính khác như vậy mà các mô hình có thể được sử dụng để
phân loại dữ liệu mới không phải từ việc đào tạo dữ liệu tập. Lĩnh vực ứng dụng bao gồm tái
thị đuôi mục tiêu, phát hiện gian lận, và thiết kế các dịch vụ viễn thông
kế hoạch. Một số mô hình phân loại như các mạng thần kinh [Lip87], di truyền algo-
rithms [Gol89], và cây quyết định [Qui93] đã được đề xuất. Cây quyết định
có lẽ là phổ biến nhất kể từ khi họ có được độ chính xác hợp lý [DMT94]
và họ là tương đối rẻ tiền để tính toán.
Hầu hết các thuật toán cảm ứng dựa trên hiện có như C4.5 [Qui93], CDP [AIS93a],
SLIQ [MAR96], và SPRINT [SAM96] sử dụng phương pháp Hunt [Qui93] là cơ sở
thuật toán. Dưới đây là mô tả đệ quy của mình để xây dựng một cây quyết định từ
một tập hợp T các trường hợp đào tạo với các lớp học ký hiệu {C1, C2,. . . , Ck}.
Trường hợp 1 T có chứa tất cả các trường hợp thuộc về một lớp học duy nhất Cj. Các cây quyết định cho
T là một lá xác định lớp Cj.
Trường hợp 2 T chứa các trường hợp mà thuộc về một hỗn hợp của các lớp học. Một thử nghiệm được lựa chọn,
dựa trên một thuộc tính duy nhất, mà có một hoặc hai bên nhiều hơn kết quả độc quyền
{O1, O2,. . . , Trên}. Lưu ý rằng trong việc triển khai nhiều, n được chọn là
2 và điều này dẫn đến một cây quyết định nhị phân. T được phân chia thành các tập con
T1, T2,. . . , Tn, nơi Ti chứa tất cả các trường hợp trong T có kết quả Oi của
các thử nghiệm được lựa chọn. Các cây quyết định cho T bao gồm một nút quyết định xác định
các kiểm tra, và một chi nhánh cho mỗi kết cục tốt. Cùng xây dựng cây
máy móc được áp dụng một cách đệ quy cho mỗi tập hợp con của các trường hợp đào tạo.
Trường hợp 3 T không chứa trường hợp. Các cây quyết định cho T là một chiếc lá, nhưng các lớp được
liên kết với các lá phải được xác định từ thông tin khác với T.
Ví dụ, C4.5 chọn này là lớp thường gặp nhất ở phụ huynh
của nút này.
Hình 1 cho thấy một dữ liệu đào tạo thiết lập với bốn thuộc tính dữ liệu và hai lớp
và cây quyết định phân loại của nó được xây dựng bằng cách sử dụng phương pháp của Hunt. Trong