There is still another parameter th

There is still another parameter that can be tuned to balance between the detection rate and the false alarm rate: The class label prediction yˆ(x) = sign[HM (x)] is obtained by thresholding the strong classifier HM (x) at the default threshold value 0. However, it can be done as yˆ(x) = sign[HM (x) − TM ] with another value TM , which can be tuned for the balance.
The form of Eq.(6) is for Discrete AdaBoost. In the case of real versions of AdaBoost, such as RealBoost and LogitBoost, a weak classifier should be real-valued or output the class label with a probability value. For the real-value type, a weak classifier may be constructed as the log-likelihood ratio computed from the histograms of the feature value for the two classes. (See the literature for more details [18, 19, 20]). For the latter, it may be a decision stump or tree with probability values attached to the leaves [22].
4.3 Boosted Strong Classifier
AdaBoost learns a sequence of weak classifiers hm and boosts them into a strong one HM effectively by minimizing the upper bound on classification error achieved by HM . The bound can be derived as the following exponential loss function [33]
where i is the index for training examples. AdaBoost construct hm (x) (m = 1, . . . , M ) by M −1 stagewise minimization of Eq.(7). Given the current HM −1 (x) = m=1 αm hm (x), and the newly learned weak classifier hM , the best combining coefficient αM for the new strong classifier HM (x) = HM −1 (x) + αM hM (x) minimizes the cost
αM = arg min J(HM −1 (x) + αm hM (x)) (8)
The minimizer is
where M is the weighted error rate
where 1[C] is 1 if C is true but 0 otherwise.
is updated according to the clasEach example is reweighted after an iteration i.e., wi
sification performance of HM :
w(M ) (x, y) = w(M −1) (x, y) exp (−yαM hM (x))
= exp (−yHM (x))
which is used for calculating the weighted error or another cost for training the weak classifier in the next round. This way, a more difficult example is associated with a larger weight so it is emphasized more in the next round of learning. The algorithm is summarized in Figure 2.8.
0. (Input)
(1) Training examples Z = {(x1 , y1 ), . . . , (xN , yN )},
where N = a + b; of which a examples have yi = +1
and b examples have yi = −1.
(2) The number M of weak classifiers to be combined.
1. (Initialization)
(0)
1
for those examples with yi = +1 or
wi = 2a
(0)
1
wi = 2b for those examples with yi = −1.
2. (Forward inclusion)
For m = 1, . . . , M :
(1) Choose optimal hm to minimize the weighted error.
(2) Choose αm according to Eq. (9).
(m)
(m)
(3) Update wi ← wi exp[−yi αm hm (xi )] and
(m)
normalize to i wi = 1.
3. (Output)
Classification function: HM (x) as in Eq.(1).
Class label prediction: yˆ(x) = sign[HM (x)].
Fig. 2.8. AdaBoost learning algorithm.

4.4 FloatBoost Learning
AdaBoost attempts to boost the accuracy of an ensemble of weak classifiers. The AdaBoost algorithm [9] solves many of the practical difficulties of earlier boosting algorithms. Each weak classifier is trained stage-wise to minimize the empirical error for a given distribution reweighted according to the classification errors of the previously trained classifiers. It is shown that AdaBoost is a sequential forward search procedure using the greedy selection strategy to minimize a certain margin on the training set [33].
A crucial heuristic assumption used in such a sequential forward search procedure is the monotonicity (i.e., that addition of a new weak classifier to the current set does not decrease the value of the performance criterion). The premise offered by the sequential procedure in AdaBoost breaks down when this assumption is violated (i.e., when the performance criterion function is nonmonotonic).
Floating Search [30] is a sequential feature selection procedure with backtracking, aimed to deal with nonmonotonic criterion functions for feature selection. A straight sequential selection method such as sequential forward search or sequential backward search adds or deletes one feature at a time. To make this work well, the monotonicity property has to be satisfied by the performance criterion function. Feature selection with a nonmonotonic criterion may be dealt with using a more sophisticated technique, called plus- -minus-r, which adds or deletes features and then backtracks r steps [16, 40].
The sequential forward floating search (SFFS) methods [30] allows the number of backtracking steps to be controlled instead of being fixed beforehand. Specifically, it adds or deletes a single ( = 1) feature and then backtracks r steps, where r depends on the current situation. It is this flexibility that overcomes the limitations due to the nonmonotonicity problem. Improvement on the quality of selected features is achieved at the cost of increased computation due to the extended search. The SFFS algorithm performs well in several applications [15, 30]. The idea of floating search is further developed by allowing more flexibility for the determination of l [39].
Let HM = {h1 , . . . , hM } be the current set of M weak classifiers, J(HM ) be the criterion min be that measures the overall cost (e.g., error rate) of the classification function HM , and Jm the minimum cost achieved so far with a linear combination of m weak classifiers whose value is initially set to very large before the iteration starts.
The FloatBoost Learning procedure is shown in Figure 2.9. It is composed of several parts: the training input, initialization, forward inclusion, conditional exclusion, and output. In step 2 (forward inclusion), the currently most significant weak classifiers are added one at a time, which is the same as in AdaBoost. In step 3 (conditional exclusion), FloatBoost removes the least significant weak classifier from the set HM of current weak classifiers, subject to the condition that the removal leads to a lower cost than JM −1 . Supposing that the weak classifier removed was the m -th in HM , then hm , . . . , hM −1 and the αm ’s must be relearned. These steps are repeated until no more removals can be done.
For face detection, the acceptable cost J ∗ is the maximum allowable risk, which can be defined as a weighted sum of the missing rate and the false alarm rate. The algorithm terminates when the cost is below J ∗ or the maximum number M of weak classifiers is reached. FloatBoost usually needs a fewer number of weak classifiers than AdaBoost to achieve a given objective function value J ∗ . Based on this observation, one has two options: (1) Use
0. (Input)
(1) Training examples Z = {(x1 , y1 ), . . . , (xN , yN )},
where N = a + b; of which a examples have
yi = +1 and b examples have yi = −1.
(2) The maximum number Mmax of weak classifiers.
(3) The cost function J(HM ), and the maximum acceptable cost J ∗ .
1. (Initialization)
(0)
1
for those examples with yi = +1 or
(1) wi = 2a
(0)
1
wi = 2b for those examples with yi = −1.
min
(2) Jm
=max-value (for m = 1, . . . , Mmax ),
M = 0, H0 = {}.
2. (Forward inclusion)
(1) M ← M + 1.
(2) Learn hM and αM .
(M )
(M −1)
(3) Update wi
←w
exp[−yi αM hM (xi )],
i(M )
= 1.
normalize to i wi
(4) HM = HM −1 ∪ {hM };
min
min
If JM
> J(HM ), then JM
= J(HM ).
3. (Conditional exclusion)
(1) h = arg minh∈HM J(HM − h).
min
(2) If J(HM − h ) < JM
−1 , then
(a) HM −1 = HM − h .
min

JM
−1 = J(HM − h ); M = M − 1.

(b) If h = hm , then
(j)
recalculate wi and hj for j = m , . . . , M .
(c) Go to 3.(1).
(3) Else
(a) If M = Mmax or J(HM ) < J ∗ , then go to 4.
(b) Go to 2.(1).
4. (Output)
Classification function: HM (x) as in Eq.(1).
Class label prediction: yˆ(x) = sign[HM (x)].
Fig. 2.9. FloatBoost algorithm.
the FloatBoost-trained strong classifier with its fewer weak classifiers to achieve similar performance, as can be done by a AdaBoost-trained classifier with more weak classifiers; (2) continue FloatBoost learning to add more weak classifiers even if the performance on the training data does not increase. The reason for considering option (2) is that even if the performance does not improve on the training data, adding more weak classifiers may lead to improvements on test data [33]; however, the best way to determine how many weak classifiers to use for FloatBoost, as well as AdaBoost, is to use a validation set to generate a performance curve and then choose the best number.

Kết quả (Việt) 1:

Đó là vẫn còn một tham số mà có thể được điều chỉnh để cân bằng giữa tỷ lệ phát hiện và mức báo động giả: lớp nhãn dự báo yˆ(x) = dấu hiệu [HM (x)] thu được bằng thresholding classifier HM (x) mạnh mẽ tại ngưỡng giá trị mặc định 0. Tuy nhiên, nó có thể được thực hiện như yˆ(x) = dấu hiệu [HM (x) − TM] với một giá trị TM, mà có thể được điều chỉnh cho số dư. Các hình thức của Eq.(6) là cho AdaBoost rời rạc. Trong trường hợp của các phiên bản thực tế của AdaBoost, chẳng hạn như RealBoost và LogitBoost, một classifier yếu nên được giá trị thực hoặc đầu ra nhãn lớp với một giá trị xác suất. Đối với loại giá trị thực, một classifier yếu có thể được xây dựng như tỷ lệ khả năng đăng nhập tính từ histograms giá trị tính năng cho các lớp học hai. (Xem các tài liệu cho biết thêm chi tiết [18, 19, 20]). Cho sau này, nó có thể là một quyết định gốc hoặc cây với giá trị xác suất gắn liền với lá [22].4.3 thúc đẩy mạnh mẽ ClassifierAdaBoost học một chuỗi các yếu classifiers hm và tăng chúng vào một HM một mạnh mẽ có hiệu quả bằng cách giảm thiểu ràng buộc classification lỗi đạt được bởi HM. Ràng buộc có thể được bắt nguồn như các chức năng mũ mất sau [33]nơi mà tôi là chỉ số cho các ví dụ huấn luyện. AdaBoost xây dựng hm (x) (m = 1,..., M) bởi M −1 giảm thiểu stagewise của Eq.(7). Cung cấp hiện tại HM −1 (x) = m = 1 αm hm (x), và vừa được học yếu classifier hM, tốt nhất kết hợp coefficient αM cho classifier mạnh mẽ mới HM (x) = HM −1 (x) + αM hM (x) giảm thiểu chi phí ΑM = arg min J (HM −1 (x) + αm hM (x)) (8)Minimizer lànơi M là tỷ lệ trọng lỗinơi 1 [C] là 1 nếu C là đúng nhưng 0 nếu không.được Cập Nhật theo clasEach ví dụ reweighted sau khi lặp đi lặp lại một ví dụ, wisification các hiệu suất của HM:w (M) (x, y) = w (M −1) (x, y) exp (−yαM hM (x))= exp (−yHM (x))được sử dụng để tính toán trọng lỗi hoặc các chi phí khác cho việc đào tạo classifier yếu trong vòng tiếp theo. Bằng cách này, một ví dụ difficult thêm được kết hợp với một trọng lượng lớn hơn vì vậy nó được nhấn mạnh hơn trong vòng tiếp theo của học tập. Các thuật toán tóm tắt trong hình 2,8.0. (đầu vào)(1) ví dụ đào tạo Z = {(x 1, y1),..., (xN, yN)},nơi N = một + b; trong đó có một ví dụ có yi = + 1và b ví dụ có yi = −1.(2) một số M của yếu classifiers để được kết hợp.1. (khởi tạo)(0)1Đối với những ví dụ với yi = + 1 hoặcWi = 2a(0)1Wi = 2b cho những ví dụ với yi = −1.2. (chuyển tiếp bao gồm)Với m = 1,..., M:(1) chọn hm tối ưu để giảm thiểu lỗi trọng.(2) chọn αm theo Eq. (9).(m)(m)(3) ← Cập Nhật wi wi điểm kinh nghiệm [−yi αm hm (xi)] và (m)bình thường hóa để tôi wi = 1.3. (đầu ra)Classification chức năng: HM (x) như trong Eq.(1).Lớp dự đoán nhãn: yˆ(x) = dấu hiệu [HM (x)].Hình 2,8. Các thuật toán học AdaBoost.4,4 FloatBoost họcAdaBoost cố gắng để tăng độ chính xác của một ensemble yếu classifiers. Thuật toán AdaBoost [9] giải quyết nhiều người trong số các difficulties thực tế của trước đó thúc đẩy các thuật toán. Mỗi classifier yếu được huấn luyện stage-wise để giảm thiểu lỗi thực nghiệm cho một bản phát hành nhất định reweighted theo lỗi classification của classifiers được đào tạo trước đây. Chúng tôi hiển thị rằng AdaBoost là một thủ tục tuần tự tìm kiếm về phía trước bằng cách sử dụng các chiến lược tham lam lựa chọn để giảm thiểu một biên độ nhất định trên các thiết lập đào tạo [33].Một giả định heuristic rất quan trọng được sử dụng trong một thủ tục tuần tự tìm chuyển tiếp là monotonicity (tức là, rằng bổ sung của một classifier yếu mới để thiết lập hiện tại không làm giảm giá trị của các tiêu chí hiệu suất). Những tiền đề được cung cấp bởi các thủ tục tuần tự trong AdaBoost vi phạm xuống khi giả định này là vi phạm (ví dụ, khi các chức năng tiêu chuẩn hiệu suất là nonmonotonic).Nổi tìm [30] là một thủ tục lựa chọn tính năng tuần tự với backtracking, nhằm mục đích để đối phó với các hàm nonmonotonic tiêu chí để lựa chọn tính năng. Một phương pháp thẳng tuần tự lựa chọn chẳng hạn như tuần tự tìm kiếm về phía trước hoặc tuần tự ngược tìm thêm hoặc xoá một tính năng tại một thời điểm. Để làm cho công việc này tốt, bất động sản monotonicity đã là satisfied bởi các chức năng tiêu chuẩn hiệu suất. Lựa chọn tính năng với một tiêu chí nonmonotonic có thể được xử lý bằng cách sử dụng một kỹ thuật phức tạp hơn, được gọi là plus - - trừ-r, thêm hoặc xóa các tính năng và sau đó backtracks r bước [16, 40].Phương pháp tìm (SFFS) tuần tự chuyển tiếp floating [30] cho phép số backtracking bước phải được kiểm soát thay vì là fixed trước. Specifically, nó cho biết thêm hoặc xóa một đĩa đơn (= 1) tính năng và sau đó backtracks r bước, nơi phụ thuộc vào tình hình hiện tại. Nó là này flexibility vượt qua những hạn chế do vấn đề nonmonotonicity. Cải tiến chất lượng của tính năng đã chọn được thực hiện với chi phí của các tính toán tăng do việc tìm kiếm mở rộng. Thuật toán SFFS thực hiện tốt trong một số ứng dụng [15, 30]. Ý tưởng của floating tìm tiếp tục được phát triển bằng cách cho phép thêm flexibility cho việc xác định l [39].Hãy để HM = {h1,..., hM} là Tập M yếu classifiers, hiện tại, J (HM) là min tiêu chí là rằng các biện pháp chi phí tổng thể (ví dụ, tỷ lệ lỗi) classification chức năng HM, và Jm tối thiểu chi phí đạt được cho đến nay với một tổ hợp tuyến tính của m yếu classifiers có giá trị ban đầu được thiết lập để rất lớn trước khi lặp bắt đầu. Thủ tục FloatBoost học tập được thể hiện trong hình 2.9. Nó bao gồm một số bộ phận: đầu vào đào tạo, khởi tạo, bao gồm chuyển tiếp, có điều kiện loại trừ, và đầu ra. Trong bước 2 (phía trước bao gồm), hiện nay hầu hết significant yếu classifiers được thêm vào một lúc một thời gian, mà là giống như trong AdaBoost. Trong bước 3 (có điều kiện loại trừ), FloatBoost loại bỏ classifier ít nhất significant yếu từ HM classifiers yếu hiện tại, tùy thuộc vào các điều kiện loại bỏ dẫn đến một chi phí thấp hơn JM −1, thiết lập. Giả sử rằng yếu classifier loại bỏ là m -th trong HM, sau đó hm,..., hM −1 và của αm phải được relearned. Các bước này được lặp đi lặp lại cho đến khi không gỡ bỏ thêm có thể được thực hiện.Để phát hiện khuôn mặt, chấp nhận được chi phí J ∗ là nguy cơ cho phép tối đa có thể là defined như là một khoản tiền trọng của tỷ lệ mất tích và mức báo động giả. Các thuật toán chấm dứt khi chi phí là dưới đây J ∗ hoặc đạt đến số tối đa M yếu classifiers. FloatBoost thường cần một ít số lượng yếu classifiers hơn AdaBoost để đạt được một mục tiêu nhất định chức năng giá trị J ∗. Dựa trên quan sát này, có hai lựa chọn: sử dụng (1) 0. (đầu vào)(1) ví dụ đào tạo Z = {(x 1, y1),..., (xN, yN)},nơi N = một + b; trong đó có một ví dụYi = + 1 và b ví dụ có yi = −1.(2) Mmax số tối đa của yếu classifiers.(3) các chức năng chi phí J (HM), và tối đa chấp nhận được chi phí J ∗.1. (khởi tạo)(0)1Đối với những ví dụ với yi = + 1 hoặc(1) wi = 2a(0)1Wi = 2b cho những ví dụ với yi = −1.Min(2) Jm= giá trị tối đa (cho m = 1,..., Mmax),M = 0, H0 = {}.2. (chuyển tiếp bao gồm)(1) M ← M + 1.(2) tìm hiểu hM và αM.(M)(M −1)(3) Cập Nhật wi←wđiểm kinh nghiệm [−yi αM hM (xi)], tôi (M)= 1.bình thường hóa để tôi wi(4) HM = HM −1 u {hM};MinMinNếu JM> J (HM), sau đó JM= J (HM).3. (có điều kiện loại trừ)(1) h = arg minh∈HM J (HM − h).Min(2) nếu J (HM − h) < JM−1, sau đó(a) HM −1 = HM − h.MinJM−1 = J (HM − h); M = M − 1.(b) nếu h = hm, sau đó(j)tính toán lại wi và hj cho j = m,..., M.(c) đi đến 3.(1).Else (3)(a) nếu M = Mmax hoặc J (HM) < J ∗, sau đó đi đến 4.(b) đi đến 2.(1).4. (đầu ra)Classification chức năng: HM (x) như trong Eq.(1).Lớp dự đoán nhãn: yˆ(x) = dấu hiệu [HM (x)].Hình 2.9. Thuật toán FloatBoost.FloatBoost đào tạo mạnh mẽ classifier với yếu classifiers của nó ít hơn để đạt được hiệu suất tương tự, như có thể được thực hiện bởi một huấn luyện AdaBoost classifier với thêm yếu classifiers; (2) tiếp tục FloatBoost học tập để thêm thêm yếu classifiers ngay cả khi hiệu suất trên dữ liệu đào tạo không tăng. Lý do để xem xét lựa chọn (2) là rằng ngay cả khi hiệu suất không cải thiện trên dữ liệu đào tạo, thêm thêm yếu classifiers có thể dẫn đến cải tiến trên thử nghiệm dữ liệu [33]; Tuy nhiên, cách tốt nhất để xác định bao nhiêu classifiers yếu để sử dụng cho FloatBoost, AdaBoost, là sử dụng một xác nhận thiết lập để tạo ra một đường cong hiệu suất và sau đó chọn một số tốt nhất.

Kết quả (Việt) 2:

Vẫn còn có một tham số có thể được điều chỉnh để cân bằng giữa tỷ lệ phát hiện và tỷ lệ báo động sai: Các y dự đoán nhãn lớp (x) = ký [HM (x)] thu được bằng cách ngưỡng các phân loại fi er HM mạnh (x) tại giá trị mặc ​​định ngưỡng 0. Tuy nhiên, nó có thể được thực hiện như là y (x) = ký. [HM (x) - TM] với một TM giá trị, trong đó có thể được điều chỉnh để cân bằng
các hình thức của phương trình (6) là rời rạc. AdaBoost. Trong trường hợp của phiên bản thực sự của AdaBoost, như RealBoost và LogitBoost, một fi classi er yếu nên giá trị thực hay sản lượng nhãn lớp với một giá trị xác suất. Đối với các loại thực giá trị, một fi classi er yếu có thể được xây dựng như là tỷ lệ loga tính từ biểu đồ của các giá trị đặc trưng cho hai lớp. (Xem tài liệu để biết thêm chi tiết [18, 19, 20]). Để sau này, nó có thể là một gốc cây quyết định hoặc cây có giá trị xác suất gắn liền với những chiếc lá [22].
4.3 Thúc đẩy mạnh mẽ mạnh phân loại fi er
AdaBoost học được một chuỗi các yếu classi ers fi hm và tăng chúng thành một trong những mạnh HM có hiệu quả bằng cách giảm thiểu trên ràng buộc về phân loại lỗi fi cation đạt được bằng HM. Các ràng buộc có thể được bắt nguồn như các chức năng sau đây theo cấp số nhân mất [33]
Trong đó i là chỉ số cho ví dụ huấn luyện. AdaBoost xây dựng hm (x) (m = 1,..., M) của M -1 stagewise giảm thiểu Eq. (7). Với HM hiện -1 (x) = m = 1 αm hm (x), và mới học yếu fi classi er HM, sự kết hợp tốt nhất coef fi cient αM cho mạnh HM fi classi er mới (x) = HM -1 (x) + αM HM (x) giảm thiểu các chi phí
αM = arg min J (HM -1 (x) + αm HM (x)) (8)
Các minimizer là
nơi M là tỷ lệ lỗi trọng
nơi 1 [C] là 1 nếu C là đúng . nhưng 0 nếu không
được cập nhật theo các ví dụ clasEach được reweighted sau khi một sự lặp tức, wi
si fi cation hiệu suất của HM:
w (M) (x, y) = w (M -1) (x, y) exp (-yαM HM (x))
= exp (-yHM (x))
được sử dụng để tính toán các lỗi trọng hoặc một chi phí cho việc đào tạo các fi classi er yếu trong các vòng tiếp theo. Bằng cách này, một khăn hơn ví dụ fi sùng bái liên kết với một trọng lượng lớn hơn vì vậy nó được nhấn mạnh hơn ở vòng tiếp theo của việc học. Thuật toán này được tóm tắt trong Hình 2.8.
0. (Input)
(1) Đào tạo ví dụ Z = {(x1, y1),. . . (XN, yn)},
trong đó N = a + b; trong đó một ví dụ có yi = 1
và ví dụ b có yi = -1.
(2) Số lượng M của ers fi classi yếu để có thể kết hợp.
1. (Initialization)
(0)
1
đối với những ví dụ với yi = 1 hoặc
wi = 2a
(0)
1
wi = 2b cho những ví dụ với yi = -1.
2. (Forward bao gồm)
Đối với m = 1,. . . , M:
(1) Chọn hm tối ưu để giảm thiểu các lỗi trọng.
(2) Chọn αm theo Eq. (9).
(m)
(m)
(3) Cập nhật wi ← wi exp [-yi αm hm (xi)] và
(m)
bình thường để tôi wi = 1.
3. (Output)
chức năng phân loại fi cation:.. HM (x) như trong phương trình (1)
dự đoán nhãn Class: y (x) = ký [HM (x)].
Hình. 2.8. AdaBoost thuật toán học. 4.4 FloatBoost Learning AdaBoost cố gắng để tăng độ chính xác của một tập hợp ers fi classi yếu. Các AdaBoost [9] thuật toán giải quyết được nhiều những khó khăn thực tế của fi trước thuật toán boosting. Mỗi phân loại fi er yếu được đào tạo giai đoạn khôn ngoan để giảm thiểu các lỗi thực nghiệm cho một phân phối cho reweighted theo lỗi fi cation phân loại của ers fi classi đào tạo trước đây. Nó được thể hiện rằng AdaBoost là một thủ tục tìm kiếm về phía trước liên tục sử dụng các chiến lược lựa chọn tham lam để giảm thiểu một biên độ nhất định trên tập huấn luyện [33]. Một giả định Heuristic quan trọng được sử dụng trong một thủ tục tìm kiếm về phía trước tuần tự như vậy là đơn điệu (tức là, bổ sung một yếu fi classi er mới vào tập hiện tại không làm giảm giá trị của các tiêu chí chất lượng). Những tiền đề được cung cấp bởi các thủ tục trình tự trong AdaBoost phá vỡ khi giả định này bị vi phạm (ví dụ, khi các chức năng tiêu chuẩn hiệu suất là nonmonotonic). Floating Tìm kiếm [30] là một thủ tục lựa chọn tính năng tuần tự với tùy ý, nhằm đối phó với các chức năng tiêu chuẩn cho nonmonotonic lựa chọn tính năng. Một lựa chọn phương pháp tuần tự như thẳng về phía trước tìm kiếm tuần tự hoặc tìm kiếm ngược tuần tự thêm hoặc xóa một tính năng tại một thời điểm. Để làm công việc này tốt, tài sản đơn điệu đã được satis fi ed bởi hàm chuẩn hiệu suất. Lựa chọn tính năng với một tiêu chí nonmonotonic có thể được xử lý bằng cách sử dụng một kỹ thuật tinh vi hơn, được gọi là plus- -minus-r, mà thêm hoặc xóa các tính năng và sau đó backtracks r bước [16, 40]. Các mong tìm kiếm fl thả nổi tuần tự (SFFS) phương pháp [ 30] cho phép số thụt lùi bước được kiểm soát thay vì được fi cố định trước. Speci fi Cally, nó thêm hoặc xóa một (= 1) tính năng duy nhất và sau đó backtracks bước r, trong đó r phụ thuộc vào tình hình hiện tại. Chính điều này exibility fl mà khắc phục được những hạn chế do vấn đề nonmonotonicity. Cải tiến về chất lượng của các tính năng lựa chọn được thực hiện với chi phí tăng lên do tính toán tìm kiếm mở rộng. Các thuật toán SFFS hoạt động tốt trong nhiều ứng dụng [15, 30]. Ý tưởng về tìm kiếm fl thả nổi được phát triển xa hơn bằng cách cho phép nhiều fl exibility cho việc xác định l [39]. Hãy HM = {h1,. . . , Hm} là tập hiện tại của M ers fi classi yếu, J (HM) là tiêu chí min be đo tổng chi phí (ví dụ, tỷ lệ lỗi) của hàm phân loại fi cation HM, và Jm chi phí tối thiểu đạt được cho đến nay với một sự kết hợp tuyến tính của m phân loại yếu ers fi có giá trị được bắt đầu đặt rất lớn trước khi lặp đi lặp lại bắt đầu. Các thủ tục FloatBoost Learning được thể hiện trong hình 2.9. Nó bao gồm các phần: đầu vào đào tạo, khởi tạo, đưa về phía trước, trừ điều kiện, và đầu ra. Trong bước 2 (gồm forward), hiện tại trọng yếu nhất fi không thể yếu ers fi classi được thêm một lúc, đó là giống như trong AdaBoost. Trong bước 3 (trừ điều kiện), FloatBoost loại bỏ các trọng yếu không thể fi fi classi yếu er nhất từ tập HM của ers fi classi yếu hiện nay, tùy thuộc vào điều kiện là việc loại bỏ dẫn đến chi phí thấp hơn so với JM -1. Giả sử rằng các fi classi er yếu loại bỏ được các m -thứ trong HM, sau đó hm,. . . , HM -1 và αm 's phải được relearned. Các bước này được lặp đi lặp lại cho đến khi không có việc di dời có thể được thực hiện. Để phát hiện khuôn mặt, các chi phí chấp nhận được J * là rủi ro tối đa cho phép, có thể được định nghĩa là de một tổng trọng số của tỷ lệ mất tích và tỷ lệ báo động sai. Các thuật toán chấm dứt khi các chi phí dưới đây là J * hoặc số lượng tối đa của M ers fi classi yếu là đạt. FloatBoost thường cần một số ít các ers fi classi yếu hơn AdaBoost để đạt được một mục tiêu nhất định giá trị hàm J *. Dựa trên quan sát này, người ta có hai lựa chọn: (1) Sử dụng 0. (Input) (1) Đào tạo ví dụ Z = {(x1, y1),. . . (XN, yn)}, trong đó N = a + b; trong đó một ví dụ có yi = 1 và ví dụ b có yi = -1. (2) Số lượng tối đa Mmax của ers fi classi yếu. (3) Các hàm chi phí J (HM), và các chi phí chấp nhận được tối đa J *. 1. (Initialization) (0) 1 đối với những ví dụ với yi = 1 hoặc (1) wi = 2a (0) 1 wi = 2b cho những ví dụ với yi = -1. min (2) Jm = max-giá trị (cho m = 1,..,., Mmax) M = 0, H0 = {}. 2. (Forward bao gồm) (1) M ← M + 1. (2) Tìm hiểu HM và αM. (M) (M -1) (3) Cập nhật wi ← w exp [-yi αM HM (xi)], i (M ) = 1. bình thường để i WI (4) HM HM = -1 ∪ {HM}; min min Nếu JM > J (HM), sau đó JM = J (HM). 3. (Loại trừ có điều kiện) (1) h = arg minh∈HM J (HM - h). min (2) Nếu J (HM - h) <JM -1, sau đó (a) = -1 HM HM -. h min JM -1 = J (HM - h); M = M -. 1 (b) Nếu h = hm, sau đó (j) tính toán lại wi và hj cho j = m,. . . , M. (c) Đến 3. (1). (3) Khác (a) Nếu M = Mmax hoặc J (HM) <* J, sau đó đi đến 4. (b) Đến 2. (1). 4. (Output) chức năng phân loại fi cation:.. HM (x) như trong phương trình (1) dự đoán nhãn Class: y (x) = ký [HM (x)]. Hình. 2.9. . Thuật toán FloatBoost các FloatBoost đào tạo er fi classi mạnh với ít ers fi classi yếu của mình để đạt được hiệu suất tương tự, như có thể được thực hiện bởi một fi er AdaBoost đào tạo phân loại với ers fi classi yếu hơn; (2) tiếp tục FloatBoost học thêm ers fi classi yếu hơn ngay cả khi hiệu suất trên các dữ liệu đào tạo không tăng. Lý do để xem xét lựa chọn (2) là ngay cả khi hiệu suất không cải thiện trên các dữ liệu huấn luyện, thêm ers fi classi yếu hơn có thể dẫn đến những cải thiện trên các dữ liệu thử nghiệm [33]; Tuy nhiên, cách tốt nhất để xác định có bao nhiêu ers fi classi yếu để sử dụng cho FloatBoost, cũng như AdaBoost, là sử dụng một xác nhận thiết lập để tạo ra một đường cong hiệu suất và sau đó chọn số tốt nhất.