This is an evaluation of feature se

This is an evaluation of feature selection methods in dimensionality reduction for text categorization at all the reduction levels of aggressiveness, from using the full vocabulary (except stop words) as the feature space, to removing 98% of the unique terms. We found IG and CHI most effective in aggressiv e term removal without losing categorization accuracy in our experiments with kNN and LLSF. DF thresholding is found comparable to the performance of IG and CHI with up to 90% term removal, while TS is comparable with up to 50-60% term removal. Mutual information has inferior performance compared to the other methods due to a bias favoring rare terms and a strong sensitivity to probability estimation errors.

Kết quả (Việt) 1:

Đây là một đánh giá về tính năng lựa chọn phương pháp trong chiều giảm để phân loại văn bản ở tất cả các đơn vị giảm gây hấn, từ việc sử dụng từ vựng đầy đủ (ngoại trừ dừng từ) như là không gian tính năng, để loại bỏ 98% của các điều khoản duy nhất. Chúng tôi tìm thấy IG và chí đặt hiệu quả trong việc loại bỏ thuật ngữ e aggressiv mà không làm mất phân loại chính xác trong các thí nghiệm của chúng tôi với kNN và LLSF. DF thresholding được tìm thấy so sánh với hiệu suất của IG và chí với lên đến 90% loại bỏ thuật ngữ, trong khi TS là tương đương với lên tới 50-60% hạn xoá bỏ. Thông tin chung có hiệu suất kém hơn so với các phương pháp khác do một thiên vị mà ủng hộ điều khoản hiếm và một nhạy cảm mạnh mẽ với xác suất ước lượng lỗi.

Kết quả (Việt) 2:

Đây là một đánh giá các phương pháp lựa chọn tính năng giảm chiều để phân loại văn bản ở tất cả các cấp độ giảm gây hấn, từ việc sử dụng vốn từ vựng đầy đủ (ngoại trừ từ dừng lại) là không gian đặc trưng, ​​để loại bỏ 98% các điều khoản duy nhất. Chúng tôi tìm thấy IG và CHÍ hiệu quả nhất trong aggressiv loại bỏ e hạn mà không làm mất độ chính xác phân loại trong các thí nghiệm của chúng tôi với kNN và LLSF. DF ngưỡng được tìm thấy so sánh với hiệu suất của IG và CHÍ với loại bỏ đến 90% hạn, trong khi TS có thể so sánh với loại bỏ lên đến 50-60% hạn. Thông tin lẫn nhau có hiệu suất kém hơn so với các phương pháp khác do một sự thiên vị thiên từ ít và một sự nhạy cảm mạnh mẽ đến sai sót ước tính xác suất.