Application of document clusteringt

Application of document clustering
techniques to cluster e-mails is an
interesting application. Techniques like k-means,
EM etc can be used to achieve this.
However, the selection of a good distance
metric is the key issue involved. Often
people manually tweak the chosen distance
metric to achieve desirable/good
clusters/results that in all certainty do not
provide a generic solution. Hence it would
be very useful to automatically learn the
distance metric from some training set
before clustering. In [1] a technique for
learning distance metrics has been
proposed for clustering. Our first task is to
apply this technique to document
(specifically e-mails) clustering.
The main issues covered in our work are
two-fold: to decide on the learning strategy
to be adopted and secondly, to design a
feature space for the emails. Classical
email related problems as in [2] have
sought to classify them based on their text
usually resulting in a space either as big as
the collection vocabulary or proportional to
the document length. Even existing
clustering mechanisms like k-Means have
utilized the term-document space for
emails in order to cluster. We approach the
problem in a way as to avoid the
dimensionality problem as well.
I. INTRODUCTION:
Most work in text processing can easily be
broadly categorized into two areas:
clustering and classification.
Text Classification methods have majorly
used classifiers as Naïve Bayes and SVMs
(for example, [2]) in order to classify text
as {spam/non-spam}, {newsgroup/ non newsgroup}
etc. These classifiers have
mostly worked in the term space
representation for documents relying
primarily on the occurrence/non occurrence/frequency
of terms in the
documents to establish their classification.
The term space is defined by terms in the
collection vocabulary serving as the
dimensions of the input space with various
measures as tf*idf (term frequency, inverse
document frequency) values filling in the
magnitudes. The literature for this is
available in [3]. Even though such
supervised learning methods optimize the
classification error the metrics learnt are
not necessarily generic enough to be
plugged into other learning algorithms as K-Means.
This particular limitation is easily
highlighted in the case of less structured
data

Kết quả (Việt) 1:

Các ứng dụng của tài liệu clusteringkỹ thuật để cụm e-mail là mộtứng dụng thú vị. Các kỹ thuật như k-có nghĩa là,EM vv có thể được sử dụng để đạt điều này.Tuy nhiên, việc lựa chọn một khoảng cách tốtsố liệu là vấn đề chủ chốt tham gia. Thường xuyênmọi người theo cách thủ công chỉnh khoảng cách lựa chọnsố liệu để đạt được mong muốn/tốtcụm, kết quả mà tất cả chắc chắn khôngcung cấp một giải pháp chung chung. Do đó nó sẽrất hữu ích để tự động tìm hiểu cácthước đo khoảng cách từ một số thiết lập đào tạotrước khi cụm. Tại [1] một kỹ thuật chohọc từ xa các số liệu đãđề xuất cho cụm. Nhiệm vụ đầu tiên của chúng tôi làáp dụng kỹ thuật này cho tài liệu(cụ thể là e-mail) cụm.Các vấn đề chính phủ trong công việc của chúng tôi làhai lần: quyết định về chiến lược học tậpđể được thông qua và thứ hai, để thiết kế mộttính năng các không gian cho các email. Cổ điểnemail liên quan đến các vấn đề như trong [2] cóTìm cách để phân loại họ dựa trên văn bản của họthông thường kết quả trong một không gian hoặc là lớn nhưCác bộ sưu tập từ vựng hoặc theo tỷ lệ đểchiều dài của tài liệu. Ngay cả hiện tạicơ chế kết cụm như k-có nghĩa là cósử dụng không gian hạn-tài liệu choemail để cụm. Chúng tôi tiếp cận cácvấn đề một cách là để tránh cácchiều vấn đề là tốt.I. GIỚI THIỆU:Hầu hết công việc trong xử lý văn bản một cách dễ dàng có thểrộng rãi được phân loại thành hai khu vực:clustering và phân loại.Các phương pháp phân loại văn bản có majorlysử dụng máy phân loại như ngây thơ Bayes và SVMs(ví dụ, [2]) để phân loại văn bản{thư rác/không-thư rác}, {nhóm tin / không nhóm tin}vv. Máy phân loại này cóchủ yếu là làm việc trong không gian hạn đại diện cho các tài liệu dựachủ yếu là ngày xảy ra/không xảy ra/tần sốCác điều khoản trong cáctài liệu để thiết lập các phân loại của họ.Không gian hạn được xác định bởi các điều khoản trong cácbộ sưu tập từ vựng phục vụ như là cácKích thước của không gian đầu vào khác nhauCác biện pháp như là lực lượng đặc nhiệm * idf (thuật ngữ tần số, nghịch đảogiá trị tần số tài liệu) điền vào cácmagnitudes. Các tài liệu này làcó sẵn trong [3]. Mặc dù như vậyGiám sát học tập phương pháp tối ưu hóa cácphân loại lỗi các số liệu đã họckhông nhất thiết phải chung đủ đểcắm vào thuật toán học khác như K-phương tiện.Hạn chế cụ thể này là một cách dễ dàngđánh dấu trong trường hợp chưa có cấu trúcdữ liệu

Kết quả (Việt) 2:

Áp dụng các tài liệu phân nhóm
kỹ thuật cụm e-mail là một
ứng dụng thú vị. Các kỹ thuật như k-means,
EM vv có thể được sử dụng để đạt được điều này.
Tuy nhiên, việc lựa chọn một khoảng cách tốt
số liệu là vấn đề quan trọng liên quan. Thường thì
mọi người tự tinh chỉnh khoảng cách chọn
số liệu để đạt được mong muốn / tốt
cụm / quả rằng trong tất cả sự chắc chắn không
cung cấp một giải pháp chung. Do đó nó sẽ
rất hữu ích để tự động tìm hiểu các
số liệu khoảng cách từ một số đào tạo thiết lập
trước khi clustering. Trong [1] một kỹ thuật cho
các số liệu khoảng cách học tập đã được
đề xuất cho clustering. Nhiệm vụ đầu tiên của chúng tôi là
áp dụng kỹ thuật này để tài liệu
(cụ thể e-mail) clustering.
Những vấn đề chính được đề cập trong công việc của chúng tôi là
hai mặt: để quyết định về chiến lược học tập
để được thông qua và thứ hai, để thiết kế một
không gian đặc trưng cho các email . Cổ điển
email liên quan đến các vấn đề như trong [2] đã
tìm cách phân loại chúng dựa trên văn bản của họ
thường là kết quả trong một không gian hoặc là lớn như
từ vựng sưu tập hoặc tỷ lệ thuận với
chiều dài tài liệu. Ngay cả hiện
cơ chế phân nhóm như k-Phương tiện đã
sử dụng không gian hạn tài liệu cho
email để cụm. Chúng tôi tiếp cận
vấn đề một cách để tránh các
vấn đề chiều là tốt.
I. GIỚI THIỆU:
Hầu hết các công việc trong xử lý văn bản một cách dễ dàng có thể được
phân loại rộng rãi thành hai khu vực:
. Phân nhóm và phân loại
các phương pháp phân loại Tiêu đã majorly
sử dụng phân loại như Naïve Bayes và SVMs
(ví dụ, [2]) để phân loại văn bản
như {spam / không -spam}, {nhóm tin / không newsgroup}
vv Những phân loại đã
chủ yếu làm việc trong không gian hạn
đại diện cho các tài liệu dựa
chủ yếu vào sự xuất hiện / không xảy ra / tần số
từ ngữ trong các
văn bản để thiết lập phân loại của họ.
Các không gian được định nghĩa bởi các thuật ngữ trong
từ vựng bộ sưu tập phục vụ như là
kích thước của đầu vào không gian với nhiều
biện pháp như tf * idf (tần số hạn, nghịch đảo
tần số tài liệu) giá trị điền vào các
độ lớn. Các tài liệu này là
có sẵn trong [3]. Mặc dù vậy
phương pháp học có giám sát tối ưu hóa các
lỗi phân loại các số liệu học là
không nhất thiết phải đủ tổng quát để được
cắm vào các thuật toán học khác như K-Means.
Hạn chế đặc biệt này có thể dễ dàng
nhấn mạnh trong các trường hợp ít có cấu trúc
dữ liệu