Testing Intrusion Detection Systems

Testing Intrusion Detection Systems: A
Critique of the 1998 and 1999 DARPA
Intrusion Detection System Evaluations as
Performed by Lincoln Laboratory
JOHN McHUGH
Carnegie Mellon University
In 1998 and again in 1999, the Lincoln Laboratory of MIT conducted a comparative evaluation
of intrusion detection systems (IDSs) developed under DARPA funding. While this evaluation
represents a significant and monumental undertaking, there are a number of issues associated
with its design and execution that remain unsettled. Some methodologies used in the
evaluation are questionable and may have biased its results. One problem is that the
evaluators have published relatively little concerning some of the more critical aspects of their
work, such as validation of their test data. The appropriateness of the evaluation techniques
used needs further investigation. The purpose of this article is to attempt to identify the
shortcomings of the Lincoln Lab effort in the hope that future efforts of this kind will be placed
on a sounder footing. Some of the problems that the article points out might well be resolved if
the evaluators were to publish a detailed description of their procedures and the rationale that
led to their adoption, but other problems would clearly remain.
Categories and Subject Descriptors: K.6.5 [Management of Computing and Information
Systems]: Security and Protection—Invasive software (e.g., viruses, worms, Trojan horses)
General Terms: Security
Additional Key Words and Phrases: Computer security, intrusion detection, receiver operating
curves (ROC), software evaluation

Kết quả (Việt) 1:

Thử nghiệm hệ thống phát hiện xâm nhập: APhê bình của DARPA năm 1998 và 1999Đánh giá hệ thống phát hiện xâm nhập nhưThực hiện bởi phòng thí nghiệm LincolnJOHN McHUGHCarnegie Mellon UniversityVào năm 1998 và một lần nữa vào năm 1999, Phòng thí nghiệm MIT, Lincoln đã tiến hành một đánh giá so sánhphát hiện xâm nhập hệ thống (IDSs) phát triển bởi DARPA tài trợ. Trong khi điều này đánh giáthực hiện đại diện cho một quan trọng và hoành tráng, một số vấn đề liên quanvới thiết kế và thực hiện vẫn còn bất ổn. Một số phương pháp được sử dụng trong cácđánh giá là có vấn đề và có thể có thiên vị các kết quả. Một vấn đề là cácthẩm định đã xuất bản tương đối ít liên quan đến một số khía cạnh quan trọng hơn của họcông việc, chẳng hạn như xác nhận kiểm tra dữ liệu của họ. Thích hợp của các kỹ thuật đánh giásử dụng nhu cầu tiếp tục điều tra. Mục đích của bài viết này là để cố gắng xác định cácnhững thiếu sót của các nỗ lực phòng thí nghiệm Lincoln với hy vọng rằng những nỗ lực trong tương lai của loại này sẽ được đặttrên một chân vững chắc hơn. Một số trong những vấn đề mà bài viết chỉ ra có thể cũng được giải quyết nếuviệc thẩm định đã xuất bản một mô tả chi tiết các thủ tục của họ và những lý do màdẫn đến nhận con nuôi của họ, nhưng các vấn đề khác rõ ràng vẫn.Danh mục và tiêu đề mô tả: K.6.5 [quản lý máy tính và thông tinHệ thống]: bảo mật và bảo vệ — phần mềm xâm hại (ví dụ như, virus, sâu, Trojan horses)Tổng điều khoản: bảo mậtThêm từ khóa và cụm từ: bảo mật máy tính, phát hiện xâm nhập, tiếp nhận điều hànhđường cong (ROC), phần mềm đánh giá

Kết quả (Việt) 2:

Thử nghiệm xâm nhập Hệ thống phát hiện: Một
phê bình các năm 1998 và 1999 DARPA
phát hiện xâm phạm hệ thống Đánh giá như
Thực hiện bởi Phòng thí nghiệm Lincoln
JOHN McHugh
Đại học Carnegie Mellon
Trong năm 1998 và một lần nữa vào năm 1999, các phòng thí nghiệm Lincoln của MIT đã tiến hành một đánh giá so sánh
các hệ thống phát hiện xâm nhập (IDS) phát triển theo tài trợ của DARPA. Trong khi đánh giá này
đại diện cho một công việc quan trọng và hoành tráng, có một số vấn đề liên quan đến
thiết kế và thực hiện của nó mà vẫn chưa ngã ngũ. Một số phương pháp sử dụng trong
đánh giá là có vấn đề và có thể có thành kiến kết quả của nó. Một vấn đề là những
đánh giá đã được công bố tương đối ít liên quan đến một số khía cạnh quan trọng hơn của họ
làm việc, chẳng hạn như xác nhận của dữ liệu thử nghiệm của họ. Sự phù hợp của các kỹ thuật đánh giá
sử dụng cần điều tra thêm. Mục đích của bài viết này là để cố gắng xác định những
thiếu sót của các nỗ lực Lincoln Lab với hy vọng rằng những nỗ lực tương lai của loại hình này sẽ được đặt
trên một nền tảng vững chắc hơn. Một số trong những vấn đề mà bài ​​báo chỉ ra cũng có thể được giải quyết nếu
các đánh giá đã công bố một mô tả chi tiết về thủ tục của họ và lý do đó
dẫn đến nhận con nuôi, nhưng các vấn đề khác sẽ vẫn rõ ràng.
Các loại và Phần mô tả Chủ đề: K.6.5 [ Quản lý máy tính và thông tin
Hệ thống]: bảo mật và phần mềm bảo vệ-Invasive (ví dụ, virus, worm, trojan)
Điều khoản chung: an ninh
bổ sung từ khóa và cụm từ: an ninh máy tính, phát hiện xâm nhập, thu hoạt động
đường cong (ROC), đánh giá phần mềm