Quá trình hoặc chương trình được sử dụng bởi công cụ tìm kiếm tải về các trang từ trang web sau đó chế biến bởi một công cụ tìm kiếm sẽ chỉ mục các trang web tải về cung cấp nhanh chóng tìm kiếm. Một chương trình hay kịch bản tự động mà duyệt trên thế giới Nhiều trang Web trong một cách thức, phương pháp tự độngcòn được gọi là web nhện và web robot. ít sử dụng tên loài kiến, chương trình và sâu.
đang được dịch, vui lòng đợi..