Reviewing the robots.txt file over

Reviewing the robots.txt file over time, I saw two major issues that were troubling.

First, new directives were being added to robots.txt by the CMS provider, and the website owner had no idea that was going on. The site has tens of thousands of URLs indexed, so even a minor change in robots.txt directives could be dangerous.

Second, directives had changed case slightly. That means those directives could mistakenly pick up or miss URLs on the site.

For example, if you were targeting the directory /Category/ but the directive is /CATEGORY/, then you would not disallow URLs that resolve in the /Category/ directory, as directives are case-sensitive. That’s an important point to note for every SEO, webmaster and business owner. See the screenshot below.

Kết quả (Việt) 2:

Xem lại file robots.txt theo thời gian, tôi thấy hai vấn đề lớn đã được gây phiền hà. Đầu tiên, chỉ thị mới đã được thêm vào robots.txt bởi nhà cung cấp CMS, và chủ sở hữu trang web không có ý tưởng rằng đã xảy ra. Các trang web có hàng chục ngàn các URL được lập chỉ mục, vì vậy ngay cả một thay đổi nhỏ trong chỉ thị robots.txt có thể là nguy hiểm. Thứ hai, thị trường đã thay đổi một chút. Điều đó có nghĩa là những chỉ thị nhầm lẫn có thể nhận hoặc bỏ lỡ các URL trên trang web. Ví dụ, nếu bạn nhắm mục tiêu các thư mục / loại / nhưng chỉ thị là / LOẠI /, sau đó bạn sẽ không không cho phép các URL mà giải quyết trong / Chuyên mục / thư mục, như chỉ thị là trường hợp nhạy cảm. Đó là một điểm quan trọng cần lưu ý cho mọi SEO, webmaster và chủ doanh nghiệp. Xem ảnh chụp màn hình dưới đây.