Google представил обновленный инструмент проверки файлов robots.txt.
Усовершенствованный robots.txt testing tool будет доступен в разделе «Сканирование» (Crawl) сервиса «Инструменты для веб-мастеров».
Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.
Обновлённая версия robots.txt testing tool:
- покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
- позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
- обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.
Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию Fetch as Google в разделе «Сканирование» (Crawl), который позволяет вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScript, как Googlebot.
Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает внутреннюю ошибку сервера 500, допущенную при добавлении контента в файлы robots.txt file, Google автоматически приостанавливает сканирование веб-сайта.