Bing представил свой новый инструмент для проверки robots.txt в сервисе Webmaster Tools. С его помощью можно протестировать, как поисковые краулеры отвечают на файл и диагностировать возможные проблемы.
В ходе аудита инструмент анализирует файл robots.txt, определяет проблемы и проверяет директивы allow/disallow.
Опция «Download» в свою очередь обеспечивает пошаговый процесс обновления файла, который включает в себя загрузку отредактированного файла, его загрузку в корень домена, который можно проверить на наличие действующей версии, и, наконец, запрос Bing на обновление.
Ещё одна полезная функция – это отображение четырёх версий robots.txt в редакторе:
- http://
- https://
- http://www
- https://www
Напомним, что инструмент проверки robots.txt стал одним из основных изменений в новой версии сервиса Webmaster Tools, запущенной в начале августа.