htos

Рейтинг
0
Регистрация
20.02.2016

Аналогичная проблема и у меня на некоторых сайтах. В гугл вебмастере при использовании инструмента проверки файла robots.txt ругается как и у ТС на любой урл сайта. При проверке этого урла через "Посмотреть как Googlebot" также пишет, что всё хорошо.

Вот примеры строк на которые ругается "Инструмент проверки файла robots.txt" на разных сайтах:

Disallow: *homepage.html*

Disallow: *&post*

Disallow: *search*

Disallow: *.php*

Урлы которые проверяются на сайтах не имеют окончаний .php и не содержат в урле слов, на которые указывает инструмент проверки.

Сайты на разных движках и на разных серверах арендованных у разных компаний.