Форум Поисковые системы Google

Есть у Гугля сервис проверки robots.txt?

[Удален]
590

Нашел один сайт (какой сказать не могу :)), с высоким ПР. Robots.txt сервис уважаемого Профессора http://www.be1.ru пишет, что роботс.тхт на сервере отсутствует, однако при проверке там же глазами Яндекс, пишет, что данный роботс.тхт ничего не запрещает. То есть роботс.тхт есть, иначе была бы 403/404. Есть у Гугля сервис проверки?

A
На сайте с 23.10.2003
Offline
196
absolut
#1

http://domain/robots.txt - так слабо проверить? :)

андроид ТВ (http://qway.com.ua/android_tv) и экшн камеры (qway.com.ua/action-cameras) в Украине.
[Удален]
#2
absolut:
http://domain/robots.txt - так слабо проверить? :)

Дык был уверен в хитром клоакинге :). Проверил - далеко не текстовый файл, а хтмл страница, типа разработка такой-то группы, и навигация из 4-х ссылок.

A
На сайте с 23.10.2003
Offline
196
absolut
#3

Извините, я видно бегло прочитал пост и ответил некорректно :)

Есть такой сервис, но не знаю поможет ли - http://services.google.com/urlconsole/controller

Там нужно указать путь к роботс.тхт, после чего можно увидеть как он обработается роботом. Есть нюанс, робот будет использовать в качестве User-Agent "googlebot-urlconsole", а не "Googlebot/2.1"

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий