Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

12
Z
На сайте с 28.05.2011
Offline
5
zadrotoff
#11

promomaniac

/ru/forum/comment/9062392

Достаточно серьезный ресурс, а ведь прописывает эту директиву для каждого бота (причем обратите внимание на название гугл бота, вроде он там по другому называется). Я взял с него пример, поставил так же себе в robots по аналогии, и тут мне яндекс вебмастер выдает ошибки о том, что этот host повторяется.

Вопрос по robots.txt Яндекс Острова Ответ Яндекса по поводу
hcir
На сайте с 28.09.2006
Offline
150
hcir
#12
zadrotoff:
Достаточно серьезный ресурс, а ведь прописывает эту директиву для каждого бота

Неправильно у них сделано.

Ваш robots.txt сейчас правильный.

wbr
iren K
На сайте с 28.12.2008
Offline
222
iren K
#13
zadrotoff:
(причем обратите внимание на название гугл бота, вроде он там по другому называется).

это бот для индексации картинок..

c уважением Iren
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий