Форум Сайтостроение Веб-строительство

Правилен ли robots.txt?

P
На сайте с 22.09.2007
Offline
53
piracy
450

Цель: запретить индексацию всем ботам, кроме Yandex и Googlebot.

Проверьте, все ли правильно:


User-agent: Yandex
Disallow:

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

Или лучше так:


User-agent: Yandex
Disallow:

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: *
Альтернативный заработок! Присоединяйтесь! (http://prc.goldline.pro)
sirota77
На сайте с 08.09.2008
Offline
161
sirota77
#1

User-agent: Yandex

Allow: /

User-agent: Googlebot

Allow: /

User-agent: *

Disallow: /

sirota77 добавил 02.12.2009 в 07:46

sirota77:
User-agent: Yandex
Allow: /

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /

вернее так

User-agent: *

Disallow: /

User-agent: Yandex

Allow: /

User-agent: Googlebot

Allow: /

P
На сайте с 22.09.2007
Offline
53
piracy
#2

sirota77, чего-то я сомневаюсь насчет "Allow".

moonters
На сайте с 09.10.2008
Offline
139
moonters
#3
piracy:
чего-то я сомневаюсь насчет "Allow".

Официально инструкции Allow нет, но роботы её понимают:

http://help.yandex.ru/webmaster/?id=996567#996571

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

Мобильные прокси беру только тут - https://goo.su/G5nhch
K
На сайте с 31.01.2001
Offline
737
Kost
#4
piracy:
User-agent: Yandex
Disallow:

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

Правильно. И не надо больше мудрить и парить мозг.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий