Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Нужен ли подробный robots.txt?

Soley
На сайте с 22.08.2007
Offline
123
Soley
732

Вопрос в том, насколько подробно прописывать robots.txt если для всех поисковых ботов надо сообщить одну и ту же информацию. Достаточно ли будет ограничиться стандартным шаблоном:

User-Agent: *

Disallow: /dir1/

Host: www.site.ru

или лучше написать отдельный "User-Agent: " для основных поисковых систем:idea:?

ARCOS
На сайте с 15.09.2005
Offline
131
ARCOS
#1
Soley:
User-Agent: *
Disallow: /dir1/
Host: www.site.ru

Этого будет достаточно.

Хотя директиву Host понимает только Яндекс, но это не будет проблемой для остальных ПС понимать данный robots.txt.

SergeyK
На сайте с 18.07.2007
Offline
41
SergeyK
#2
User-Agent: *
Disallow: /dir1/

User-Agent: Yandex
Disallow: /dir1/
Host: www.site.ru

Директиву Host понимает только Яндекс

Up ARCOS опередил.

С уважением, Сергей Коваленко.
PND
На сайте с 08.05.2007
Offline
21
PND
#3
Soley:
User-Agent: *
Disallow: /dir1/
Host: www.site.ru

Так делать не нужно. Если хотите использовать хост, сделайте отдельный блок для яндекса. Вот так:

User-Agent: *
Disallow: /dir1/

User-Agent: Yandex
Disallow: /dir1/
Host: www.site.ru
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#4

PND, +1

Неужели это так сложно и трудоёмко прописать отдельную секцию?

Зачем озадачивать других ботов непонятными директивами?

Soley
На сайте с 22.08.2007
Offline
123
Soley
#5
kimberlit:
PND, +1

Неужели это так сложно и трудоёмко прописать отдельную секцию?
Зачем озадачивать других ботов непонятными директивами?

Вот-вот.... меня как раз это и интересует...

Значит все-таки лучше отдельные секции? А для каких ботов это лучше сделать?

Google, yandex, rambler, aport, yahoo, msn.... этого будет достаточно или стоит еще кого-то внести в список?

Помощь в фильтрации ботов Страницы в индексе, но На новом сайте страницы
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#6

Для Яндекса (с указанием хоста) и для Всех. Этого достаточно.

-------------------------

User-Agent: Yandex

Disallow: /dir1/

Host: www.site.ru

User-Agent: *

Disallow: /dir1/

-------------------------

SergeyK
На сайте с 18.07.2007
Offline
41
SergeyK
#7

Не надо для всех отдельно.

Хватит этого

User-Agent: *
Disallow: /dir1/

User-Agent: Yandex
Disallow: /dir1/
Host: www.site.ru

Soley, вот Вам матчасть.

Up ёклмн! Снова не успел. :(

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий