Форум Практика оптимизации Общие вопросы оптимизации

Управление Индексацией ? robots.txt

romasenco
На сайте с 04.01.2008
Offline
108
romasenco
1078

кто подскажет что именно необходимо вписывать в robots.txt

достаточно просто:

User-agent: *

Disallow:

то есть получается

User-agent: * #относится ко всем роботам

Disallow: #никаких запретов

или надо еще что то там прописывать? может кто даст пример или подскажет что мне надо для обычного сайта, без различных закрытых областей, архивов и т.д.

Igorrok
На сайте с 28.08.2007
Offline
117
Igorrok
#1

Если не хотите ничего запрещать, то создайте просто пустой роботс

Истина где-то рядом...
d1ma
На сайте с 18.03.2007
Offline
102
d1ma
#2
romasenco:
кто подскажет что именно необходимо вписывать в robots.txt
достаточно просто:
User-agent: *
Disallow:
то есть получается
User-agent: * #относится ко всем роботам
Disallow: #никаких запретов
или надо еще что то там прописывать? может кто даст пример или подскажет что мне надо для обычного сайта, без различных закрытых областей, архивов и т.д.

да, так нормально будет

ещё можно для яндекса указать Host: www.site.com

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий