Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Подскажите оптимальные настройки robots.txt

[Удален]

27 июня 2007, 08:13

2833

Есть ли универсальные оптимальные настройки robots.txt или они для каждого частного случая свои?

Подскажите, пожалуйста, ссылочку на детальную статью по seo-настройке robots.txt.

Спасибо.

153

Данил

27 июня 2007, 08:17

#1

Читайте ФАК (/ru/forum/87037)

По роботсу - /ru/forum/86666

Покупаю сайты (/ru/forum/394337). Заработай себе на екро — Сапа (http://www.sape.ru/r.0d0e35f6a7.php). Для продвжиения быстро и на автомате (http://www.seowizard.ru/r.0d0e35f6a7.php)!

173

john2007

27 июня 2007, 08:19

#2

А там немного всего - user-agent и disallow, ну еще host для Яндекса, ну еще crawl-delay для Яхи.

http://robotstxt.org.ru/

Совершая ошибки, мы не только учимся их не повторять, но и учимся прощать такие же ошибки другим... (с)

21

PND

27 июня 2007, 08:26

#3

Еще есть инструкции рамблера:

Использование META-тегов "Robots" и Формат файла robots.txt

244

Egi[s]

27 июня 2007, 08:38

#4

Если прятать на сайте нечего, то пропиши

User-agent: *
Disallow: