Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

12
TO
На сайте с 21.09.2007
Offline
170
t_o_x_a
#11

Ну, разрешаем мы Яндексу, значит, мое предложение тоже имеет право на жизнь.

S2
На сайте с 07.01.2008
Offline
611
Str256
#12
Расширенный формат robots.txt 21 декабря 2007 года, 20:49
Файл robots.txt используется веб-мастерами, чтобы объяснить роботу поисковой системы, какие страницы и разделы сайта нельзя индексировать, а какие можно. Стандарт предусматривает небольшой набор директив, поэтому написание правил индексации для крупных сайтов является сложной задачей. Мы решили упростить эту работу и с сегодняшнего дня поддерживаем в robots.txt директиву Allow, спецсимволы "*" и "$".

Я её не использую, так как сайты в работе не очень большие.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
TO
На сайте с 21.09.2007
Offline
170
t_o_x_a
#13
Str256:
Я её не использую, так как сайты в работе не очень большие.

Спасибо за разъяснение. Я этот абзац пропустил что-то.

Slajzer
На сайте с 18.12.2005
Offline
117
Slajzer
#14

User-agent: Yandex

Disallow:

User-agent: *

Disallow: /page.html

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий