Форум Поисковые системы Яндекс

Роботс.тхт

12
Party
На сайте с 03.11.2005
Offline
38
Party
1524

Помогите. Что писать в роботс? Как вообще этот документ оформляется? Мне нужно его написать срочно, я знаю что писать, но не знаю где и как - как выглядит его код. Можете просто скопировать код из своего роботс. - разберусь сама что к чему. Спасибо.

Нет мира, кроме тех,
к кому я привык,
и с кем не надо нагружать язык...
Yaroslav_Adv
На сайте с 27.09.2005
Offline
199
Yaroslav_Adv
#1

http://www.rambler.ru/doc/robots.shtml

Там вроде бы все понятно...

С уважением, Ярослав Деревягин Веб-агентство "Found (http://found-it.ru)"
underworld
На сайте с 24.03.2003
Offline
21
underworld
#2

или на Яндексе посмотрите пример

http://www.yandex.ru/robots.txt

Party
На сайте с 03.11.2005
Offline
38
Party
#3

а вот например last modified - это где пишется?

underworld
На сайте с 24.03.2003
Offline
21
underworld
#4

last modified либо в настройках сервера, либо в скриптах. Обращайтесь к своим программистам с этим вопросом.

Party
На сайте с 03.11.2005
Offline
38
Party
#5

и еще вопрос. Нужен ли роботс вообще? Если запрещать ничего не нужно? Какие доводы в пользу ненужности?

Dwarf
На сайте с 06.10.2004
Offline
60
Dwarf
#6

Party, да положите вы его пустой - лишних ошибок 404 в логах не будет. Это если запрещать ничего не надо.

Если у вас у сайта несколько зеркал (с www и без, например), в robots.txt можно указать зеркальщику Яндекса, какое зеркало считать основным:

http://www.yandex.ru/info/webmaster2.html#virtual

Деревянные окна (http://www.wood-win.ru/)
Перенос траста с одного Нарушения и угрозы безопасности Учет canonical в Яндекс
Party
На сайте с 03.11.2005
Offline
38
Party
#7

у нас стоит редирект, все с WWW. :) спасибо всем.

SS
На сайте с 03.09.2004
Offline
141
Seventh Son
#8

Вот стандарт оформления файла - http://www.robotstxt.org/wc/norobots.html

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
R
На сайте с 18.11.2005
Offline
4
Reversi
#9
Нужен ли роботс вообще? Если запрещать ничего не нужно?

Нужен, тначе могут содрать содержимое твоего сайта и указать его основным "зеркалом". И это будет ПЛОХО (для тебя и твоего сайта)

И еще - если будешь раскручивать сайт с www и без, то лучше с помощью robotx.txt сразу указать, какое зеркало главное, а не ждать, пока Яндекс оба зеркала объединит (и еще и сам без твоего ведома главное выберет!)

Боги всемогущи, но черти значительно расторопней.
[Удален]
#10
Reversi:
Нужен, тначе могут содрать содержимое твоего сайта и указать его основным "зеркалом".

А разьве яндек не хранит информаци о том, какой сайт был первый?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий