Robots.txt как правильно?

1 234
[Удален]
#21

Просто вот в Яндекс писал письмо они мне сказали что лучше с www прописывать в роботе, так как будет лучше индексация....

[Удален]
#22

Как думаете?

sosed
На сайте с 07.09.2006
Offline
34
#23
Obramovich:
Упадет ли Тиц если я пропишу в роботе www.mysiute.ru в то время как бэки ссылаются на mysiute.ru?

Нет.

Но лучше клеить так, как стоят ссылки :

а) для людей

б) для проверки обраток

в) потому как есть еще Гугль и прочие

Хочу в дорвейщики! Не кóрысти ради, а токмо для ёкспиремента Обойди конкурента, займи своё место в выдаче — http://webmaster.yandex.ru/delspam.xml (http://ussr.trast.info)
[Удален]
#24

Вот запутал, а в других то нет запрета, там и www и без него, может я что-то не догоняю. 😕

sosed
На сайте с 07.09.2006
Offline
34
#25
Obramovich:
Вот запутал, а в других то нет запрета, там и www и без него, может я что-то не догоняю. 😕

Если во всех ПС имя_сайта выглядит одинаково - это удобно.

Если во всех ссылках/каталогах имя_сайта выглядит одинаково - это удобно.

Некоторые скрипты проверяют_обратки по_точному_совпадению адреса, в т.ч. некоторые - по индексу Я.

[Удален]
#26

Имхо Ваш сайт уже поклеен. Покажите линк.

Ayavryk
На сайте с 11.10.2003
Offline
209
#27
Obramovich:
User-Agent: *

Типовая ошибка растиражированная инструкцией Яндекса для веб-мастеров :)

Правильно: User-agent

см. http://www.robotstxt.org/wc/faq.html

Впрочем, регистр агента ни на что не влияет. Но чекер http://tool.motoricerca.info/robots-checker.phtml обязательно в вас плюнет.

Лев Павлович Градский:
Вообще не заводите файл robots.txt

Если его не заводить роботы будут загаживать логи 404 ошибкой. Вам это надо?

Тынгыр, мынгыр, комсомол (http://erum.ru). Ехари, ехари, (жалобно) аяврик. /народная тунгусская песня/
skady
На сайте с 28.02.2006
Offline
71
#28
Obramovich:
А разве это имеет значение? Яндекс ведь склеит все и беклинки передадутся на www.
Сайт не нулевой Тиц 400 - бэклинки все ссылаются на ... без www.

Упадет ли Тиц если я пропишу в роботе www.mysiute.ru в то время как бэки ссылаются на mysiute.ru?

Клеится всегда всё плохо и криво.

Кстати - лучше прописывать в robots.txt www.site.ru. Причина в том, что большая часть посетителей интернета до сих пор верит, что www писать обязательно. Поэтому они например и на форумах пропишут на вас ссылку с www. И вообще, увидев в адресной строке после 302-го редиректа адрес http://site.ru очень удивятся...

Обмен ссылками с сайтами развлекательной тематики (сайт ЯК, DMOZ) (http://dotapick.ru/catalog/add.html)
Dybra
На сайте с 23.10.2005
Offline
84
#29

Я сначала писал сайт везде с www потом мне надоело постоянно тыкать три раза в одну клавишу и я перестал указывать, по моему так культурней выглядет и понятней, а то получается, что это домен третьего уровня, меня вот лично от этого уже коробит, хоть обычно домен второго уровня и www паркуются в одно место. Потом прописал в robots и примерно через месяц ссылки в Яндексе стали без www. Удивило то, что и в Гугле они тоже потяряли www, хотя официально он дерективу hosts не понимает. Возможно сработал фактор, что ссылок без www было больше.

Мы из ВЫКСЫ (http://wyksa.ru)!
[Удален]
#30

А нужен ли вообще этот робот если я например не хочу ничего запрещать?

Вот у меня сайт в каталоге Яндекса с www находится, и какой в этом случае тогда писать робот, может Яндекс больше уважает с www сайты?

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий