учусь делать robots.txt

12
kapapapa
На сайте с 22.10.2009
Offline
44
612

Цель robots.txt у меня одна, объяснить гуглу и яндексу, что главный сайт www. мой_сайт.ру, а не мой_сайт.ру

Поэтому вопрос, правильно ли я понимаю, что для этого в файле robots.txt должен быть след. текст:

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www. мой_сайт.ру

User-agent: Google
Disallow:
Host: www. мой_сайт.ру

Или я что-то не так понял? помогите с правильностью написания.

DiAksID
На сайте с 02.08.2008
Offline
218
#1
kapapapa:
Цель robots.txt у меня одна, объяснить гуглу и яндексу, что главный сайт www. мой_сайт.ру, а не мой_сайт.ру

Поэтому вопрос, правильно ли я понимаю, что для этого в файле robots.txt должен быть след. текст:



Или я что-то не так понял? помогите с правильностью написания.

неправильно. директива Host- чисто яшина фича. другие боты воспринимают её как ошибочную запись и (по идее) могут похе*ить весь блок. так что, если оч нужен Host - его в отдельном блоке, токо для Яндекса (в нём дублируете то что и для * + вставляете Host). Вы так и делаете, вот только Гуглу эту фигню совать не надо ;)..

show must go on !!!...
kapapapa
На сайте с 22.10.2009
Offline
44
#2

DiAksID, то есть нужно делать так, верно?

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www. мой_сайт.ру
DiAksID
На сайте с 02.08.2008
Offline
218
#3
kapapapa:
DiAksID, то есть нужно делать так, верно?

йеззз... не забывайте о пустых строках до и после каждого блока и будет вам счастье ;) ...

Tyrbylentnost
На сайте с 15.06.2009
Offline
58
#4

Вот так лучше сделать. Надежней будет

редирект для www (htaccess редирект)

Создайте файл (добавьте код в существующий) с именем “.htaccess” и поместите его в корень сайта.

Код для файла:

Options +FollowSymlinks

RewriteEngine on

rewritecond %{http_host} ^www.мой_сайт.ру [nc]

rewriterule ^(.*)$ http://мой_сайт.ру/$1 [r=301,nc]

kapapapa
На сайте с 22.10.2009
Offline
44
#5
DiAksID:
йеззз... не забывайте о пустых строках до и после каждого блока и будет вам счастье ;) ...

то есть так:



User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www. мой_сайт.ру


Tyrbylentnost
На сайте с 15.06.2009
Offline
58
#6

kapapapa, вот так:

User-agent: *

Disallow:

User-agent: Yandex

Disallow:

Host: www. мой_сайт.ру

Гугл не воспринимает команду Host!!!

DiAksID
На сайте с 02.08.2008
Offline
218
#7
Tyrbylentnost:
Вот так лучше сделать. Надежней будет
редирект для www (htaccess редирект)

точно. но этого для нормальных ПС достаточно. Яшке же Host нужен как бе для собственных плясок - ТИЦ там, понты, то сё... хочется ему - пусть кушает, жалко что ли? ;)

---

насчёт пустых строк: по стандартам (вроде бы ?) они нужны только для разделения блоков между собой. но жизнь научила, что лучше и начинать и заканчивать роботс тоже пустыми строками. во всяком случае ошибок у основных ПС не выскакивает и все директивы съедаются полностью....

kapapapa
На сайте с 22.10.2009
Offline
44
#8

то есть теперь можно считать, что яндексу я объяснил, какая страница главная, верно?

Tyrbylentnost
На сайте с 15.06.2009
Offline
58
#9

kapapapa, да. Только яндекс не всегда это хочет понимать)))

DiAksID
На сайте с 02.08.2008
Offline
218
#10
kapapapa:
то есть теперь можно считать, что яндексу я объяснил, какая страница главная, верно?

угу - но редирект забабахать то же стоит, ежли ещё не....

а у Яшки с зеркальщиком щаз боооольшие проблемы :( чёрт возьми. второй месяц жду расклейки купленного домена как подарка судьбы... но нас всех ждёт победа и удача!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий