Правильно ли написан robots.txt ???

1 234
MS
На сайте с 08.02.2009
Offline
89
#21
murvuz:
Что-то я не вижу это по Вашему роботсу :)

Всем спасибо. Третью ночь не спал. Голова уже тормозить начинает.

Спокойной ночи, пусть почаще на ваши роботсы, заходят роботы ПС!

murvuz
На сайте с 14.06.2007
Offline
191
#22
Kimochi:

читайте порядок выполнения команд в файле robots.

Ну и что я нарушил?

" А не спеть ли нам песню? О любвииии..."
MS
На сайте с 08.02.2009
Offline
89
#23

Kimochi

В Бишкеке буду...

Созвонимся...

Пива треснем...

С тёлками оттянемся...

Не против ?

[Удален]
#24

Ответил в личку...

Тема закрыта.

murvuz
На сайте с 14.06.2007
Offline
191
#25
Kimochi:

Учите синтаксис роботса, хотя... Вот эти 2 строчки:
User-agent: *
Disallow:

Вам в помощь)

Что-то слив не засчитан. ;)

Kimochi, так это Ваш сайт. Я думал ТСа (подпись не смотрел). А роботс все же правильно пропишите ;)

[Удален]
#26

murvuz, ну с Вами действительно не соскучишься ;)

Поорали, полегчало...

Хотел закончить дискусс, но так оставлять не пойдет..

Остановились на этом:

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow:
Host: seo.kg

Обоснование: Всем поисковикам запрет wp-content, wp-includes, wp-admin в том числе и Яндексу. ПС идут вниз по файлу и пропускают все оставшееся т.к. в Юзер-агент прописан только Яндекс. Но Яндекс, пройдя вниз увидет себя и прочитает директиву Host. Насчет Disallow, по правилу порядка выполнения команд, первое правило важнее нижестоящих. Опять же, делается это ради соблюдения синтаксиса...

можно и так: (но лишние строки)

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg

можно и так: (но не соблюдается синтаксис)

User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Host: seo.kg

[Удален]
#27
Kimochi:
murvuz, ну с Вами действительно не соскучишься
Поорали, полегчало...

А что не так-то? Прав murvuz, не верите ему - поверьте Яндексу.

imho-no
На сайте с 07.04.2008
Offline
186
#28
murvuz:
А соблюдая синтаксис, host важно написать непосредственно после 'Disallow'('Allow').

а разве есть "Allow" ? )

роботс только запрещает...

Я - советский пионер. Надо переводить бабушек через дорогу и Бога - нет. юзаю этот хостинг http://ipipe.ru/?pid=16015 (http://ipipe.ru/?pid=16015). полёт нормальный!
[Удален]
#29
imho-no:
а разве есть "Allow" ? )
роботс только запрещает...

Есть - http://help.yandex.ru/webmaster/?id=996567#996571

murvuz
На сайте с 14.06.2007
Offline
191
#30
Kimochi:
murvuz, ну с Вами действительно не соскучишься ;)
Поорали, полегчало...

Да я спокоен как удав :p

Psycho:
А что не так-то? Прав murvuz, не верите ему - поверьте Яндексу.

Бесполезно. Я уже давал ссылку. Пускай живет со своим роботсом.

murvuz добавил 09.06.2009 в 02:03

Kimochi:


Остановились на этом:
User-agent: *
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/

User-Agent: Yandex
Disallow:
Host: seo.kg


Обоснование: Всем поисковикам запрет wp-content, wp-includes, wp-admin в том числе и Яндексу. ПС идут вниз по файлу и пропускают все оставшееся т.к. в Юзер-агент прописан только Яндекс. Но Яндекс, пройдя вниз увидет себя и прочитает директиву Host. Насчет Disallow, по правилу порядка выполнения команд, первое правило важнее нижестоящих. Опять же, делается это ради соблюдения синтаксиса...

Ооо, Вы все же прозрели, что хост после дизэлоу или эллоу идет. Уже хорошо.

А что будет индексироваться Яндексом при таком варианте:


User-agent: *
Disallow: /

User-agent: Yandex
Allow: /
Host: seo.kg
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий