Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Яндекс не слушается команд в robots.txt

1 23
Jafar
На сайте с 04.06.2008
Offline
48
Jafar
#21
Seo_Barin:
Ах да и сайт мапа указывается так:

Sitemap: http://www.xxxxxxxx.com/sitemap.xml

А здесь вы правы:). Но это я сейчас http стер, когда site писал.

Всем спасибо.

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#22
kysok sabaki:
Конечно прочитал
Цитата:
Спецсимвол '*' означает любую (в том числе пустую) последовательность символов
и нет уточнения - в начале или в конце.
Если я не прав, то приведите цитату из источника.
И потом, попробуйте в панели.вм предложенный мной вариант.

Найди хоть в одном месте мануалов где директива Disallow начинается не со слеша.

Найди ещё, что добавление * в конце является обязательным.

Мне просто лень искать такое.

Seo_Barin:
Возможно, но так работает - почему ?

Секция должна быть единой. Секции между собой разделяются строкой.

Что и где у тебя там работает, я не знаю.

Google Updates - апдейты Смогу ли я монетезировать Вывести реальные ip адреса
kysok sabaki
На сайте с 27.02.2008
Offline
200
kysok sabaki
#23
kimberlit:
Найди хоть в одном месте мануалов где директива Disallow начинается не со слеша.

В примерах написано с / .

Найди ещё, что добавление * в конце является обязательным.

Про "обязательность" я вообще ничего не говорил.

ТС, Вы мой вариант пробовали?

F
На сайте с 12.03.2007
Offline
85
fatalenergy
#24

Боты яндекса действительно ложили на robots.txt, сам Платон признал эту проблему в переписке и говорил что проблему решат. Но вот по поводу их робота-зеркальщика отписал "...относится к роботу, определяющему зеркала сайтов и так как данный робот не является индексирующим, то он в настоящий момент не соблюдает robots.txt".

Как начать тренироваться (http://max-body.ru/quick_start.html), Бодибилдинг форум (http://fatal-energy.com/). Обменяюсь/куплю ссылками со статей (или статьями) с сайтами бодибилдинг/фитнес тематики.
A
На сайте с 24.02.2010
Offline
2
Aladern
#25

Иногда в индекс странички попадают запрещенный роботсом. Нужно пару дней подождать - они выпадут из индекса и уйдут в запрещенные.

Публикуем интересные новости (http://www.science.yoread.ru/) и статьи на сайте! Советы как преодолеть кризис среднего возраста (http://www.health.yoread.ru/news.php?readmore=153)
DyaDya
На сайте с 11.04.2007
Offline
147
DyaDya
#26
kimberlit:
Найди ещё, что добавление * в конце является обязательным.

Подтверждаю, не обязательно.

http://help.yandex.ru/webmaster/?id=996567#996572

По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'
kimberlit:
Найди хоть в одном месте мануалов где директива Disallow начинается не со слеша.

В мануале не замечено. Но логике не противоречит. Можно начинать и со *

Анализатор кушает на ура.

Другое дело, что лучше не экспериментировать.

------

Для информации... Недавно был сильно удивлён, когда на одном сайте не срабатывало Disallow при следующим содержанием роботса:


User-agent: Yandex
Allow: /
Disallow: /cart.php

Оказалось, проблемы в порядке следования правил - первое правило имеет приоритет и разрешает индексацию всего сайта.

http://help.yandex.ru/webmaster/?id=996567#996571

Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

И правильно писать вот так:


User-agent: Yandex
Disallow: /cart.php
Allow: /

хотя и выглядит немножко непривычно.

Выбирайте качественный хостинг (http://vashmaster.ru/informaciya/o_poleznyh_programmah/news83.php) и продвигайте сайты в СЕОПУЛЬТ (http://seopult.ru/ref.php?ref=72b5ed9561fe66a1). А на «SAPE» я в обиде :) Не упрекайте за очепятки, пишу вслепую (http://ergosolo.ru/) и также делаю сайты (http://www.vashmaster.ru/) ;)
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий