Приключения с Яндекс по robots.txt

Continental
На сайте с 23.07.2005
Offline
48
1071

(Вопрос) первый:

как запретить в robots.txt индексацию части стран, которые оканчиваются на что-либо? Пример: группы страниц

http://www.site.com/maramz* - должны индексироваться http://www.site.com/maramz*?=print - не должны индексироваться

(Наблюдение) второе:

в robots.txt четко и ясно прописано:

Disallow: /gallery?g2_view=slideshowapplet

несмотря на это я вижу как Яша не взирая на запрет индексирует:

/gallery?g2_view=slideshowapplet.SlideshowApplet&g2_item...

я удаляю через интерфейс webmaster.yand... отлично. удаляется. нету.

далее кол-во моих страниц падает раза так в ДВА, одновременно с этим меняется картина по ключевикам (кстати, не в лучшую сторону, теряя позиции). я немного (около месяца) жду, и как опять эта же страницы индексируются Яшой!

Опять удалить? Так они опять появятся, наверное.. Что делать?

p.s. и заодно, правда ли, что одна и та же страница по разным url проиндесированная Yandex'ом (2-5 копий) положительно влияет на выдачу? следует предположить, что отрицательно, но по моим поверхностным наблюдениям как раз все наоборот.

Continental.
K. Ermakov
На сайте с 10.12.2004
Offline
328
#1
Continental:
как запретить в robots.txt индексацию части стран, которые оканчиваются на что-либо?

Если в приведённом ниже примере * заменяет любое количество символов, то запрет придётся реализовывать для каждой страницы отдельно. В отличие от Google, для Яндекса нет возможности использовать "расширенные" инструкции в robots.txt

Continental:
и заодно, правда ли, что одна и та же страница по разным url проиндесированная Yandex'ом (2-5 копий) положительно влияет на выдачу? следует предположить, что отрицательно, но по моим поверхностным наблюдениям как раз все наоборот

Именно наоборот!

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
Каширин
На сайте с 03.01.2004
Offline
1030
#2

В Яндексе директива Disallow: http://www.site.com/maramz запрещает индексацию всего, что начинатся http://www.site.com/maramz

то есть:

http://www.site.com/maramz

http://www.site.com/maramz*?=print - тоже

поэтому для запрета индексации лучше вводить http://www.site.com/maramz*?=print

Или модрерайтом заменить на то, что можно запретить отдельно.

alexspb
На сайте с 14.11.2005
Offline
187
#3

А что мешает не роботс мучать, а пользоваться тэгом <meta name='robots' content='noindex,follow'>? При нормальной цмс можно на любую страницу вставлять по условиям, которые нужны.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий