Как правильно в robots.txt ограничить странное слюноотделение Yandex ?

VasilievBoris, как вариант, можно 2-мя строчками (на php) запретить вывод куска кода, если User agent == Yandex.

Nikolaich, а потом конкуренты настучат, что поисковику одно, а людям другое показывает... За клоакинг не примут?

Lexx, технология хоть и схожая, но в отличие от того самого клоакинга, она направлена в мирное русло. Т.е. скрывая от поисковика то, что по Вашему мнению ему не должно быть показано, а пользователю должно, Вы не нарушаете лицензии, т.к. своими действиями Вы не вводите поисковик в заблуждение и не накручиваете свои позиции.

А разве нельзя поменять параметры местами?

и вместо http://www.мойсайт.com/index.php?pr...123&discuss=yes

сделать http://www.мойсайт.com/index.php?discuss=yes&pr...123

И прописать в robots.txt

Disallow: /index.php?discuss=yes

В описании на robots.txt сказано, что так можно запретить все страницы так начинающиеся.

И еще, что Яндекс понимает параметры как обычные символы.

Кто то так пробовал?

Присоединяюсь к совету Ильи. Все эти приемчики с javascript, <noindex>, <a .... rel="nofollow"> никак не запрещают индексацию мусорных страниц, о существовании которых Яндекс может узнать, например, через Яндекс Бар, даже если вы отловите и переделаете все ссылки. Если движок не поддерживает уникальные тайтлы и метатеги, то нужно или дорабатывать движок или переходить на другой пока не поздно.

В этом случае также можно применить и такой прием:

Не бороться с индексацией то одних страниц, то других... а перевести страницы, которые необходимо индексировать, на псевдостатику, всю динамику же запретив в robots.txt.

Всем огромное спасибо за советы.

Отдельное спасибо за совет andrej-ilin.

пока <noindex> ... </noindex> (как ни странно) работает.

Первое что мне тоже пришло в голову - это перейти к псевдостатике.

То, что Янд уже сожрал много ненужных страниц решил так:

изменил скрипт так, что по ссылкам в базе Янд - пользователь попадает на описание того товара, который и искал, а для реального обсуждения товара ссылка теперь другая, причём уже тоже через псевдостатику.

Скрипт такой, что сложно перевести все генерируемые страницы и разделы на псевдостатику - можно лишиться некоторой функциональности движка.

Поэтому совет от andrej-ilin - запретить роботам динамику пришёлся кстати.

Может кто подскажет универсальный текст запрещающий роботам индексацию динамических страниц...

Или надо писать по индивидуальной схеме ?

типа

Disallow: /index.php?discuss=yes'

Тяжело давать конкретные советы не видя адресов страниц.

Вот такая строчка отсечет все страницы с параметрами

Disallow: /index.php?

а если адрес вашей "статичной" страницы выглядит как http://www.site.ru/index.html,

то можно написать так

Disallow: /index.php

Эта запись отсечет и http://www.site.ru/index.php впридачу.

Принцип, по-моему, ясен.