Может кому-то инфа пригодится

В июне у нас был неприятный случай, сайт на движке вебасист, и этого движка есть дефолтная проблема: он плодит дубли страниц в неимоверном количестве.

Проблему все пользователи этого движка решают robots.txt

мы прописали также запрет на кучу папок где повляются дубли, но всех прописать не получалось, периодически появлялись дубли не запрещённые к просмотру в роботсе.

Пока товаров было мало (100 штук), то кривые урлы особенно проблем не приносили.

Когда товаров стало более 500, то количество кривых урлов выросло в 5 раз.

И в июне - встроенная защита сервера - увидела - что робот Яндекса с бешенной скоростью перебирает кривые урлы - прозванивает их, в количестве - которое становится подозрительным.

И логика защиты - срабатала на аларм:

"идёт перебор кривых урлов подозрительно много, от одного источника".

В общем защита сервера стала давать Яндексу отлупы:

запрет просмотра страниц конкретно Яндексу.

Я увидел последствия этой проблемы - в виде резкой пропажи страниц из индекса Яши, срочно админ сервера написал скрипт (пока петух не клюнул короче), который редиректил все кривые урлы (и щас дописывает хвосты) на правильный урл.

Яндексу сервер перестал давать отлуп, мы сразу вернулись в индекс. При возврате в индекс мы поднялись в выдаче по всем ключам на 1-2-3 позиции.

Так что может кто-то захочет повторить наш опыт, может тоже попробовать:

запретить Яше доступ к сайту (только не через роботс), исчезнуть из индекса, а потом снова вернуться в поднятием позиций.

Никто не хочет попробовать ? :)