Яндекс выкинул весь сайт по Clean-param:

Тема не закрыта, так как найденный тобой косяк (спасибо №2) никак не влияет на проблему именно этой темы.

Исправил, спс. Но см. выше, проблема осталась.

Неделю назад происал клинпарам в роботсе. Отправил сайт на перепроверку. Сегодня метка: Проблема осталась. Хотя в вебмастере при указании адреса с параметрами при проверке роботса все очищается правильно.

Короче у яндекса чото не то.

Убрать этот клинпарам нафиг. Если только сайт полностью на чпу и ни одна страница с параметрами не нужна. 

Яндекс третью неделю молчит, не отрицает но и не признает очевидную свою ошибку. 

Впрочем, чего еще от них ожидать. 

Вот смысл вам, что то подсказывать, если вы этого не делаете?

Проблема, все та-же, Кэш попробуй почистить
Ответ Яндекса такой страницы /robots.txt не существует

Блин, да где? Сделай плиз скриншот. Все должно работать, по крайней мере с !www больше нет загибов цепочки. 

Вот, все мыслимые варианты. В режиме инкогнито (это я про кеш), все в итоге 200 на /robots.txt Где ты 404 нашел???

И опять же, это все не о том! Проблема не в том, что якобы robots.txt не существует. По данным Яндекса он прекрасно существует, прочитан, и по строке clean-param выкинуты все страницы сайта, в том числе и не попадающие под правило. Если роботса нет (хотя буду благодарен, если ты покажешь где сейчас увидел проблему, я ее добью), то откуда яндекс взял клин-парам?

Возможно со стороны Яндекса действительно возникла ошибка в обработке clean-param. Возможно и вы/либо тот, кто имел доступ на каком-то этапе вставили в строчку get параметр id, который является частью ваших канонических адресов.

Попробуйте сейчас повторно добавить все исключенные страницы и в переобход, возможно Яндекс вновь переиндексирует и проблемы решится.

p.s. Но я бы на вашем месте вообще задумался о модернизации URL адресации, переделав get параметр id на ЧПУ.

Рассказываю:

1. Кроме косяка Яндекса вариантов нет, даже они ни одного не выдвинули. 

2. Никто не имел и я не трогал. Увидев всю эту вакханалию я первым делом посмотрел дату файла и вторым - его содержимое через инструмент самого Яндекса. Дата была старая, много лет назадняя. Инструмент Яндекса сказал что все ок. 

3. Они влетают и без переобхода, асторажтвает что дня три назад вылетело около 1500 но на сегодня в поиске 6000 (было 10, но у меня реально полезных порядка 6000 и есть). Фигня в том, и Яндекс тупо игнорирует этот вопрос, что страницы были возрастом 17 лет, а теперь что - молодо-зелено? Хотя по вебмастеру типа обходом было пройдено не больше 1000, остальные 5000 - из старой? Яндекс паразит тупо молчит. Точнее пишет всякий копипаст. 

4.  Да, ЧПУ это моя боль. Полностью согласен. Движку 17 лет и он постоянно допиливался и изменялся. Я сейчас уже сам его пилю где могу. ЧПУ остались единственной нерешенной глобальной задачей, никак не решусь. Вот прямо сейчас подумываю может начать хотя бы со второго уровня, убрать parent id, чтобы было /раздел/?id_item=xxx

Но по моему опыту ЧПУ не дают заметных преимуществ. Разве что с дублями борьба. У меня был АБ-тест, однажды я перевел с этой рукописной ЦМС на коробочную один магазин. Стало красивше безусловно. Но ранжированию и продажам не особо помогло. 

А накосячить при внедрении можно ойойой как. Да и скорость работы сайта подупадет. Хотя сейчас она очень высокая и падение даже вдвое не страшно.