Это результаты постобработки. Проконтролируйте с повторным переобходом.
Очень схоже с моими двумя случаями. Я так и не выяснил проблему.
Как уже сказал выше, через неделю восстановилось.
p.s. Отправьте несколько вылетевших страниц на переобход и проконтролируйте точечно.
Много страниц повылетало.
Пишет - Неподдерживаемый формат
Формат документа не поддерживается индексирующим роботом. Обратите внимание на корректность заголовка Content-Type и на содержимое документа.
Проверьте корректность через инструмент в Яндекс.Вебмастере (Проверка ответа сервера) - посмотрите, какой результат возвращает Яндекс.
В моей практике было пару раз. Глюк, через неделю восстановилось.
Значит реальные проблемы всё-таки есть. Вслепую по делу помочь никто не сможет.
То, что вы называете деятельностью конкурентов может быть вполне реальной претензией.
Вы точно в этом уверены? Есть возможность привести текст жалобы? На что конкретно жалуются?
Надо разобраться на что конкретно жалуются.
Смотрите. Если у каких-то страниц посещаемость 2 раза в месяц - это тоже посещаемость. Это тоже показатель уровня востребованности и если он всё-таки есть и он устойчивый (по конкретным запросам из поиска или по ссылкам), то я бы не стал пользователей лишать этой возможности.
Далее. Если поисковые системы (в частности Яндекс) массово не выкидывает эти страницы из индекса по МПК, то удалять их точно не надо. А вот если вылетают, то тут надо смотреть, ибо Яндекс даёт чётко понять, что их уровень качестве/востребованности не соответствует удовлетворительным критериям, чтобы держать страницы в индексе.
Резонное замечание. Крупные СМИ не удаляют своих архивы 7-10 и более летней давности, поэтому здесь надо смотреть по обстоятельствам.
Вещи есть, но далеко не банальные.
Современное SEO в высококонкурентной теме - это маркетинг (как совокупность бизнес сигналов) и работа с поведенческими.
SEO-шные тексты для контекстного соответствия и запросы - это лишь 20% от того, что нужно. Нужно по уши погружаться в бизнес, раскладывать его на составные части 4P маркетинга, четко и ясно представлять, кто и какой потребитель, какая его потребительская надобность в связке с со свойствами товара, что с сервисом, какие его болевые точки, насколько корректно они покрываются в работе с возражениями, вы должны уметь раскладывать на составные все конкурентные механики, четко понимать, что нужно/полезно, а что работать не будет, какие связки работают на прирост коммерческих сигналов и расширение полноты поведенческих, какие нет. Всё это должно быть не просто на словах, а в четкой рабочей модели которую можно и нужно применить в конкретной нише. Вы должны уметь их вербально и графически выразить. Проверка на умение это делать очень простая. Если вы говорите, что у нас всё как у всех, товар себе и товар, значит не умеете. Научиться можно и нужно, но не сразу, навыки эти надо тренировать и изучать материалы не о том, как подбирать запросы, а как дифференцировать свой товар на рынке в условиях острой конкуренции.
C чего начать - вам уже в общем-то подсказали. Начните с того, чтобы заказать аудит, причём у нескольких специалистов. Не видя сайта рекомендовать что-то конкретное бессмысленно, надо чётко видеть сайт и понимать состояние бизнеса. Любые разговоры без сайта будут лишь общим теоретизированием.
Кроме возможных ошибок, если повезет вам набросают идей, как обозначить и развить конкурентные преимущества - там и простирается ваш фронт работ.
Всё - что? Только одна пара слов "закрыть" "ооо" может образовывать десятки запросов и это нормально.
Объединить. Вы правильно сказали - интент один, поэтому запросы должны быть на одной странице.
Правильно, всегда анализируйте текущее состояние выдачи.
Сюрприз может быть в том, что интент может разделяться, а потом со временем вновь объединяться.
Это задача решается не через robots.txt, а через canonical и мета.
1.
Как уже была правильно сказано выше, все страницы пагинаций должны содержать canonical на родительный раздел - адрес перед ?PAGEN_1=*
2.
Также во все страницы пагинаций вы вставляете в код:
<meta name="robots" content="noindex, follow"/>
В результате, поисковые роботы будут следовать по страницам пагинации, но не индексировать и не учитывать их в ранжировании.
В robots.txt надо отсекать только явные служебные разделы и страницы, которые не должны участвовать в анализе поисковых роботов.
Можно, но дело не в необходимой уникальности, а в эффективной отработке пользовательских интентов.
Проще говоря, кто эффективнее делает сайты, тот и в топах. Вопрос накрутки (которую также можно рассматривать как эффективную методику) в расчёт не берем.
Более развёрнутый комментарий на эту тему можно почитать здесь.
