Есть ли антиаддурилка в ПС

Вас это сильно беспокоит? Нет, тогда не выдумывайте если страницы удалены. А так, в я. г. вебмастере есть удаление страниц. Можете также удаленные страницы прописать в robots.txt и таким образом запретить для них индексацию.

Страницы точно удалены у вас? Иначе зачем поисковикам на них заходить, если там код ответа 404

Я хз, зачем они туда ходят.

О да, прописать вручную.

Если бы мне было в прикол сидеть и вручную этим заниматься, то я бы не спрашивал, можно ли это сделать програмно.

Это никак не влияет на Ваш сайт.

Подождите немного роботы сами перестанут к ним обращаться. Вроде спустя месяц где то.

Годами ходят.

Пишут, что на страницу есть ссылки с других страниц (удаленных тоже давно или ссылки на самом деле уже давно нету).

А как именно "программно" Вам хотелось бы прописать страницы? Каков алгоритм?

Искусственный интеллект будет работать🤪

А если серьезно зайти в я и г. вебмастер где видно на какие страницы заходят и их нет или код 404, составить список таких и потом в роботсе прописать запрет индексации

Да, собрались гении.

100500 страниц прописывать это круто. :)

Другого решения нет?

Есть же пинговалка, которую можно дернуть, что добавилась страница.

Может есть и антипинговалка?

Проверьте, корректно ли сервер отдает 404 на несуществующих страницах. Обычно после 5-10 заходов максимум робот перестает посещать даже страницу, куда ведет ссылка.

Также рекомендую отследить список несуществующих адресов, куда постоянно ломятся роботы, и если поток запросов не прекращается, сделать 301 на произвольный вариант, вплоть до главной. В любом случае, 404 в индекс никак не зайдет --> нечего антипинговать.

Ну и наконец, посмотрите внимательно движок и его роуты, скорее всего проблема где-то на вашей стороне.

1. Корректно, они же в гвт показаны как "404 ошибка".

2. 301 редирект тоже не помагает, робот страницы продолжает дергать и в гвт показывает ошибки "404 софт"

3. Маршруты правильные. Ошибка именно из-за удаления некоторых страниц. Другие страницы в той же папке рабочие.

Через пару месяцев должны вывалиться. Если нет, напишите на форум поддержки.

Скорее всего, просто медленно обновляется индекс. После установки 301 редиректа в гвт должны появиться соответствующие данные.

По этим данным - почти наверняка медленный индекс.

---------- Добавлено 03.06.2017 в 18:09 ----------

P.S. Наконец, проверьте, не стоит ли где на вашем же сайте ссылка на данные страницы. Особенно критичны меню и "сквозняки".