Яндекс постоянно добавляет несуществующие страницы 404 в индекс. Как это?

Просканируйте через Screaming Frog все страницы по маске /forum и потом посмотрите список 404 страниц на предмет входящих ссылок (внизу вкладка Inlinks).

Отстутствует canonical на пагинации.

От этого куча дублей по Тайтлам и остальной мете.

- про http и 301, оставьте, все верно настроено, все верно яша получает 301

- все, что советуют какие то сервисы, бред, ну найдете вы их там, и что? Это вам не поможет.

Исходим их того, что Яша страницу индексирует, значит в какой то момент времени или какой то робот получает 200, вместо 404

Исходим их того, что никакие входящие ссылки не заставят Яшу проиндексировать, если там 404

Искать только на своем сервере, его ответы. Иммитировать Яшу.

- про рабочую версию сайта https. Генерируем в голове новую нерабочую ссылку и проверяем на первом роботе, новую ссылку на втором и тд. Если все роботы на все сылки отдают 404. Проверяем последнюю проиндексированную ссылку всеми роботами и пишем вопрос в поддержку....с вопросом как так? вероятность 1 из ста...но вдруг ответят дельно)

У меня это постоянная история

Например, Яндекс берет реальную страницу, отрезает часть Урл, в таком виде индексирует, а потом удаляет из индекса как 404. Ну да, такой страницы никогда и не было ведь на сайте

Или добавляет к настоящему адресу точку или другой символ - индексирует и удаляет.

Настоящие страницы с настоящими адресами живут своей жизнью из индекса не выпадают. Все происходит параллельно

Это, говорит лишь о том, что вы понятия не имеете, что у вас происходит на сайте

Т.е, если кому то вздумается наплодить на ваш сайт N-k ссылок с точками/символами ( а такое бывает ), то ваш сайт вылетит из индекса

Там ссылки теперь нет, предлагают подписатся на сервис.

Да и я уверен нигде и никогда не было ссылок на несуществующие страницы. Даже если по всем поисковикам пробить нет таких совпадений.

🚬

---------- Добавлено 27.09.2019 в 18:31 ----------

Совершенно верно кстати, под каждой добавленной строчкой с несуществующей страницей в яндексе вижу.

Канонический адрес не указан...

Да и в существующих страницах пагинации нет каноникал. Только в темах.

Просветите как отсутствующий канонический адрес на пагинации генерит несуществующие страницы? И как изменится этот процесс если добавить канонические пагинации? Склоняюсь к тому чтобы отрубить 404е страницы и сделать их стандартными :(

ВЫ, что бред читаете?

Несуществующие страницы генерит движок, отдавая 200 в какой то момент. Это вам и надо найти.

Самый писк, поиск неисправности, которая существует...но ее не видно

канонический адрес, вообще забудьте, что это такое...было и перестало существовать

На своих сайтах, сроду этого бреда не было. Ибо, дублей страниц, просто не должно быть на сайте

В общем коллеги по всем приборам от яндекса если проверить страницу прямо сейчас со всех ботов выглядит как 404 (см картинки выше).

Но если смотришь инфо о странице в Индексировании/Страницы в поиске

То выглядит вот так - 200 ок

На всякий случай добавил в заголовок 404й страницы.

<meta name="robots" content="noindex, nofollow"/>

Поможет? Узнаем через неск дней когда в "Страницы в поиске" попадет набор ссылок за сегодня.

Bengurion, посмотрите по логам сервера, когда бот Яндекса к этому урлу обращается, ему какой ответ выдаётся? Если 404, то можно Платону написать, может чего подскажет.

Бред полный