19 000!! 404 страниц

Нет..............

Благодарю за ответ. Только я волнуюсь. Суть магазина немного такова..Представленный товар довольно разнообразный и "трудный", и если его не купили сейчас, то потом он очень быстро устаревает, поэтому "текучка" товаров очень большая. И страницы, отдающие 404 растут лавинообразно. Во первых роботам тяжело, пока они всю эту помойку прошерстят, могут не дойти до нужного товара, а во вторых скорее всего, если у меня за пол года ещё такой же прирост будет 404 страниц, то меня попросту выкинут из индекса. Оставлять страницы с уже несуществующими товарами тоже не вариант. Может запретить в роботсе просто? там правда нифиговый такой файл выйдет? Суть в том, как Яндексу сказать, что этих страниц не существует уже давно, и не будет существовать. Пришло на ум только 301 редирект

Sweet-room, ставьте 301, несуществующие страницы могут долго в индексе висеть в я

Что за странный совет и дезинформация?

Из индекса все 19000 404 страниц уже исчезли, нет никакого сомнения, их адреса есть только в памяти робота и видны в Яндекс.Вебмастере.

Другое дело, что на сайте есть еще NNNNN страниц, выдающих 404, но при последнем заходе на них робота был код 200 (товар еще был в наличии), поэтому они еще повисят в индексе.

Это плохо. Тут 301 ничем не лучше 404.

Но для юзеров, действительно, было бы лучше 301 на начало раздела или на другой аналогичный товар.

Блин, совсем запутался..

А раз есть в Индексе робота, то он же всё равно будет заходить на эти страницы?

Kost, в 3ем посте тс написал, что это не разовая акция с 404, а они образуются периодически причем не в малых количествах, в яндексе 404 может сидеть в индексе со старым кэшем очень долго (по 2 месяца бывает) и собирать трафик к тому же.

Да. Особенно если 302, то будет заходить и заходить. На 404 не должен заходить много раз, достаточно и одного (надо логи смотреть).

noosfera, в этом плане абсолютно без разницы какой код ответа. Пока не дойдет очередь до урла, робот его не дернет и не узнает, сменился код 200 на 301 или на 404. Если 404, в ближайший 1-2 апдейта она покинет индекс.

Видимо, решение проблемы должно быть в ускорении цикла переиндексации и в уменьшении количества страниц, которые должен обходить робот. Все дубли и неинформативные страницы должны быть закрыты в robots.txt.

С другой стороны возникла бредовая идея сделать страницу или раздел "На этой неделе из наш ассортимент покинули товары: ******". И гонять туда роботов.

Sweet-room, а какой средний срок актуальности товара?

Если неделя, то 80% заходов из поиска на карточки товаров будут неудачными (цифры я взял с потолка).

.

Примерно месяц. Тут не вопрос Выгрузить из BM все 404 страницы и загнать их в массив, и сделать 301. Это не сложно. Просто есть определённый страх что выкинут да и про робота я выше писал, зачем его грузить лишним..

PS Спасибо большое за помощь.

не удаляйте страницу а поверх описания повесьте картинку-надпись, НЕ ПРОДАЕТСЯ, пусть себе болтаются в сети

Лучше уж тогда, не удаляя, добавлять такие страницы в архив и предлагать уже на них перейти на страницы с аналогичными товарами в наличии.