404 ошибки, насколько это страшно?

123 4
S
На сайте с 29.04.2010
Offline
37
3445

Здравствуйте, интересует такой вопрос, делаю сайты-магазины где списки товаров автоматически собираются, сортируются, удаляются и тд. Под каждый товар создается свой пост (ВордПресс). И вот вроде как все работает, гугл активно парсит сайты, каждый день по 100+ страниц проходит, обновляет, но вот такая проблема - когда товар исчезает, пост автоматически удаляется, тоесть получается что гугл сегодня нашел пост, добавил к себе в индекс, а завтра он удалился и гугл не может его найти. В результате у меня в вебмастер тулсах уже 100+ "не найдено" страниц на каждом сайте и с каждым днем их количество растет... И он меня заваливает сообщениями типа "паника, катастрофический рост 404 ошибок, бла-бла"... Хотя сайтмап у меня каждые 12 часов автоматически обновляется с актуальным списком постов, тоесть поидее он должен видеть что раз из сайтмапа эти посты удалены, то значит все нормально, это не глюки...

И вот собственно вопрос, насколько это критично. эти 404 ошибки, и есть ли способ это победить, как то сказать гуглу чтобы он не паниковал и что все нормально и так и должно быть? Я конечно могу не удалять посты чтобы гугл не паниковал, а просто ставить наличие товара "нет в наличии", но это так себе вариант так как у меня каждый день +10 новых товаров и -10 старых товаров, если я буду их оставлять то у меня через пол года на сайте будет 2000 товаров/постов из которых 1700 будут "нет в наличии" - по-дурацки как-то... :(

---------- Добавлено 02.01.2013 в 21:33 ----------

а, и еще, некоторые ссылки которые он мне показывает в "не найдено" вообще хз откуда он берет, в сайтмапе таких нет и никогда не было... В основном вордпрессовские /фид, /рсс, /теги, еще всякая хрень типа такого... Может подскажите как сделать чтобы гугл брал ссылки ТОЛЬКО из сайтмапа, без всякой самодеятельности.. А то собирает какую-то хернь, а потом нудит со своим "не найдено"...

Z
На сайте с 06.12.2012
Offline
6
zeu
#1

отдавайте не 404, а 410. а вообще это бред получается, если у вас так быстро удаляются страницы - то и индексация вам не нужна. закройте такие странице от индексации, оставьте только главную + рубрики

S
На сайте с 29.04.2010
Offline
37
#2

не ну про каждый день я преувеличил, реально каждый пост живет в среднем 7-10 дней... тоесть индексация все-таки желательна.. а по поводу 410 спасибо - не знал раньше о таком.. тоесть если я буду возвращать 410 то гугл будет нормально реагировать - не будет меня доставать своими ошибками, и никаких штрафов на сайт накладывать не будет? Кстати этот момент я тоже хотел уточнить, гугл наказывает за такие ошибки (404) или он просто сообщает о них и все?

Z
На сайте с 06.12.2012
Offline
6
zeu
#3

404 - это с точки зрения ПС глюк, сбой, ошибка. а 410 - конкретно означает, что страница сознательно удалена вебмастером и кипишевать на эту тему не надобно.

Z
На сайте с 06.12.2012
Offline
6
zeu
#4

ну если постоянные пачки ошибок в логах - это не проблема - то тогда конечно :) при условии отдачи 410, нужная нам реакция получается всего за один проход бота, в то время как при отдаче 404 бот будет возвращаться снова и снова, месяцами, а лог ошибок будет пухнуть и пухнуть. в случае ТС, количество таких ошибок будет расти прогрессивно. и когда они отображаются только в панели ВМ - то и фиг бы с ними, но если они появляются в админке сайта? и error_log на сервере раздувается до 50 метров и более?

S
На сайте с 29.04.2010
Offline
37
#5

да, в моем случае это будет плачевно :) тем более что я собираюсь запустить пару больших сайтов где постоянно будет крутится несколько тысяч товаров, тоесть ежедневно пару сотен будет удаляться из старых (недельной давности) и пару сотен новых добавляться - если гугл будет задрачивать все эти удаленные посты то там ппц какой лог на сервере будет... :) Так что 410 это отличное решение в моем случае :)

aklimovv
На сайте с 18.01.2008
Offline
224
#6

ВП для нескольких тыс. товаров... да, это круто 🙄 Может лучше посмотреть в сторону специализированных движков, которые выдерживают данную нагрузку? Впрочем, если для псевдо...

Willie
На сайте с 08.10.2008
Offline
200
#7
slonomag:
тоесть если я буду возвращать 410 то гугл будет нормально реагировать - не будет меня доставать своими ошибками, и никаких штрафов на сайт накладывать не будет? Кстати этот момент я тоже хотел уточнить, гугл наказывает за такие ошибки (404) или он просто сообщает о них и все?

1. Не тешьтесь бесплодными надеждами! Поставьте себя на место Гугла: если вы зашли на сайт, а вам показывают, что страницы не существует, либо она удалена специально - долго ли вы будете обследовать такой сайт? Сдается мне, что плюните и уйдёте, и где-нибудь отметите: "сюда больше не ходить!"

2. Как наказывает? Да весьма просто: понижает в рейтинге. И вот если вы скажите, что сайты, у которых присутствуют кучи "битых" страниц, должны по этому признаку занимать ТОП, то я позволю себе с вами не согласиться.

izbushka
На сайте с 08.06.2007
Offline
110
#8
zeu:
отдавайте не 404, а 410.

В настоящее время Google обрабатывает ошибки 410 (удалено) и 404 (не найдено) одинаково.

Yvan
На сайте с 15.04.2010
Offline
55
#9

slonomag, а зачем вам удалять страницы, не лучше сделать в случае отсутствия товара просто вывод сообщения о отсутствии товара?!

И видимо я от вас ответа не дождусь о подключении парсинга?!

Wazzuuuuup
izbushka
На сайте с 08.06.2007
Offline
110
#10
slonomag:
если я буду их оставлять то у меня через пол года на сайте будет 2000 товаров/постов из которых 1700 будут "нет в наличии" - по-дурацки как-то...

Как сделать в WP не подскажу, но я делаю так: на страницах удаленных товаров показываю "нет в наличии", но в общем списке (в каталоге) эти товары не показываю. Потом, со временем, подчищаю.

Или можно делать редирект с удаленных товаров в каталог, вместо 404.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий