Что делать с "Элемент не найден "

S
На сайте с 31.07.2009
Offline
162
7922

При программировании сайта, несколько раз пришлось полностью удалить с сайта каталог товара , а залить из 1С снова. Перед удалением, тысячи страниц были проиндексированы. Прошло уже больше полугода, смотрю хиты поисковиков, Яндекс постоянно стабильно посещает страницы которых уже нет , например эту http://www.svetoch34.ru/price/27/1512/index.php?SECTION_ID=1582&ELEMENT_ID=259623 .Что можно сделать в моем случае? Руками поставить 301 редирект на новые страницы товара, нереально...удаляли несколько раз, теперь там тысяч 40 , страниц с ответом "Элемент не найден" , "Раздел не найден". Жалко что бот Яндекса тратит время на посещение таких пустых страниц..лучше б на реальные ходил. Как ему можно сказать, что на этих страницах ему делать нечего, если я даже не знаю адреса этих страниц. Или это нестрашно, пусть и дальше ходит?

Попав на такую пустую страницу, в индекс ее не ставит, но время на нее тратит.

kdv12
На сайте с 05.12.2011
Offline
52
#1

Ну так Яшка и дальше будет ходить на данные страницы. Почему он должен на них не ходить, если ответ сервера 200. Вам нужно либо ставить 301 редирект на глобальный раздел либо отдавать 404 ошибку при запросе не существующих страниц. Немного времени и все удаленные страницы исчезнут из ПС сами собой.

Разработка сайтов любой сложности на 1С-Битрикс. Бесплатные консультации.
S
На сайте с 31.07.2009
Offline
162
#2

404 -ая ошибка нормально на сайте отдается, например здесь http://svetoch34.ru/price/2 , т.е. если страницы нет..ошибка 404 -ая выходит. Но в случае с каталогом товаров, это почему-то не работает. Может все дело в двух словах. "элемент не найден"? Может если бы их не было, то тогда бы отдавалась 404 ошибка? Я так понимаю, что Эти два слова пишет скрипт, когда загружая страницу, не находит в инфоблоке битрикса страницу товара? Что нужно сделать, чтобы если страницы товара в этом разделе не нашлось, то была бы ошибка 404 ?

301-поставить нереально, нет адресов тех страниц которые раньше были в каталоге....

Clinton
На сайте с 13.09.2011
Offline
27
#3
superf:
404 -ая ошибка нормально на сайте отдается, например здесь http://svetoch34.ru/price/2 , т.е. если страницы нет..ошибка 404 -ая выходит. Но в случае с каталогом товаров, это почему-то не работает. Может все дело в двух словах. "элемент не найден"? Может если бы их не было, то тогда бы отдавалась 404 ошибка? Я так понимаю, что Эти два слова пишет скрипт, когда загружая страницу, не находит в инфоблоке битрикса страницу товара? Что нужно сделать, чтобы если страницы товара в этом разделе не нашлось, то была бы ошибка 404 ?

301-поставить нереально, нет адресов тех страниц которые раньше были в каталоге....

Если Битрикс пишет в браузере "Элемент не найден" или "Каталог не существует" и т.п. - это еще не значит, что данные страницы выдают ошибку 404 (Not found).

Дело точно не в этих двух словах, дело в настройках Битрикс. Мой совет, обратитесь к программистам, которые у вас занимаются доработками по Битрикс, и они, настроят сервер на выдачу корректных заголовков ответов. (например, если страница не существует, выдавать ошибку 404)

Как вы уже верно подметили, данную надпись выдает Битрикс, но это совершенно не означат, что при этом сервером выдается ошибка 404 (Элемент не найден). Данная страница вполне нормально может отдавать ошибку 200 Ок - поэтому поисковики думают, что это обычная существующая страница.

Указанная вами страница http://www.svetoch34.ru/price/27/1512/index.php?SECTION_ID=1582&ELEMENT_ID=259623 как раз и возвращает 200 Ок.

1.Как вариант, можете определить у "старых" страниц общие присущие им параметры в url, и запретить данные страницы в Robots.txt

2.Либо, заказать программистам, чтобы на все старые адреса (уверен их тип можно определить и обобщить) выдавалась ошибка 404.

3.Либо, от обратного, чтобы на все адреса, кроме существующих сейчас на сайте, выдавалась бы 404 Not found. Как то так...

S
На сайте с 31.07.2009
Offline
162
#4

А если нечего не делать, то есть ли реальный вред от таких страниц? Яндекс раньше 2-3 тыс хитов делал, сейчас 5-15000 хитов в день, может ему несложно их посещать, и для сайта вреда от них нет? Программист пока занят сильно...без большой нужды пока отвлекать на дополнительные задачи нежелательно.

1.Как вариант, можете определить у "старых" страниц общие присущие им параметры в url, и запретить данные страницы в Robots.txt
--страницы подбора по каталогу товара, похожи на старые.

3.Либо, от обратно, чтобы на все адреса, кроме существующих сейчас на сайте, выдавалась бы 404 Not found. Как то так...
---у нас 1С часто создает новые страницы товара на сайте, как только внутри 1С, появляется новая позиция. Если запретить все адреса кроме списка, тогда новые в этот список не попадут.

Главное не понятно, почему на страницах всех разделов, 404 -ошибка выходит, кроме раздела где подбор товара. http://svetoch34.ru/price/27/1824/0/

Clinton
На сайте с 13.09.2011
Offline
27
#5

superf,

На мой взгляд, такие страницы вредны тем, что:

1. Поисковые боты всё равно тратят на них определенную часть времени, в следствии чего, нормальным страницам остается меньше времени для сканирования.

2. Такие страницы могут попадать в индекс поисковых систем, а по сколько они не содержат фактически никакой информации, то это уж точно не прибавляет сайту балов в лице поисковых систем.

Так же, на эти страницы (если они попали в индекс) могут приходить пользователи, и тут же уходить с них - а это, в свою очередь ухудшает показатель поведенческого фактора.

3. Вполне вероятно, что на этих страницах title'ы, description, keywords могут совпадать с новыми страницами, что порождает своего рода дубли.

Вот, на мой взгляд, некоторые грешки, которые могут вызывать данные страницы.

[Удален]
#6
superf:
Программист пока занят сильно...без большой нужды пока отвлекать на дополнительные задачи нежелательно.

вообще-то там делов на 5 минут

P.S. если у вас есть хотя бы $1000 в месяц на содержание прогера, то можете использовать битрикс, если нет - забудте о битриксе и 1С

S
На сайте с 31.07.2009
Offline
162
#7
вообще-то там делов на 5 минут

--- а что нужно сделать? Ну хотя бы в общих чертах, ошибку 404 ?

P.S. если у вас есть хотя бы $1000 в месяц на содержание прогера, то можете использовать битрикс, если нет - забудьте о Битриксе и 1С

--- деньги есть. Проблема в том, что программист по Битриксу, живет в соседнем городе, и сейчас взялся привести в порядок IT -систему на одном заводе, и до 18-ти на заводе, на сайт у него времени мало остается, а сделать нужно еще очень много. При этом деньги для него не являются существенным стимулом. Он может трое суток не спать, и сделать целый блок..а может за месяц не сделать ничего.

---------- Добавлено 12.02.2012 в 17:25 ----------

2. Такие страницы могут попадать в индекс поисковых систем, а по сколько они не содержат фактически никакой информации, то это уж точно не прибавляет сайту балов в лице поисковых систем.
Так же, на эти страницы (если они попали в индекс) могут приходить пользователи, и тут же уходить с них - а это, в свою очередь ухудшает показатель поведенческого фактора.
--в индексе их нет.
[Удален]
#8
superf:
а что нужно сделать? Ну хотя бы в общих чертах, ошибку 404 ?

в ответе сервера отдать 404

S
На сайте с 31.07.2009
Offline
162
#9
в ответе сервера отдать 404

--спасибо. Отписал админу, сказал что сделает.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий