Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Яндекс исключает страницы из поиска

V
На сайте с 14.03.2011
Offline
0
vvsim
1733

Несколько месяцев назад Яндекс стал исключать страницы сайта из поиска, и число таких страниц с каждым обновлением поисковой базы росло. В статистике сейчас написано:

Страниц в поиске 49

Время последнего посещения сайта роботом 7.03.2011

Загружено роботом 133

Исключено роботом 62

Причиной исключения Яндекс указывает:

"Передано неверное количество данных"

На запрос пришёл такой ответа от Платона Щукина:

На момент последнего обращения робота к указанным страницам передача данных от Вашего сервера продолжалась после передачи текста сообщения (возможно, неправильно указана длина). По вопросу возникновения и устранения этой проблемы, пожалуйста, обратитесь к администратору сервера, на котором расположен Ваш сайт

Данный ответ был передан хостинг-провайдеру. От них получен ответ: 



wget -S http://krasiris.ru/index-1/pochemu_pacienty_vybirayut_iris/

--2011-03-04 09:56:34-- 

http://krasiris.ru/index-1/pochemu_pacienty_vybirayut_iris/

Преобразование адреса krasiris.ru... 77.222.42.93

Устанавливается соединение с krasiris.ru|77.222.42.93|:80... соединились.

Запрос HTTP послан, ожидание ответа... 

  HTTP/1.1 200 Ok

  Date: Fri, 04 Mar 2011 06:56:20 GMT

  Server: Apache/2.0.63-lk.d (Unix) mod_ssl/2.0.63-lk.d OpenSSL/0.9.8g

mod_dp20/0.99.2 mod_python/3.3.1 Python/2.5.1 mod_ruby/1.2.6

Ruby/1.8.6(2007-09-24)

  Set-Cookie: PHPSESSID=aul1q4e3k2c26cibqb6do6jlt1; path=/

  Expires: Thu, 19 Nov 1981 08:52:00 GMT

  Cache-Control: max-age=3600, private, must-revalidate

  Pragma: no-cache

  Set-Cookie: stat_id=aul1q4e3k2c26cibqb6do6jlt1; expires=Thu, 04-Mar-2021

06:56:20 GMT; path=/

  Set-Cookie: stat_id=aul1q4e3k2c26cibqb6do6jlt1; expires=Mon, 01-Mar-2021

06:56:20 GMT; path=/

  Content-length: 16416

  Set-Cookie: stat_id=aul1q4e3k2c26cibqb6do6jlt1; expires=Thu, 04-Mar-2021

06:56:21 GMT; path=/

  Keep-Alive: timeout=10, max=256

  Connection: Keep-Alive

  Content-Type: text/html; charset=utf-8

Длина: 16416 (16K) [text/html]

Saving to: «index.html»


на примере этой страницы видно что ее длинна отдается корректно, т.е. с нашей стороны проблем не наблюдаю.

И по этому поводу Платон снова отписал:


Данная ошибка возникает именно на стороне Вашего сервера, поэтому, к сожалению, у нас нет возможности предоставить более подробных комментариев по данному вопросу.

Я не спец в этой области, поэтому оказался в тупике. Куда дальше копать и кого тормошить? Надеюсь на помощь.

Вот для примера несколько исключенных Яндексом страниц:

http://krasiris.ru/index-1/

http://krasiris.ru/index-1/pochemu_pacienty_vybirayut_iris/

http://krasiris.ru/index-2/lechenie_keratokonusa/

http://krasiris.ru/index-6/novosti/

http://krasiris.ru/index-6/stati/hrustalik/

Spaike
На сайте с 30.03.2009
Offline
152
Spaike
#1

ТС все очевидно, бегите от такого УГхоста, походу банит или фильтрует бота яши, а может 502 ошибку выдает во время обхода паука и т.д. А яндекс все равно свое будет твердить, он не кому не должен;)

покупаю сайты
Комментарии Яндекса про АГС-30 Google рассказал, как 500 ФАС обвинила Google в
S
На сайте с 11.06.2010
Offline
57
sergjo
#2

Не исключено также, что хостер после Вашего обращения действительно устранил ошибку, в этом не признался. А кукисов в заголовке, по-моему, многовато.

V
На сайте с 14.03.2011
Offline
0
vvsim
#3
sergjo:
Не исключено также, что хостер после Вашего обращения действительно устранил ошибку, в этом не признался.

Возможно, конечно... Узнать это можно будет теперь только после очередного посещения робота, как я понимаю.

Но хостер известный, надёжный, несколько лет с ним работаю, и никогда проблем не было. И этот сайт до недавнего времени нормально индексировался, а потом вдруг стали выпадать страницы по несколько штук за проход, хотя ничего не менялось. Почему же тогда не вылетели все сразу страницы, ведь если "хостер фильтрует", то как-то избирательно? И почему Гугл и Рамблер видят те же страницы без проблем?

Как повлиять на скорость Google допускает разный контент Нeсколько очевидных причин проблем
S
На сайте с 11.06.2010
Offline
57
sergjo
#4

Не совсем ошибку (на правильно выразился), а настройки сервера, к примеру, связанные с отдачей контента сжатым gzip. Связанные с этим сжатием глюки я наблюдал на rutor орг, например. Причем склоняюсь к глюкам движка браузера (Mozilla), т.к. в Опере страничка открывалась без ошибок. Веду к тому, что янд.бот подписывается как Mozilla/5.0 (compatible; YandexBot/3.0; + ttp://yаndеx.com/bots).

Сейчас поддержка сжатия отключена

[ wget -S --spider --header "Accept-Encoding: gzip,deflate" "http://krasiris.ru/index-2/lechenie_keratokonusa/" -o log.txt]

Методы сжатия данных в Методы сжатия данных в Адаптивные изображения 201: технология

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий