ошибки яндекса, сайта или хостинга?

123
[Удален]
#11
ndix:
Да это понятно....но в последующий раз когда прихожу на страницу отдаёте 200 статус, а должны сказать 304 что данная страница не модифицировалась.... и не посылать контент...это контент возьмётся из браузера. Вы так не делаете....

так как в интернет-магазине посылать 304 если тут и информация о корзине заказов и скидки под конкретного покупателя и много чего еще может быть реализовано?

ndix:
и если я не ошибаюсь не правильный формат самой даты Thu, 06 Mar 2008 02:54:54 +0200 GMT

а дату сервер отсылает

в моих скриптах такого заголовка нет

BigBrother
На сайте с 16.06.2006
Offline
96
#12

Что-то суппорт тупит слегка.... Саша (не Садовский), спроси пожалуйста у кого-нибудь из робота про эту ошибку.

Эта ошибка обычно возникает при играх с keep-alive (chunked) - там либо надо четко указывать размер чанка, либо общий размер контента. При несовпадении и будет выдаваться эта ошибка.

Копайте здесь....

So many kings, but few jokers!
[Удален]
#13

BigBrother,

ага,

т.е., получается, может быть в похожих траблах относительно http-equiv (http-заголовков) следующие ситуации:

1) образовавшаяся по каким-то причинам разница между параметрами заголовков, выставленных самим веб-разработчиком в метах и параметрами, отдаваемыми самим Apache (по умолчанию или по сделанным настройкам самими сисадминами провайдера);

2) образовавшаяся разница по каким-то необходимым изменениям на Яндексе и параметрам, отдаваемым http-заголовками, но не учитываемым этих вынужденных изменений (например, по возросшей нагрузке на Я-сервера).

Т.е., по этим 2 (любой, или даже вместе) причинам могут быть (у многих сейчас) такие траблы - неидексация и пр.?

Мне тоже техподдержка сообщает о чисто технической причине.

[Удален]
#14

У меня вчера сотрудники Яндекса попросили логи Апача где есть информация с боте Яндекса

Здравствуйте, Александр!

Пожалуйста, чтобы мы могли быстрее разобраться с этой проблемой, пришлите нам
Access логи для этого сайта, где видны были бы обращения нашего робота.

--
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
http://help.yandex.ru/
[Удален]
#15
Mosik:
У меня вчера сотрудники Яндекса попросили логи Апача где есть информация с боте Яндекса

М-да... Весёленькие дела начинаются...

А я хостеров вчера с пристрастием... Довёл их до рукотряски...

Божатся, что всё путём.

Приходится всё пока до вторника отложить, буду разбираться.

Вот интересная страница, где про всё это самое.

Правда, непонятно насколько инфа эта актуальна. Даты 2005-2006.

cервер не выдает дату документа...

http://www.info.data-com.ru/?t=1&p=1

Что-то изменилось в самой индексации... И теперь многие Апачи отказывают в обработке.

И непонятно какие нужно менять теперь параметры.

di_max
На сайте с 27.12.2006
Offline
262
#16

Джентельмены, спокойнее...

1. То, что сказал BigBrother не имеет отношения к Last-Modified или Expires.

Тем более к http-equiv (http-заголовков).

Имхо, что-то внутренее у робота.

2. Last-Modified, Expires и прочих - время должно быть указано по GMT, а не региональное.

3. Для динамических документов Apache ни Last-Modified, ни Expires сам не выставляет. Это все - на совести программиста или нужно правильно настроить Apache.

4. Правильные значения в Last-Modified и Expires - это хороший тон.

5. 200 или 304 выдавать ответ - решает Web-сервер. Так как получает запрос If-Modified-Since (дата в формате rfc 1123)

6. В случае динамических страниц - это обязан делать скрипт.

Но так, как обработка этого очень накладна и многие не понимают как это сделать правильно, то просто отдают 200 и страницу целиком.

// Все наши проблемы от нашего не знания...
[Удален]
#17
di_max:
Джентельмены, спокойнее...
1. То, что сказал BigBrother не имеет отношения к Last-Modified или Expires.
Тем более к http-equiv (http-заголовков).
Имхо, что-то внутренее у робота.

2. Last-Modified, Expires и прочих - время должно быть указано по GMT, а не региональное.
3. Для динамических документов Apache ни Last-Modified, ни Expires сам не выставляет. Это все - на совести программиста или нужно правильно настроить Apache.
4. Правильные значения в Last-Modified и Expires - это хороший тон.
5. 200 или 304 выдавать ответ - решает Web-сервер. Так как получает запрос If-Modified-Since (дата в формате rfc 1123)
6. В случае динамических страниц - это обязан делать скрипт.
Но так, как обработка этого очень накладна и многие не понимают как это сделать правильно, то просто отдают 200 и страницу целиком.

1. LM вообще удалил из заголовков самих страниц.

2. Был, видимо, косяк: "en,ru" вместо "ru". Почему-то работало... Исправил.

Всё перезалил.

Вчера получил очередной ответ (блин, всего через несколько часов после запроса, спасибо им), теперь пишут, что заголовки стали корректными. И уже который раз "не переживайте, всё скоро проиндексируется". Благодарить остаётся не знаю как...:)

И затем сразу же появилась в выдаче главная. Пока только главная.

Бэки трясёт конкретно: плюс-минус 100 каждый раз при открытии Консоли.

Представляете, если такое же у жирных сайтов, у которых на порядки больше бэков?😮

Ссылочное поле как при бомбардировке астероидами...

Ни о каком анализе сейчас и речи быть не может.

Всё равно что бегать "по переднему краю" с теодолитом и нивелиром при артподготовке...;)

Во вторник отправлюсь к прову, будем перетрясывать все настройки Апача...

di_max,

может быть, индексаторы имеют какие-то новые параметры, которым Апачи отказывают...😎

(GoodWin) добавил 08.03.2008 в 10:32

Особо упёртому местному троллю, написавшему это в личке:

> И что то что трясет? Выдача меняется так же как их трясет? ЛОЛ :-D

поясняю.

Изменяется количество backlinks в соответствующем индикаторе Консоли при каждом её открытии - до 10%.

Рассуждения про выдачу оставьте себе. И выпейте валерьяночки - успокаивает нервы. Если с коньячком сегодня у Вас проблемы.

[Удален]
#18

количество ошибок все еще растет

Яндекс говорит что пока не знает в чем проблема

изменение заголовков и отключение ob_gzhandler не помогло

BigBrother
На сайте с 16.06.2006
Offline
96
#19
mosik_new:
количество ошибок все еще растет
Яндекс говорит что пока не знает в чем проблема

изменение заголовков и отключение ob_gzhandler не помогло

Ок, брось пример ответа роботу (который помечен ошибкой в консоли) - скажу точно.

Но в 98% случаев такая ошибка - chunked с переданным размером страницы - только вот апач при этом иногда не учитывает размер самих заголовков чанков. Так что либо отключай чанки, либо отключай передачу размера страницы. И проверь, чтобы в заголовках самих чанков все корректно было, особенно в последнем (он переменного размера).

[Удален]
#20

я не знаю или именно эти заголовки получает Яндекс, но мне сервер ответил следующими заголовками

HTTP/1.1 200 OK

Date: Sun, 30 Mar 2008 11:34:33 GMT
Server: Apache
X-Powered-By: PHP/5.2.5-pl1-gentoo
Cache-Control: no-store, no-cache, must-revalidate
Cache-Control: post-check=0, pre-check=0
Pragma: no-cache
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html; charset=windows-1251

mosik_new добавил 30.03.2008 в 15:42

BigBrother:
Ок, брось пример ответа роботу (который помечен ошибкой в консоли) - скажу точно.

Если тебе действительно интересно, могу скинуть CSM файл с урлами, которые помечены ошибкой в консоли

сможешь посмотреть какие именно заголовки отдает сервер

уже 3 месяца бьюсь над проблемой

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий