Слишком большой Header или Cookie и падение посещаемости с Яндекса

JL
На сайте с 10.02.2014
Offline
73
1323

Добрый вечер!

Сегодня заметил. Когда перехожу на свой сайт из поиска Яндекса получаю ошибку "400 Bad Request Request Header Or Cookie Too Large" (http://prntscr.com/l9kxsl)

Сайт работает на Nginx + PHP-FPM. Ошибку я исправил через правку конфига Nginx. Вставил вот такие строки. Может кому-нибудь пригодится:

## Максимальный размер буфера для хранения тела запроса клиента
client_body_buffer_size 16k;
## Максимальный размер буфера для хранения заголовков запроса клиента
client_header_buffer_size 16k;
## Максимальный размер тела запроса клиента, прописанный в поле Content-Length заголовка. Если сервер должен поддерживать загрузку файлов, это значение необходимо увеличить
client_max_body_size 10m;
## Количество и размер буферов для чтения большого заголовка запроса клиента
large_client_header_buffers 4 16k;
## Таймаут при чтении тела запроса клиента
client_body_timeout 10;
## Таймаут при чтении заголовка запроса клиента
client_header_timeout 10;
## Таймаут при передаче ответа клиенту
send_timeout 10;

А теперь основная мысль моего поста. До июля 2018 года сайт работал на Apache. Потом произошла авария, в результате которой сайт был в дауне 8 часов. В процессе устранения проблемы сайт перевели на Nginx. Но сразу же после перехода на Nginx упала посещаемость с Яндекса почти в шесть раз. Я падение трафика объяснял простоем сайта (8 часов), типа Яндекс на меня обиделся. Но вот прошло уже 4 месяца, а трафик не восстановился.

И сегодня я замечаю проблему, которую описал в начале поста...Теперь хочу спросить у более опытных коллег, а не могут ли эти два события быть связаны? Т.е. трафик с Яндекса упал из-за некомпетентной настройки Nginx и этой самой ошибки?

Чтобы было проще вынести свое решение, вот еще несколько фактов:

  • Такая ошибка встречается только после перехода на сайт с Яндекса. У Гугла, Майла или просто прямого перехода - все ОК. И трафик упал только с Яндекса...
  • Эта ошибка воспроизводилась на двух ПК из трех. На этих двух ПК я активно работаю с сайтом. На третьем - заходил на сайт в первый раз и ошибки не было.
  • Смена браузера не помогает устранить ошибку. Т.е. она возникает даже на чистом IE, который я запускаю "по праздникам".
  • После того как я устранил ошибку, заметил незначительное увеличение посещаемости. Трафик на сайте достаточно большой, так что врятли это совпадение. http://prntscr.com/l9lbwr
  • Самое интересно, что в Вебмастере за все четыре месяца нет ни одной ошибки или предупреждения. И Платон клялся, что с сайтом все ОК.

Повторю вопрос. Может ли эта ошибка быть причиной падения посещаемости с Яндекса? Или она возникала только на моих ПК и больше ни где? Если затрудняетесь с ответом, может укажите направление куда еще можно капнуть, чтобы дойти до истины?

Спасибо за то что потратили свое время на мою тему! Здоровья вам и вашим близким! :)

vga1
На сайте с 18.02.2007
Offline
251
#1

Может конечно. Даже если были переходы с Я, в статистике они не учитывались (страница не грузилась). ПФ сайта ухудшились из-за быстрого возврата в результаты поиска Я, что тоже могло повлиять негативно.

Плохие Cookies могли давать такую ошибку. Чистить куки в броузере до исправления серверных конфигов не пробовали?

Повезло, что хоть сейчас случайно ошибку нашли.

Оптимизайка
На сайте с 11.03.2012
Offline
396
#2
JohnyLee:
Смена браузера не помогает устранить ошибку

Проблема возникает из-за того, что яндекс передает текст запроса в зашифрованном виде через referer и он не влезает у вас в буфер заголовков nginx. Но так как главная яндекса содержит директиву "<meta name="referrer" content="origin">" правильные браузеры (типа последнего хрома) эту портянку не должны передавать на сервер, так что смена браузера должна помочь. Тем не менее, браузеры конечно у всех разные :)

Может ли эта ошибка быть причиной падения посещаемости с Яндекса

Да, конечно. Пользователи с выдачи переходят на ваш сайт, там ошибка, открывают другой сайт конкурента → ваши ПФ страдают.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
JL
На сайте с 10.02.2014
Offline
73
#3
vga1:
Может конечно. Даже если были переходы с Я, в статистике они не учитывались (страница не грузилась). ПФ сайта ухудшились из-за быстрого возврата в результаты поиска Я, что тоже могло повлиять негативно.
Плохие Cookies могли давать такую ошибку. Чистить куки в броузере до исправления серверных конфигов не пробовали?
Повезло, что хоть сейчас случайно ошибку нашли.
Оптимизайка:

Да, конечно. Пользователи с выдачи переходят на ваш сайт, там ошибка, открывают другой сайт конкурента → ваши ПФ страдают.

Я с вами согласен. Но мне не дает покоя один момент. Неужели хваленый Яндекс.Вебмастер не распознал бы что пользователь из выдачи не доходит до сайта? Причем не один пользователь, а на тот момент больше 50к в сутки. Думаю, Вебмастер бы сообщил о серьезной проблеме в разделе "Диагностика".

Пока что придерживаюсь версии, что падение посещаемости было действительно из-за большого простоя сайта (8 часов). А вот не восстанавливалась посещаемость из-за этой самой ошибки, которая возникала у некоторых пользователей.

D
На сайте с 28.06.2008
Offline
1101
#4
JohnyLee:
Пока что придерживаюсь версии, что падение посещаемости было действительно из-за большого простоя сайта (8 часов).

Это глупость. У меня за последние годы несколько десятков раз малозначительные сайты падали и я замечал это через день или два. И НИ РАЗУ их посещаемость не провалились. А вы про 8 часов :))) смешно...

Пару раз, на несколько часов падали сайты с многотысячной посещаемостью - тоже без последствий.

Верную причину вам уже описали выше.

suffix
На сайте с 26.08.2010
Offline
325
#5

У меня так:

client_body_buffer_size 16M

client_header_buffer_size 64k

client_max_body_size 128m

large_client_header_buffers 4 128k

А таймаутов нет - это плохо ?

Клуб любителей хрюш (https://www.babai.ru)
JL
На сайте с 10.02.2014
Offline
73
#6
Dram:
Верную причину вам уже описали выше.

Да, я её понял. Не понял только "предательства" со стороны Яндекс.Вебмастера.

Я понимаю, что его Роботы, которые отвечают за индексирование сайта могли пропустить эту ошибку. Все-таки они заходят на сайт через прямой заход, а не из Выдачи где была ошибка. Но он же должен видеть, что люди из Серпа тысячами не доходят до сайта, и при этом молчал. http://prntscr.com/l9r6pa

В любом случае, время покажет. Может действительно после устранения ошибки посещаемость вернется.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий