Нужна помощь, вылетают страницы с пометкой Неподдерживаемый формат

V9
На сайте с 25.08.2010
Offline
118
1464

Третий Апдейт вылетает все больше страниц, пометка в вебмастере "Неподдерживаемый формат".

Формат документа не поддерживается индексирующим роботом. Обратите внимание на корректность заголовка Content-Type и на содержимое документа.
Проверить ответ сервера

Писал платонам, ответ на следующий день.

Мы проверили, страница были исключены, так как при обращениях нашего индексирующего робота они периодически отдают контент в формате, который им не поддерживается, из-за чего проиндексировать их не удается. Это может быть связано с тем, что страницы отдают некорректные http-заголовки или не отдают документ в HTML-формате. Для выяснения причин появления проблемы Вы можете обратиться к администратору сервера, на котором расположен сайт, либо Вашему хостинг-провайдеру. Например, страница http://xxxxx.html была недоступна при обращении робота 2019.02.11 в 15:51:50. Чтобы страницы могли корректно индексироваться роботом, они должны быть доступны, отвечать кодом 200 ОК и отдавать контент в HTML-формате. Тогда они смогут вернуться в поиск по мере их переобхода роботом с обновлениями поисковых баз.

Мы также передали пример Вашего сайта нашим специалистам для более подробного изучения, чтобы проверить ситуацию с обходом сайта. Если у меня появится дополнительная информация по вопросу или потребуются дополнительные действия, я свяжусь с Вами немного позднее.

Мой ответ

Проверил логи, может поможет в выяснении проблемы, при обращении к странице имела код 200
141.8.142.32 - - [11/Feb/2019:15:51:50 +0300] "GET /xxxxxxx.html HTTP/1.1" 200 15269 "-" "Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)"

Движок Joomla 3.9.3, оптимизирующие и кешурующие плагины выключены, сайт работает 4 года, ранее таких проблем не было.

Ответ сервера в вебмастере.

Код статуса HTTP 200 OK
Время ответа сервера 148 мс
IP сайта
Кодировка UTF-8(unicode-1-1-utf-8, UTF8)
Размер страницы 49,16 КБ
Server: nginx/1.12.2
Date: Sat, 16 Feb 2019 06:47:27 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
X-Powered-By: PHP/7.2.15
Content-Encoding: gzip
Expires: Wed, 17 Aug 2005 00:00:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: e8576082a5b094e168486b9fdaa82b69=eaa346b13c006cec915a65c3fea6ef6b; path=/; secure; HttpOnly
X-Content-Type-Options: nosniff
Last-Modified: Sat, 16 Feb 2019 06:47:27 GMT
Апокалипсис
На сайте с 02.11.2008
Offline
391
#1

А чем помочь то вам? Вам на битву Экстрасенсов без Урл адреса.

Попробуйте gzip отключить может он глючит

Записки нищего (http://zapiskinishego.ru) - мой личный блог Услуги php программиста. Очень нужна любая работа. Не покупают? Поведенческий аудит интернет-магазина за 5000 руб. (/ru/forum/990312)
V9
На сайте с 25.08.2010
Offline
118
#2
Апокалипсис:
А чем помочь то вам? Вам на битву Экстрасенсов без Урл адреса.
Попробуйте gzip отключить может он глючит

Отправил урл в личку, буду благодарен за помощь.

V9
На сайте с 25.08.2010
Offline
118
#3

Кажется разобрался с проблемой, блокировались IP Яндекса, были добавлены по причине прямых заходов с отказами по метрике.

Может кто в курсе, заходам Яндекса с отказами?

Апокалипсис
На сайте с 02.11.2008
Offline
391
#4
vitaliy999:
Кажется разобрался с проблемой, блокировались IP Яндекса, были добавлены по причине прямых заходов с отказами по метрике.
vitaliy999:
Может кто в курсе, заходам Яндекса с отказами?

На а яндекса айпи тут причем?

V9
На сайте с 25.08.2010
Offline
118
#5
Апокалипсис:
На а яндекса айпи тут причем?

По метрике отлавливал айпи частых прямые заходов с 100% отказами, на сервере блочил айпишники. Вопрос зачем Яндексу делать прямые заходы, создавая отказы по метрике?

Апокалипсис
На сайте с 02.11.2008
Offline
391
#6
vitaliy999:
По метрике отлавливал айпи частых прямые заходов с 100% отказами, на сервере блочил айпишники. Вопрос зачем Яндексу делать прямые заходы, создавая отказы по метрике?

Ну вы забанили какого нибудь проверочного бота на клоакинг например. Вы серьёзно руками отлавливали? Когда идет целенаправленное уничтожение сайта, в нем будет целая сетка айпи, которые вы никак по метрике не отсечете.

V9
На сайте с 25.08.2010
Offline
118
#7
Апокалипсис:
Ну вы забанили какого нибудь проверочного бота на клоакинг например. Вы серьёзно руками отлавливали? Когда идет целенаправленное уничтожение сайта, в нем будет целая сетка айпи, которые вы никак по метрике не отсечете.

Брал только самые часто повторяемые, банил сеть, в основном забугорные, спасибо за подсказку, буду осторожней.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий