Сервер отдает 404 для Googlebot-Image/1.0 HTTP/1.0

12
I
На сайте с 01.05.2016
Offline
102
1129

В логах обнаружил 404 ошибки при обращении бота гугла к картинкам, причем особенность такова, когда заходит бот по протоколу HTTP/1.1 то все в порядке, а вот по протоколу HTTP/1.0 уже 404, хотя картинки 100% существуют.

kimsufi.com (https://www.kimsufi.com) очень дешевые и качественные дедики
M
На сайте с 17.09.2016
Offline
87
#1

защит наверно каких-то наставили ?

Если это конечно VDS/сервер

На шареде это мог сделать хостер

I
На сайте с 01.05.2016
Offline
102
#2

стоит антибот от фокси, но он не распространяется на картинки, ибо бот гугла обращается напрямую в директорию обходя антибот.

M
На сайте с 17.09.2016
Offline
87
#3

Проверьте всё таки настройки веб сервера

Попробуйте сами обратиться к картинкам с user-agent google бота картинок и http1.1 http 1.0

CloudFlare используется ?

I
На сайте с 01.05.2016
Offline
102
#4

CloudFlare нет. Есть Gtranslate. Он работает по принципу проксирования, но и там не вижу проблем, так как бот обращается напрямую в директороию.

я совсем запутался. Оказалось в логи домена A иногда проскакивают записи логов домена B. Что за бред, никогда с таким не сталкивался.

D
На сайте с 28.06.2008
Offline
976
#5

Боты гугла никогда не лазят по протоколу HTTP/1.0, поэтому вероятно ваш антибот эти запросы и отбивает.

Вы хоть айпи то проверяли, которые ошибку получают или только на юзер агент смотрели?

coolwebsearcher
На сайте с 29.09.2008
Offline
86
#6


curl -v -I --http1.0 --user-agent "google" https://site/картинка

если реф есть то его тоже указать, так если сделайте запрос как у бота гугла.

Услуги (http://www.our-dns.info/) | Цены (http://www.our-dns.info/prices/) | Отзывы (/ru/forum/970789)
I
На сайте с 01.05.2016
Offline
102
#7
coolwebsearcher:

curl -v -I --http1.0 --user-agent "google" https://site/картинка


если реф есть то его тоже указать, так если сделайте запрос как у бота гугла.
[root@ns000111 ~]# curl -v -I --http1.0 --user-agent "google" http://www.domain.com/picsup/image.jpg
* About to connect() to www.domain.com port 80 (#0)
* Trying 123.123.123.12... connected
* Connected to www.domain.com (123.123.123.12) port 80 (#0)
> HEAD /image/image.jpg HTTP/1.0
> User-Agent: google
> Host: www.domain.com
> Accept: */*
>
< HTTP/1.1 200 OK
HTTP/1.1 200 OK
< Server: nginx/1.12.2
Server: nginx/1.12.2
< Date: Thu, 11 Oct 2018 11:33:01 GMT
Date: Thu, 11 Oct 2018 11:33:01 GMT
< Content-Type: image/jpeg
Content-Type: image/jpeg
< Content-Length: 458344
Content-Length: 458344
< Last-Modified: Wed, 12 Apr 2017 00:52:30 GMT
Last-Modified: Wed, 12 Apr 2017 00:52:30 GMT
< Connection: close
Connection: close
< ETag: "58ed7a4e-6fe68"
ETag: "58ed7a4e-6fe68"
< Expires: Thu, 18 Oct 2018 11:33:01 GMT
Expires: Thu, 18 Oct 2018 11:33:01 GMT
< Cache-Control: max-age=604800
Cache-Control: max-age=604800
< Accept-Ranges: bytes
Accept-Ranges: bytes

Ip конечно же проверял, вот например строчка -

66.249.64.87 - - [11/Oct/2018:03:35:37 +0300] "GET /images/image.jpg HTTP/1.0" 404 308 "-" "Googlebot-Image/1.0"
M
На сайте с 17.09.2016
Offline
87
#8

iccup, UA подставьте соответствующее

# curl -v -I --http1.0 --user-agent "Googlebot-Image/1.0" http://www.domain.com/picsup/image.jpg

Далее если тоже ответ будет 200 попробуйте остановить бекенд (apache или что у Вас там)

И ещё раз обратиться к картинке

Если ответа не будет (таймаут или ошибка), то далее нужно уже с фронтендом разбираться

Бывали такие случаи, вроде картинка лежит на сервере, но отдаётся зачем-то через php при "живом" то nginx

I
На сайте с 01.05.2016
Offline
102
#9

я делал так, код 200. Сейчас зашел в панлеь управления сервером а там показывает загрузку swap 99%. Может ли это быть причиной проблемы? И как его разгрузить? Сейчас перебрасываю некоторые файлы на другой диск, не знаю поможет ли.

Загрузка SWAP была временной, вероятно это связано было с отключением апач для эксперимента.

coolwebsearcher
На сайте с 29.09.2008
Offline
86
#10

в логах различие только в коде ответа и ип?

какой конфиг nginx для этого виртуального хоста?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий