- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В логах обнаружил 404 ошибки при обращении бота гугла к картинкам, причем особенность такова, когда заходит бот по протоколу HTTP/1.1 то все в порядке, а вот по протоколу HTTP/1.0 уже 404, хотя картинки 100% существуют.
защит наверно каких-то наставили ?
Если это конечно VDS/сервер
На шареде это мог сделать хостер
стоит антибот от фокси, но он не распространяется на картинки, ибо бот гугла обращается напрямую в директорию обходя антибот.
Проверьте всё таки настройки веб сервера
Попробуйте сами обратиться к картинкам с user-agent google бота картинок и http1.1 http 1.0
CloudFlare используется ?
CloudFlare нет. Есть Gtranslate. Он работает по принципу проксирования, но и там не вижу проблем, так как бот обращается напрямую в директороию.
я совсем запутался. Оказалось в логи домена A иногда проскакивают записи логов домена B. Что за бред, никогда с таким не сталкивался.
Боты гугла никогда не лазят по протоколу HTTP/1.0, поэтому вероятно ваш антибот эти запросы и отбивает.
Вы хоть айпи то проверяли, которые ошибку получают или только на юзер агент смотрели?
если реф есть то его тоже указать, так если сделайте запрос как у бота гугла.
если реф есть то его тоже указать, так если сделайте запрос как у бота гугла.
* About to connect() to www.domain.com port 80 (#0)
* Trying 123.123.123.12... connected
* Connected to www.domain.com (123.123.123.12) port 80 (#0)
> HEAD /image/image.jpg HTTP/1.0
> User-Agent: google
> Host: www.domain.com
> Accept: */*
>
< HTTP/1.1 200 OK
HTTP/1.1 200 OK
< Server: nginx/1.12.2
Server: nginx/1.12.2
< Date: Thu, 11 Oct 2018 11:33:01 GMT
Date: Thu, 11 Oct 2018 11:33:01 GMT
< Content-Type: image/jpeg
Content-Type: image/jpeg
< Content-Length: 458344
Content-Length: 458344
< Last-Modified: Wed, 12 Apr 2017 00:52:30 GMT
Last-Modified: Wed, 12 Apr 2017 00:52:30 GMT
< Connection: close
Connection: close
< ETag: "58ed7a4e-6fe68"
ETag: "58ed7a4e-6fe68"
< Expires: Thu, 18 Oct 2018 11:33:01 GMT
Expires: Thu, 18 Oct 2018 11:33:01 GMT
< Cache-Control: max-age=604800
Cache-Control: max-age=604800
< Accept-Ranges: bytes
Accept-Ranges: bytes
Ip конечно же проверял, вот например строчка -
iccup, UA подставьте соответствующее
# curl -v -I --http1.0 --user-agent "Googlebot-Image/1.0" http://www.domain.com/picsup/image.jpg
Далее если тоже ответ будет 200 попробуйте остановить бекенд (apache или что у Вас там)
И ещё раз обратиться к картинке
Если ответа не будет (таймаут или ошибка), то далее нужно уже с фронтендом разбираться
Бывали такие случаи, вроде картинка лежит на сервере, но отдаётся зачем-то через php при "живом" то nginx
я делал так, код 200. Сейчас зашел в панлеь управления сервером а там показывает загрузку swap 99%. Может ли это быть причиной проблемы? И как его разгрузить? Сейчас перебрасываю некоторые файлы на другой диск, не знаю поможет ли.
Загрузка SWAP была временной, вероятно это связано было с отключением апач для эксперимента.
в логах различие только в коде ответа и ип?
какой конфиг nginx для этого виртуального хоста?