YandexMetrika/2.0 и HTTP/1.1

Altevsk
На сайте с 03.10.2010
Offline
117
1420

Обнаружил в логах сервера туеву хучу запросов бота YandexMetrika/2.0 к главной странице. Причем сначала бот бьется к главной по HTTP/1.1, получает редирект и тут же заходит уже успешно по HTTP/1.0:

"GET / HTTP/1.1" 301 173 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)"

"GET / HTTP/1.0" 200 56486 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)"


Итого 2 запроса на ровном месте, когда было бы достаточно 1. Так и не понял его логики. Все боты Яндекса у меня в белом листе, по версиям HTTP тоже ограничений нет. Нагрузка на сервер пока не критическая, но как бы не совсем понятно, зачем всё это. Может кто-нибудь объяснит?


How can I add a site to search? - Webmaster. Help
  • yandex.com
Site pages appear in search results after the Yandex visit the site. For the robots to crawl and load pages: Step 1. Make site pages visible to the robot There are several ways to inform the Yandex robot about changes on the site: Method Automation Recommendations Generate and update the file. This will allow you to send information about all...
⛅ Настроение + (https://ttttt.me/nastroenie_plus)
Бахин
На сайте с 26.05.2017
Offline
76
#1
altevsk :

Обнаружил в логах сервера туеву хучу запросов бота YandexMetrika/2.0 к главной странице. Причем сначала бот бьется к главной по HTTP/1.1, получает редирект и тут же заходит уже успешно по HTTP/1.0:

"GET / HTTP/1.1" 301 173 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)"

"GET / HTTP/1.0" 200 56486 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)"


Итого 2 запроса на ровном месте, когда было бы достаточно 1. Так и не понял его логики. Все боты Яндекса у меня в белом листе, по версиям HTTP тоже ограничений нет. Нагрузка на сервер пока не критическая, но как бы не совсем понятно, зачем всё это. Может кто-нибудь объяснит?


боты яндекса не ходят по HTTP/1.0 - Вы уверены, что это он? Покажите с каких ip заходил

P.S. В белом листе по user agent?

Думай о будущем, но не забывай, что этот день может стать последним!
-S
На сайте с 10.12.2006
Offline
1355
#2
altevsk :
Так и не понял его логики. Все боты Яндекса у меня в белом листе

Логика в том, что многие парсеры и краулеры маскируются под ботов яндекса, гугла и тд по юзерагенту, его можно указать любой. Нужно добавлять в вайтлист именно подсети яндекса и гугла, а не юзер агенты, а остальных блочить по ненужным странам и подсетям хостеров.

Altevsk
На сайте с 03.10.2010
Offline
117
#3
bahinnn #:

боты яндекса не ходят по HTTP/1.0 - Вы уверены, что это он? Покажите с каких ip заходил

P.S. В белом листе по user agent?

Возможно, Вы правы.

Сайт на CloudFlare, поэтому в логах айпишники CF, сразу не поймешь, нормальный это бот или прикидывается.

А так у меня в глобальном белом листе сети Яндекса  AS13238 и  AS208722.

В правилах добавлено Allow для user agent Yandex, хотя он вроде и так в Known Bots присутствует.

LEOnidUKG
На сайте с 25.11.2006
Offline
1749
#4
Сайт на CloudFlare, поэтому в логах айпишники CF, сразу не поймешь, нормальный это бот или прикидывается.
Ну так сделайте настройку сервера, чтобы видеть IP нормальный.
✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Altevsk
На сайте с 03.10.2010
Offline
117
#5

Ну так сделайте настройку сервера, чтобы видеть IP нормальный.

Попытался, но, видимо, не хватает прав. У меня обычный хостинг на регру, доступа к настройкам сервера нет. И в админке ISPmanager что-то ничего не нашел.

Как это можно реализовать без доступа к серверу?

Altevsk
На сайте с 03.10.2010
Offline
117
#6
altevsk #:

Попытался, но, видимо, не хватает прав. У меня обычный хостинг на регру, доступа к настройкам сервера нет. И в админке ISPmanager что-то ничего не нашел.

Как это можно реализовать без доступа к серверу?

Нашел решение. Для WordPress в файл wp-config.php добавил строчки:

/** Pass Client/Visitor Real IP Address From Cloudflare Side **/
if(array_key_exists('HTTP_CF_CONNECTING_IP', $_SERVER)){
$_SERVER['REMOTE_ADDR'] = $_SERVER['HTTP_CF_CONNECTING_IP'];
}

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий