Форум Поисковые системы Яндекс

Помогите, пожалуйста, разобраться с посещениями, согласно логов сервера.

Romanov Roman
На сайте с 21.06.2018
Offline
213
Romanov Roman
530

Я трижды извиняюсь за то, что создаю, возможно, похожую тему.
Очень хочется разобраться и пресечь ботовую активность.
По этой причине я создал топик под свой конкретный случай.

1. Буквально полчаса назад включил логи на сервере.

2. Первое, что бросилось в глаза, запросы следующего вида:

[u][10/Dec/2023:22:04:40 +0300] 0.000 0.028 301 37.18.73.85 site.ru GET /feed HTTP/1.1 "Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3" "-" 448

[u][10/Dec/2023:22:06:49 +0300] 0.118 0.163 301 37.18.73.85 site.ru GET /rss HTTP/1.1 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2" "http://site.ru/rss"

[u][10/Dec/2023:22:06:49 +0300] 0.162 0.187 200 37.18.73.85 site.ru GET /feed HTTP/1.1 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2" "https://site.ru/rss" 4631

[u][10/Dec/2023:22:09:49 +0300] 0.000 0.014 301 37.18.73.85 site.ru GET /wp-rss2.php HTTP/1.1 "Mozilla/5.0 (Windows NT 6.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36" "-" 462

[u][10/Dec/2023:22:17:55 +0300] 0.000 0.032 301 64.233.173.68 site.ru GET /wp-content/uploads/2012/03/image.gif HTTP/1.1 "Mozilla/5.0 (Windows NT 5.1; rv:11.0) Gecko Firefox/11.0 (via ggpht.com GoogleImageProxy)" "-" 550

3. Если я правильно понимаю, то с адреса 37.18.73.85 (таких одинаковых ip за 40 минут около 50) пытаются зайти на rss/feed/rss2 канал, ссылки на которые я удалил из исходного кода. Кто производит такие запросы? Как с ними бороться, подскажите, пожалуйста? Быть может надо полностью отключить rss/feed/atom с помощью функции?

4. С адреса 64.233.173.68, если я правильно понимаю, поступает запрос к папке с картинкой, которой физически не существует на сайте. Что следует делать в данной ситуации? Блокировать такого рода ip в .htaccess?

Заранее благодарен Вам за советы.

Я буду наполнять пост по мере возникновения новых вопросов...

Всем удачи в продвижении сайтов. Будьте здоровы и счастливы, а остальное - "приложится".
Romanov Roman
На сайте с 21.06.2018
Offline
213
Romanov Roman
#1

Быть может стоит использовать функцию переадресации на главную?

function fb_disable_feed() {
wp_redirect(get_option('siteurl'));//будет осуществляться редирект на главную страницу Вашего сайта
}
add_action('do_feed', 'fb_disable_feed', 1);
add_action('do_feed_rdf', 'fb_disable_feed', 1);
add_action('do_feed_rss', 'fb_disable_feed', 1);
add_action('do_feed_rss2', 'fb_disable_feed', 1);
add_action('do_feed_atom', 'fb_disable_feed', 1);
add_action('do_feed_rss2_comments', 'fb_disable_feed', 1);
add_action('do_feed_atom_comments', 'fb_disable_feed', 1);
remove_action( 'wp_head', 'feed_links_extra', 3 );
remove_action( 'wp_head', 'feed_links', 2 );
remove_action( 'wp_head', 'rsd_link' );
Romanov Roman
На сайте с 21.06.2018
Offline
213
Romanov Roman
#2

Или вот так:

RewriteEngine On

RewriteCond %{THE_REQUEST} feed [NC]
RewriteRule ^ - [L,R=404]
vashfreelancer
На сайте с 24.10.2023
Offline
35
vashfreelancer
#3

Айпи 37.18.73.85  принадлежит сервису cloud.ru - то есть там размещают сайты, ботов и так далее. Номер AS сети - 208677. Заходят скорее всего парсеры, которые берут или чекают информацию на Вашем сайте, посмотрите есть ли Ваш контент на чужих сайтах. Решение: заблокировать всю сеть  208677 через клауд (можно по номеру), или же через htaccess - ищите подсеть.

По второму айпи. Это может обращаться гугл, айпи из сети -  AS15169 - гугловский. и по логу, который вы скинули - скорее всего это сервис картинок гугла. Если обращений не много - я бы ничего не предпринимал.
А так вообще в клауде сделать правило типо (если это не хороший бот) и он содержит AS  15169 - то блокировка. И если это айпи не гугла - будет блок.

В клауде есть вариант пропуска или непропуска хороших ботов, как быть с .htaccess без понятия.


Защита сайта от ботов - накрутки ПФ, роботность, DDoS, Cloudflare ДДос - https://vashfreelancer.com
Помощь в фильтрации ботов VKRobotRB - что за Резкий всплеск прямых заходов.
Romanov Roman
На сайте с 21.06.2018
Offline
213
Romanov Roman
#4
vashfreelancer #:
Айпи 37.18.73.85  принадлежит сервису cloud.ru - то есть там размещают сайты, ботов и так далее. Номер AS сети - 208677.

Искренняя Вам благодарность!!!

С ip 37.18.73.85 ("Cloud Technologies" LLC trading as Cloud.ru) поступает достаточно много обращений. Логи хостинг формирует почасово. Так вот за час таких обращений может быть более 100.

Что касается другого типа злонамеренной активности, то всего на одну страницу поступает около 750 прямых заходов - отсюда: OJSC Rostelecom Macroregional Branch South.

1. Для начала, я стану блокировать ботов по именам, анализируя логи.  Keys-so-bot и другие.

2. Потом заблокирую (покамест частично) обращения к rss/feed/atom.

3. Буду блокировать ip (их не так много)  OJSC Rostelecom Macroregional Branch South. Если я не ошибаюсь, это в основном Краснодарские ip.

4. Очень много ботов Битерики. Можно заблочить сразу всю подсеть.

Странные переходы из всех Вопросы представителю Яндекса Конкуренты скручивают поведенческие факторы
Romanov Roman
На сайте с 21.06.2018
Offline
213
Romanov Roman
#5
GPTBot и VKRobotRB надо блокировать?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий