sveta.online как заблокировать?

12
2089

Подскажите, кто знает, как заблокировать бота sveta.online? Есть возможность только через robots.txt корректировать, но Disallow не помогает. Гонит таких же ботов на сайт и с каждым днем все больше.

PA 52
#1

А диапазон айпи забанить не вариант?

Почти дедик (https://goo.gl/qV1T7s) дешево|Мои VDS (https://is.gd/vds100) быстрее твоих|Продаю хостинг
Avatar 868
#2

Забанить по рефереру или как он там у вас в статистике палится.

Антибот защита для сайта (https://antibot.cloud/ru.html#searchengines) (защита от кражи контента и спама) | ВебМастерские микроблоги (https://wmsn.biz/#searchengines) | Фокси SEO форум (https://foxi.biz/#searchengines)
Avatar 396
#3

LeonoraH, юзер-агент кстати там какой?

Домены от $0.59! (https://regway.com) 500+ доменных зон, 20+ способов оплаты и 10 лет стабильной работы Регистрация и продление доменов .RU и .РФ от 150 ₽! (/ru/forum/377815) Доступен реселлинг и API!
Avatar 72
#4
LeonoraH:
Подскажите, кто знает, как заблокировать бота sveta.online? Есть возможность только через robots.txt корректировать, но Disallow не помогает. Гонит таких же ботов на сайт и с каждым днем все больше.

Просто заблокируйте через user-agent, в логах его отчетливо видно: svetabot

Пример из логов:

[02/04/2020:00:32:51 +0300] "GET / HTTP/1.1" 403 285 "-" "Mozilla/5.0 (compatible; svetabot/1.0; +http://svetabot.online/index.php" 16087 13333:0

Регистрация/продление доменов .RU и .РФ по 170 рублей. (https://domenland.ru/?utm_source=searchengines&utm_medium=podpis_tdsko&utm_campaign=refer) Кредитная карта ТИНЬКОФФ - до 300 000 руб. без справок и визита в банк (https://dragoweb.ru/r/?tinkoff) VPS/VDS с бесплатной поддержкой и низкими ценами! (https://dragoweb.ru/r/?vdska)
S 15
#5

Зачем таких ботов блокируют? Никогда подобным не занимался. Ну заходит на сайт - и пусть себе заходит. Какой смысл таких блокировок?

Хостинг от 119р в месяц | VPS от 170р в месяц |Быстрая поддержка (https://fas.st/Ha9Wc)
Avatar 349
#6
Semiure:
Зачем таких ботов блокируют? Никогда подобным не занимался. Ну заходит на сайт - и пусть себе заходит. Какой смысл таких блокировок?

может он сайт ложит

Сайты на WordPress тут просто летают! (https://vk.cc/atAGUU)
Avatar 868
#7
Semiure:
Зачем таких ботов блокируют? Никогда подобным не занимался. Ну заходит на сайт - и пусть себе заходит. Какой смысл таких блокировок?

Потому что именно боты в большинстве случаев грузят сервер. Когда проблема: "у меня вордпресс тормозит, хостер с сервера гонит, а у меня всего 10 человек в день" - проблема часто в том, что такие псевдо-поисковики, ахрефсы, маджестики и прочая не нужная сайту срань делает большинство запросов, создавая нагрузку.

-S 1180
#8
foxi:
Потому что именно боты в большинстве случаев грузят сервер. Когда проблема: "у меня вордпресс тормозит, хостер с сервера гонит, а у меня всего 10 человек в день" - проблема часто в том, что такие псевдо-поисковики, ахрефсы, маджестики и прочая не нужная сайту срань делает большинство запросов, создавая нагрузку.

Бинг, ahrefs и mail.ru надо смело в блок сразу. Нереальное число запросов делают.

Avatar 349
#9
foxi:
Потому что именно боты в большинстве случаев грузят сервер. Когда проблема: "у меня вордпресс тормозит, хостер с сервера гонит, а у меня всего 10 человек в день" - проблема часто в том, что такие псевдо-поисковики, ахрефсы, маджестики и прочая не нужная сайту срань делает большинство запросов, создавая нагрузку.

Особенно делая это грубо и неуклюжа. Если б они парсили себе аккуратно, то никто и слова бы им не сказал, а то придёт такой горе бот и давай по 100 запросов в секунду делать. Причём ломится по несуществующим адресам, налетая на 404 ошибку, которую достаточно сложно закешировать.

Avatar 868
#10

Пример сайта, на 3,2к запросов людей и 1,2к белых ботов (гугл, яндекс, мейл, бинг) больше 6к запросов (failed+blocked) говноботов. Это при том что говноботы стопаются и не видят 100500 ссылок по сайту, по которым бы они пошли, если их не остановить.

И многие прикидываются гуглом, это самые любители влупить кучу потоков без задержек:

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий