- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите, кто знает, как заблокировать бота sveta.online? Есть возможность только через robots.txt корректировать, но Disallow не помогает. Гонит таких же ботов на сайт и с каждым днем все больше.
А диапазон айпи забанить не вариант?
Забанить по рефереру или как он там у вас в статистике палится.
LeonoraH, юзер-агент кстати там какой?
Подскажите, кто знает, как заблокировать бота sveta.online? Есть возможность только через robots.txt корректировать, но Disallow не помогает. Гонит таких же ботов на сайт и с каждым днем все больше.
Просто заблокируйте через user-agent, в логах его отчетливо видно: svetabot
Пример из логов:
[02/04/2020:00:32:51 +0300] "GET / HTTP/1.1" 403 285 "-" "Mozilla/5.0 (compatible; svetabot/1.0; +http://svetabot.online/index.php" 16087 13333:0
Зачем таких ботов блокируют? Никогда подобным не занимался. Ну заходит на сайт - и пусть себе заходит. Какой смысл таких блокировок?
Зачем таких ботов блокируют? Никогда подобным не занимался. Ну заходит на сайт - и пусть себе заходит. Какой смысл таких блокировок?
может он сайт ложит
Зачем таких ботов блокируют? Никогда подобным не занимался. Ну заходит на сайт - и пусть себе заходит. Какой смысл таких блокировок?
Потому что именно боты в большинстве случаев грузят сервер. Когда проблема: "у меня вордпресс тормозит, хостер с сервера гонит, а у меня всего 10 человек в день" - проблема часто в том, что такие псевдо-поисковики, ахрефсы, маджестики и прочая не нужная сайту срань делает большинство запросов, создавая нагрузку.
Потому что именно боты в большинстве случаев грузят сервер. Когда проблема: "у меня вордпресс тормозит, хостер с сервера гонит, а у меня всего 10 человек в день" - проблема часто в том, что такие псевдо-поисковики, ахрефсы, маджестики и прочая не нужная сайту срань делает большинство запросов, создавая нагрузку.
Бинг, ahrefs и mail.ru надо смело в блок сразу. Нереальное число запросов делают.
Потому что именно боты в большинстве случаев грузят сервер. Когда проблема: "у меня вордпресс тормозит, хостер с сервера гонит, а у меня всего 10 человек в день" - проблема часто в том, что такие псевдо-поисковики, ахрефсы, маджестики и прочая не нужная сайту срань делает большинство запросов, создавая нагрузку.
Особенно делая это грубо и неуклюжа. Если б они парсили себе аккуратно, то никто и слова бы им не сказал, а то придёт такой горе бот и давай по 100 запросов в секунду делать. Причём ломится по несуществующим адресам, налетая на 404 ошибку, которую достаточно сложно закешировать.
Пример сайта, на 3,2к запросов людей и 1,2к белых ботов (гугл, яндекс, мейл, бинг) больше 6к запросов (failed+blocked) говноботов. Это при том что говноботы стопаются и не видят 100500 ссылок по сайту, по которым бы они пошли, если их не остановить.
И многие прикидываются гуглом, это самые любители влупить кучу потоков без задержек: