Конечно, парсят, столько страниц вручную невозможно скопировать.
Жалобу хостеру, конечно, отправила, но хостер открещивается, говорит, это не их клиент. Сайт дропа подключен к Cloudflare, ip не видно, но в истории dns показывает reg.ru
Парсят - значит постоянно показывают ваш контент, подключаясь к вашему ресурсу?
Или прогами (HTTrack Website Copier и подобные, их кстати можно блокировать как ботов на сервере) скопировали все, что можно к себе и подстроили под себя?
Нет никакого гемора, ботные сети целыми списками выложены. Занимает минуту скопировать и вставить. Основная куча ботов сразу отпадает, остаются единицы.
И все это без назойливых капч и всплывающих окон.
PS В панели хостинга timeweb давно висит объявление, что серверы активно дидосят. Можно ли прямые ботные заходы считать дидос атакой?
У меня Server: nginx
Через htaccess все прекрасно блокируется.
Хочется разобраться, для чего они это делают? Мой сайт спарсили около месяца назад, более 40 тысяч страниц, в том числе весь форум, не меняли ничего, логотипы, название - на месте, удалили мои счетчики, блоки РСЯ в коде есть, но реклама не отображается на том сайте.
Эти дропы могут навредить нашим сайтам, а для тех сайтов какая выгода?
А вы проверьте - они парсят или сайт скопировали? Я 2 недели с ботами борюсь и мониторю логи - там много интересного видно. Заодно увидел внутренние ненужные запросы и отключил их.
Если скопировали - 1 проблема.
Если парсят - заблокировать легко.
PS Скорее всего скопировали ((
timeweb - объявление в панели
Фиксируем масштабную DDoS-атаку на нашу инфраструктуру во всех локациях, что может вызвать временную сетевую недоступность ваших проектов. Мы активно работаем над защитой, чтобы минимизировать возможные проблемы в работе сервисов.
12 октября в период с 12 ночи до 6 утра по московскому времени мы будем проводить работы и на 1 час отключим сеть — для подключения гораздо более мощных маршрутизаторов в Москве и Санкт-Петербурге. Это поможет увеличить емкость каналов в 4 раза и снизить пинг.
Я через cf, вот это глянь
https://cliffe.ru/statyi/biterika_spam_resheniye/
Чел вроде всю их сетку собрал.
Я тоже у него список взял 225 строк.
Теперь хочу заблочить полностью racktech, 160 строк - начинают лезть.
Сегодня кучка ботов пытаются зайти на страницы товаров напрямую и получают ответ сервера 403.
2a0c:6903:ac82:cec2:ae8e:53e8:55ba:32cc
2a0b:d006:c249:af99:ac77:cc81:8808:d723
Блокируйте спамные сетки на прямые заходы, там будет не более 10 сеток. После этого спам с прямых заходов можно будет считать по пальцам.
Спамные сетки блокирую. Идет немного ботов (возможно живые бакланы) по ipv4 с нормальных провадеров интернета, естественно такие блокировать не стоит. Пускай напрягаются.
Блокировка "ботных сеток" это первая ступень для "чайников", решает только проблему лишней нагрузки на сервер.
Отвечаешь как ИИ. Я их блокирнул и их больше нет для меня.
Идут нормальные люди с поиска.
На твои реплики никто не ведется (могу ошибаться).
У меня такая же ситуация. Боты откуда то взяли статистику посещения старой страницы сайта и лупят запросами со старым контентом, по несколько раз в сутки , как будто это сегодня актуально. А вот клиентов с этой страницы ноль в год.
Похоже у вас цель - засорить тему блокировки долбанных ботных сетей.
Сами поняли, что написали?
