Грабят сайт, как обнаружить работу парсера?

wget в руки и выкачаю за 3-и дня 🍿

С картинками, со скриптами, с css и т.п.

А потом ДОМА запущу скрипт и он вытянет со скаченного сайта все данные в БД мне.

Весит сайт будет ну ГБ 50 и ч0?

ТЕОРЕТИНГ ВЫ

Я обхожу любую защиту, кроме паспортной 😂

Хоть пусть у вас будет на сессиях и куках и единоразовых ключах. Единственное, что сильно тормозит, это прогрузка контента через ajax в зашифрованном виде, когда просто лень разбираться, а быстрее найти аналог :)

Поставь защиту от радиректа картинок, и пропиши скрытым текстом ссылку на свой сайт.

Или как вариант кинь пару новостей с содержимым порно, секс и тд.. Сразу же как парсеры скушают новости удаляй (думаю если парсеры настроены, то практически за сайтами никто и не смотрит), за такие новости их явно в выдаче опустят.

Какой ещё редирект? Картинки выкачиваются на локалку.

Все тэги убираются с текста.

Значит налаживать рандомно водный знак на картинке, ну если теги чистятся, то остается вариант засрать им сайт нехорошим контентом.

ТС какой у вас движок если не секрет?

Не налаживать, а разместить. НО, кому он мешает? 🍿

Я уже выше писала что ватерзнак разместила, но походу это не кого не смущает...

А двиг мне сделали по заказу, как бы по фукционалу аналогов нету.

По совету одного участника этого форума, поставила отличный скрипт. Принцип довольно прост, скрипт отслеживает количество запросов с одного IP, если запросов слишком много за единицу времени, то такой IP заноситься в .htaccess с формулировкой deny from... и на мой емаил высылает оповещение что заблокирован такой то IP и выборка с логов его действий на сайте...

Оповещения посыпались пачками где то с 22 до 5 часов, большей частью украинские и московские ДЦ, правда попадаются и простые пользователи, их пришлось вытаскивать с бана.

Вообщем всё оказалось даже хуже чем я думала :(

Это ВЕЧНО будете так их вытаскивать, а это значит больше нужно следить за проектом.

Кстати, а вы про поисковых роботов не забыли а? Они то с такой скоростью шуршать, дай боже :)

Боты ПС игнорятся скриптом,в нём заложены все IP крупных ПС, а другие меня не интересуют :)

Кроме того в файле robots.txt прописано User-Agent: * Crawl-delay: 3

Если открывать страницы с интервалом в 3 сек ( это настраиваемый параметр) то не каких санкций не последует. Да и сам скрипт не даёт открыть страницы чаще чем я велела :) Для особо настырных выдаётся капча для проверки, пока не введёшь код, не увидишь больше не одной страницы... Нагрузка на сервере сразу заметно упала!

veronica45, ох ещё и выльется вам эта "защита" :)

Это типа говно хвалится тем какое оно говно?