Как избавиться от «умного»*клона сайта

K
На сайте с 10.01.2015
Offline
110
#11
smurf:
Немного уточню, сталкивался с таким на бурж-клиент сайтах. Залить зоо- и на время закрыть от индексации ботам ПС (гугл, яндекс), что бы не проиндексировалось, и так несколько раз, эффект 100%, вылет "зеркала" в бан очень быстрый.

А если просто сделать переадресацию, эффекта не будет?

ranking factor
На сайте с 01.12.2017
Offline
175
#12
Kepus:
А если просто сделать переадресацию, эффекта не будет?

если постоянно меняется IP, как будете переадресовывать новые, это надо постоянно мониторить и тут же редирект ставить....не реально, тем паче там скорей всего каждый заход новый IP. Нам помог только этот вариант, была проблема с 4-мя сайтами, сейчас никто не парсит, а те зеркальщики пропали безвозвратно.

samimages
На сайте с 31.05.2009
Offline
427
#13

Stek, тут больше вопрос цели, на ситуацию ТС это не очень похоже. Там скорее всего обычный скрипт, даже без заголовков.

Опыт как иммунитет — приобретается в муках! Аудит семантики от 15К [долго] - ЛС
S
На сайте с 23.05.2004
Offline
315
#14
samimages:
Там скорее всего обычный скрипт, даже без заголовков.

Да без разницы. Просто люблю дорвейщиков удивлять :)

Это просто подпись.
-S
На сайте с 10.12.2006
Offline
1354
#15
Stek:
Да без разницы. Просто люблю дорвейщиков удивлять :)

А тех, кто парсит разово - как удивите? :)

S
На сайте с 23.05.2004
Offline
315
#16
-= Serafim =-:
А тех, кто парсит разово - как удивите?

Увы. Знал бы прикуп, жил бы в Майами :)

Ninoi
На сайте с 03.08.2017
Offline
186
#17
Stek:
Увы. Знал бы прикуп, жил бы в Майами :)

Под мостом. :)

Кто разово парсит - это уже уровень копипастеров, они сами вымрут.

Mik Foxi
На сайте с 02.03.2011
Offline
1212
#18

если на клоне зайти на произвольный урл, которого раньше точно не существовало, то проверьте будет ли к вашему серверу запрос. Если да, то это вообще легко вычислять его.

Если он просто морду смотрит и парсером парсит ссылки, тогда надо более грамотно его отлавливать, но не банить а подсовывать ссылки на статьи с чернухой, а дальше стучать хостеру, РКН и т.п. про запрещенный контент.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
Sergio Suares
На сайте с 21.05.2017
Offline
104
#19

А что, если попробовать это - https://botguard.net

Все левые боты сразу идут лесом. Я пользуюсь, поскольку в серверных делах - полный нуб.

[Удален]
#20
foxi:
если на клоне зайти на произвольный урл, которого раньше точно не существовало, то проверьте будет ли к вашему серверу запрос. Если да, то это вообще легко вычислять его.

Да неужели? Если там здоровый список прокси? Между прочим, которыми пользуются юзеры?

foxi:
Если он просто морду смотрит и парсером парсит ссылки, тогда надо более грамотно его отлавливать, но не банить а подсовывать ссылки на статьи с чернухой, а дальше стучать хостеру, РКН и т.п. про запрещенный контент.

Вот вы фантазер. Там стоит что-то типа масссайтпрокси - и все делается на лету. А уж про если парсит морду и т.д. - то он это сделает очень быстро, и закеширует, и там хоть обподсовывайся.

Sergio Suares:
А что, если попробовать это - https://botguard.net

Это говно уже обсуждали, например /ru/forum/1003536

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий