Как задать мин время для перехода по страницам сайта для всех, кроме ПС ботов?

12
E
На сайте с 22.08.2019
Offline
24
372

Приветствую.

Возникла такая проблема:

В определенной тематике завелся грязный дорвейщик, использующий пандору. Что он делает: бот проходится по сайтам из ТОПа определенных запросов и берет с каждого из них по одному предложению текста. Затем Собранные предложения с разных сайтов перемешивает и текстовыми блоками вставляет на страницы своих доров. Далее просто делает прогон доров по большой базе. В итоге сайты-доноры понижаются в позициях, как имеющие неуникальный контент. А его доры лезут в топ целыми пачками.

Защититься от этого воровства контента невозможно как ни крути - это понятно. Но думаю, можно затупить данного бота немного.

Обнаружил присутствие такого бота на своем сайте. Бот быстро открывал все страницы сайта поочередно, задерживаясь на них по минуте примерно.

Вопрос в следующем:

Как сделать так, чтобы с одного IP можно было ПАРАЛЛЕЛЬНО открывать страницы сайта с интервалом НЕ МЕНЕЕ к примеру 10 секунд? А если попытаться открыть быстрее, то будет выдаваться страница с определенным сообщением (без всяких редиректов через сколько то секунд, а просто с текстовым сообщением типа "Вы передвигаетесь по сайту слишком быстро. Попробуйте открывать страницу через 10 секунд"). И чтобы это условие работало для всех, кроме поисковых ботов.

В этом случае РЕАЛЬНЫЙ посетитель прочитает сообщение и не уйдет с сайта, а откроет страницу через 10 сек. А этот дорный бот просто зайдет в тупик (в страницу с сообщением) при каждой попытке открыть новую страницу. И в итоге сможет собрать контент только с главной страницы сайта.

Думаю это единственный способ защититься от такого бота.

Вот как бы это реализовать? Кто-нибудь поможет?

X
На сайте с 17.02.2006
Offline
139
#1
Eluga:

Думаю это единственный способ защититься от такого бота.

Думаю, Антибот Вам в помощь.

E
На сайте с 22.08.2019
Offline
24
#2
xales:
Думаю, Антибот Вам в помощь.

Можно подробней?

J8
На сайте с 06.03.2016
Offline
149
#3

Программировать вручную, или поставить Cloudflare. Там Firewall -> Tools -> Rate Limiting. Но это денег стоит, так что если проект не коммерческий, проще самому запрограммировать правило для сайта.

E
На сайте с 22.08.2019
Offline
24
#4
xales:
Думаю, Антибот Вам в помощь.

Нет, антибот тут явно не поможет.

---------- Добавлено 12.03.2020 в 16:52 ----------

jsmith820:
Программировать вручную, или поставить Cloudflare. Там Firewall -> Tools -> Rate Limiting. Но это денег стоит, так что если проект не коммерческий, проще самому запрограммировать правило для сайта.

Вот собственно я и думал, что кто-то подскажет, как реализовать это.

А Вы говорите такое есть в клоде? Прям именно то, что я описал? Если да, то думаю, купить платный клод-тариф - не проблема. А оно не будет проделывать то же самое с поисковыми ботами? Иначе это негативно скажется на индексе в итоге.

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#5

Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
Mik Foxi
На сайте с 02.03.2011
Offline
1076
#6

Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#7

Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#8

Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#9

вот серч переглючило

E
На сайте с 22.08.2019
Offline
24
#10
foxi:
Eluga, антиботов много всяких бывает. клаудфлар немного не тот антибот, он больше антиддос.

А вообще почитал про антибота. Может и подойдет. А может и клодовская функция подойдет. А если нет, то буду заказывать кодинг. Спасибо.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий