- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Посмотрите запросы, может палится по заголовкам?
Ну и как уже отметили выше, стоит попробовать cloudflare.
стоит попробовать cloudflare
Он поможет от новичков.
Он поможет от новичков.
Он как минимум усложнит парсинг через выходные ноды тора.
Он поможет от новичков.
Для начала надо попробовать. Если не поможет - искать другие решение. Благо подключить cloudflare - дело нехитрое.
Если вы имеет ввиду использовать CloudFlare, при котором 5 секунд перед входом на сайте будет происходить определение на бота, то это не вариант. Я так пробовал делать, и проблема вроде бы решается, но около 30% посетителей сайта покидают его из-за этого ожидания, так что это не вариант для меня.
Если вы имеет ввиду использовать CloudFlare, при котором 5 секунд перед входом на сайте будет происходить определение на бота, то это не вариант.
Тогда пилить что-то свое.
Судя по https://metrics.torproject.org/relayflags.html, тут практически полный список адресов всех экзит-нод, а дальше дело техники.
Обнаружил на просторах интернета клон своего сайта, который добавлен в Yandex, Google и, возможно, еще какие-то поисковые системы.
Он подключен к CloudFlare, поэтому его реальный IP-адрес узнать невозможно. Сложность в том, что он проверяет мой сайт автоматически каждую минут на предмет обновлений на главной и, если они есть, она обновляется. Все запросы автоматически идут к моему сайту. Если таким образом вычислить IP, а затем заблокировать его, он автоматически сменится на другой в течение двух минут. Судя по всему, основной хостинг сайта подключен к Tor (все IP-адреса принадлежат ему), что позволяет ему моментально менять IP-адрес.
Я пробовал блокировать все IP-адреса Tor, и это помогает, но они обновляются постоянно, поэтому уже спустя пару часов сайт-клон вновь начал работать. Даже если сайт уже заблокирован, он показывает всем посетителям уже закешированные страницы через CloudFlare, в чем заключается основная сложность. Выходит, что клону нужно всего на 1 минуту заработать, чтобы украсть с моего сайта весь контент, добавленный туда за время блокировки клона.
Я писал в CloudFlare, где мне дали название хостинга сайта. Хостер на жалобу принимать никаких мер не стал (он где-то за рубежом). Регистратор доменных имен помочь тоже ничем не может. Связаться с админом домена никак нельзя – почты нигде нет, как и любых других данных. Как можно избавиться от этого «умного» клона сайта? Может кто-то сталкивался с таким?
Те IP, что вы привели, в большинстве принадлежат хостерам, только одна TOR-сеть. Всех в бан (сети целиком).
Сразу после размещения новой страницы на своем сайте и прогона ее через соц. сети и т.д. посмотрите лог-файл - кто заходил на новую страницу. Если сеть хостера - всю сеть в бан (зашел не человек). Постепенно отсеете всю дрянь.
Вот скрипт бана IP подсетей всех крупных хостеров мира - должно помочь
/ru/forum/958253
Если не при каждом заходе юзера он дергает ваш сайт каждый раз (через Тор это будет долго), то
1. отключить кеширование, чтобы каждому юзеру отдавались разные копии
2. брать юзерагент и другие параметры, которые JS может посмотреть на клиенте. Пусть будет юзерагент, можно добавить, например, час запроса (по гринвичу какому нить)
3. брать хеш от него и вставлять на каждую страницу JS, в котором в явном виде прописан этот хеш
4. JS на клиенте проверяет юзерагент, берет от него хеш и сравнивает с прописанным значением, если совпадает - ок, если не совпадает - редиректит на ваш основной домен например, или не кажет контент, или по-другому вредит.
5. профит
Хотя, конечно, если клон спецом под ваш написан, он такой скрипт может вырезать, либо придется хитро зашивать его в остальные рабочие скрипты