Поймите, готового рецепта нет. Это всё зависит от настроек вашего веб-сервера, ос и т.п. Наймите разово админа, для такой задачи работы немного.
Спасибо большое, надо попытаться хотя бы усложнить задачу парсинга.
Для начала проанализируйте частотность запросов per IP, выделите тех, кто обращается к динамике сайта чаще N запросов в час/минуту.
Спасибо, как это можно сделать?
Также бывает, что страницы не парсятся, а просто используется реверс-прокси, то есть сайт-паразит просто транслирует контент с сайта донора, даже без хранения его у себя. В таком случае достаточно просто в режиме tail-инга отследить запрос в логе.
В моем случае сайт именно парсится, а не отображается на чужом домене. Заменяются некоторые ссылки, рекламные блоки. Страниц на сайте более 50 тысяч, то есть парсят огромное количество, как можно это отследить?
ищите откуда идёт парсинг (пул адресов, user-агенты и т.п.).
Как найти, откуда идет парсинг?
Вполне ожидаемо, после блокировки того аккаунта мой сайт "переехал" на новый домен и к новому хостеру, на этот раз zomro.
Серверы находятся в Нидерландах и тут уже с жалобами наверняка всё сложнее (если это вообще не абузоустойчивый хостинг).
От парсинга они не спасут.
Ну так это совсем другое дело, а не просто на словах, как говорилось ранее. Нормальный подход хостера.
Ранее говорили о регистрации авторских прав. Здесь в качестве доказательства авторства использовались исходники, договоры, переписка.
Никто из владельцев сайтов не регистрирует прав и ни один суд не вынесет решение просто со слов "это мое".
Со слов ни один хостер ничего не сделает. Из юридического отдела хостинга мне прислали большой список, по которым можно предоставить доказательства авторства (договор на разработку, логотипы, исходники, переписка с исполнителями). Ко всему еще приложила ссылки на вебархив. Мой сайт как был 15 лет под одним названием, концепцией, схожим логотипом, так и остался. А тут сайт магазина автозапчастей три месяца назад размещает у себя спарсенный сайт на совершенно другую тематику.
Да, и после получения доказательств хостер "выделил владельцу сайта срок на предоставление подтверждений правомерности использования заявленного спорного контента либо его самостоятельное удаление".
Конечно, можно спарсенные сайты размещать на абузоустойчивых хостингах. Но и тут стоит бороться за свои сайты.
Ну значит наделяет.
Вы правы, только что пришло письмо от хостера:
В ответ на Ваше обращение сообщаем, что в отношении указанного в претензии сайта было принято решение о блокировке (во вложении).
Если сайт клон, то есть весь контент подчистую слизан с другого сайта, легко банят сразу же. Они же даже картинки с названием и адресом сайта тырят.
Не банят уже больше месяца, как ответил хостер после получения моих доказательств об авторстве, они "дали время владельцу того сайта предоставить такие же доказательства". Разумеется, они их не получат, но полностью скопированный сайт продолжает работать. На всех фотографиях логотип с названием сайта (и домена).
