Клон сайта

R
На сайте с 13.03.2013
Offline
28
1018

Здравствуйте! Всех с наступающим НГ! Может кто нибудь помочь запретить парсинг с вредоносного сайта redo.me.uk/8nigb/mysite.ru , где mysite.ru - мой сайт. Пробовал в htaccess:

RewriteEngine On

RewriteCond %{HTTP_REFERER} ^http://www\.redo.me.uk\.(.*) [NC]

RewriteRule .* - [F]

RewriteEngine on

RewriteCond %{HTTP_REFERER} ^http://www\.redo.me.uk\.(.*) [NC]

RewriteRule ^/$ http:///mysite.ru

RewriteEngine on

RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?redo.me.uk.*$ [NC]

RewriteRule .* - [F,L]

<Limit GET POST>

order allow,deny

allow from all

deny from 185.119.173.69

</Limit>

<Limit GET POST>

order allow,deny

allow from all

deny from 185.119.172.0/22

</Limit>

order allow,deny

allow from all

deny from 185.119.172.0 - 185.119.175.255

После блокировки по домену, не показываются часть картинок с определенным расширением и некоторые js скрипты, но главное текст парсится и может вызвать дублирование контента в яндексе. Вредоносного сайта нет в поиске гугла, но есть в яндексе ТИЦ 20 и сохраняется в веб архиве. Из гугла: вредоносный сайт парсит многие сайты, создает нагрузку на хостинги, снижает позции дублированием контента, относится к зоне United Kingdom, но парсит сайты RU. Сайт работает подобно анонимайзеру, что еще можно сделать для полного запрета.

R
На сайте с 13.03.2013
Offline
28
#1

Добавление к своей теме - Если в поиске набрать redo.me.uk/8nigb - отображаются многие сайты с ссылками на этот адрес, открыв исходный HTML код страницы такого сайта и выполнив поиск по HTML, можно увидеть некоторые фото с ссылками на этот сайт, но не все. Спрашивается - зачем владельцу сайта ставить избранные исходящие ссылки на чужой домен, если остальные фото идут с его родного хостинга. Может быть это еще и вирус, тогда как он попадает на сайты?

R
На сайте с 13.03.2013
Offline
28
#2

Тему можно закрыть, подсказали на другом форуме блокировать нужно не по IP хоста, а искать его бота в логах, если кому надо блокируйте 91.208.99.2 и получите ответ клона 403 Forbidden.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий