Запретить сканирование сайта через RSS

L
На сайте с 17.01.2013
Offline
76
754

Добрый день уважаемые вебмастера!

Прошу вас помочь в одном вопросе. Есть сайт новостной на DLE, на который пишутся уникальные статьи несколько десятков в день, а есть такие ресурсы, как uamedia.visti.net, webground.su и т.д. которые с помощью парсинга или какими-то другими способами вытягивают через RSS эти статьи и бывает даже так, что МОЯ уникальная статья быстрее индексируется у этих плохих людей.

Вопрос. Есть ли возможность, каким-то образом закрыть доступ этим роботам сканирование моего сайта, через RSS?

viktorchereffko
На сайте с 30.06.2008
Offline
172
#1

L
На сайте с 17.01.2013
Offline
76
#2
viktorchereffko:

Я так понимаю, при выключении данной функции пропадет и экспорт новостей в Яндекс новости и Гугл новости, это мне не надо, именно для отдельных сайтов нужно.

genrik
На сайте с 11.12.2014
Offline
43
#3

Если известно имя робота или IP, то можно запретить ему доступ к сайту, либо к странице rss.xml через .htaccess

D
На сайте с 23.01.2016
Offline
9
#4

Просто заблокируйте его IP с помощью следующего кода, добавляемого в .htaccess-файл.

#Создаем черный список IP адресов

allow from all

deny from тут.ip.адрес.33.558

Узнать IP адреса комментаторов можно или в логах Apache или с помощью сервисов статистики.

L
На сайте с 17.01.2013
Offline
76
#5

Всем большое спасибо!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий