htaccess - как забанить весь прокси?

R
На сайте с 21.02.2011
Offline
43
2778

День добрый

Поглядел логи сервера, там за последние сутки такие данные:

4946 - crawl-66-249-66-87.googlebot.com

3927 - 88-190-238-59.rev.dedibox.fr

2567 - ec2-184-73-92-9.compute-1.amazonaws.com

1537 - blackhawks.dreamhost.com

Как бы гугл молодец, пусть гуляет - но как закрыть в htacess сайт от остальных товарищей? Судя по всему либо спам роботы всякие, либо активно юзающие прокси - ни те, ни те на сайте не нужны.

До этого закрывал

Order Allow,Deny

Allow from all

Deny from много-всяких-наглых-айпишников

теперь хочу по маске типа *.compute-1.amazonaws.com, *.rev.dedibox.fr

спасибо

arkadiy_a
На сайте с 11.06.2008
Offline
82
#1

Reverse DNS Lookup будет затормаживать первое обращение пользователя к вашему сайту на секунду-две. Вам такое подойдет?

В принципе (в теории), если с кешами заморачиваться все равно будет часто притормаживать - ботов отсеивать будет быстро а уник пользователей все равно притормаживать.

Имхо банить плохих ботов надо не по обратному адресу. Да и то вряд ли это будет эффективно на 100%, но если проект серьезный и ущерба много - оно того стоит.

iren K
На сайте с 28.12.2008
Offline
222
#2
Rcxo:
либо активно юзающие прокси - ни те, ни те на сайте не нужны.

не каждый прокси-сервер отмечает свое присутствие в заголовках http-запроса => со 100%-й гарантией это сделать невозможно, но большинство прокси-серверов ставят в заголовок http-запроса поле Via:

RewriteEngine On

RewriteCond %{HTTP:VIA} .+
RewriteRule (.+) http://site.ru/

здесь мы всех,кто пришел через прокси-сервер -> на главную страницу..

c уважением Iren
R
На сайте с 21.02.2011
Offline
43
#3

Спасибо, видел в сети такое решение, нужно проанализировать по логам точки входа этих чертей на сайт.

А все же, можно ли как-то закрыть имеющиеся обнаруженные "хвосты"?

юни
На сайте с 01.11.2005
Offline
927
#4

Обнаруженные - да, по маске. Но придётся следить за новыми.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
R
На сайте с 21.02.2011
Offline
43
#5

Спасибо! А не подскажете, как это должно выглядеть?

К примеру, что бы запретить *.compute-1.amazonaws.com и *.dedibox.fr

Rcxo добавил 01.11.2011 в 10:12

Вопрос ещё актуален:)

[umka]
На сайте с 25.05.2008
Offline
456
#6
Rcxo:
Спасибо! А не подскажете, как это должно выглядеть?
К примеру, что бы запретить *.compute-1.amazonaws.com и *.dedibox.fr

Rcxo добавил 01.11.2011 в 10:12
Вопрос ещё актуален:)

По такой маске запретить ничего не получится.

Запрещать можно сетки по netmask или CIDR.

Например, смотрим

localhost:~ umka$ nslookup ec2-184-73-92-9.compute-1.amazonaws.com
Server: 192.168.1.1
Address: 192.168.1.1#53

Non-authoritative answer:
Name: ec2-184-73-92-9.compute-1.amazonaws.com
Address: 184.73.92.9

localhost:~ umka$ whois 184.73.92.9
#
# Query terms are ambiguous. The query is assumed to be:
# "n 184.73.92.9"
#
# Use "?" to get help.
#

#
# The following results may also be obtained via:
# http://whois.arin.net/rest/nets;q=184.73.92.9?showDetails=true&showARIN=false&ext=netref2
#

NetRange: 184.72.0.0 - 184.73.255.255
CIDR: 184.72.0.0/15

И добавляем в .htaccess

Order allow,deny

Allow from all

Deny from 184.72.0.0/15

По аналогии смотрим других "вредителей" и добавляем их через запятую в Deny

Лог в помощь!
юни
На сайте с 01.11.2005
Offline
927
#7
umka:
/15

Смело. :) Ведь это может быть крупный провайдер.

[umka]
На сайте с 25.05.2008
Offline
456
#8
юни:
Смело. :) Ведь это может быть крупный провайдер.

Ну да, Амазон вроде не маленький :)

Но куда деваться, если ТС не хочет с ним дружить )))

юни
На сайте с 01.11.2005
Offline
927
#9

Rcxo, так что Вы аккуратнее с подобными банами. Ладно Амазон - с таким размахом можно и Корбину какую-нить снести.

А это уже совсем другой трафик.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий