сделал пока так, в nginx.conf
location / { limit_req zone=one burst=8 nodelay; proxy_pass http://ip адрес сервера :8080; proxy_redirect off; proxy_set_header Host $host; #proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Real-IP $remote_addr;
в rpaf.conf
LoadModule rpaf_module /usr/local/libexec/apache22/mod_rpaf2.so RPAFheader X-Real-IP RPAFproxy_ips ip адрес сервера RPAFEnable On
RPAFheader X-Real-IP срабатывает при таком раскладе, прокси больше нет.
теперь меня интересует будет ли реальный прокси определяться при таком конфиге?
нарыл в гугле http://forum.ispsystem.com/ru/showpost.php?p=72949&postcount=3 там сказано, что надо изменить в конфиге nginx название proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; например на proxy_set_header X-NGINX-Forwarded-For $proxy_add_x_forwarded_for; и добавить в конфиг rpaf строку RPAFheader X-NGINX-Forwarded-For
вот думаю стоит ли так делать?
RPAFproxy_ips 127.0.0.1
ну неужели непонятно, 0.0.0.0 это ип моего сервера, то есть localhost, не буду же я реальный адрес писать.
лучше что нибудь по делу ответьте, весь гугл перерыл, просто нет стопроцентного решения этой проблемы похоже.
в конфиг rpaf.conf добавил ещё строку RPAFheader X-Real-IP
получается что либо 0% прокси, в случае отключения в nginx #proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
либо 100% когда включено proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
мне надо чтоб реальное количество прокси определялось.
OS FreeBSD
mod_rpaf стоит
/usr/local/etc/apache22/Includes/rpaf.conf
LoadModule rpaf_module /usr/local/libexec/apache22/mod_rpaf2.so
RPAFproxy_ips 0.0.0.0
RPAFEnable On
Да уж, заработок на фо с каждым днём всё больше напоминает финансовую пирамиду.
а что i-filez всё...?
Время ожидания ответа от сервера i-filez.com истекло.
не надолго хватило запрета ходить по страницам для мейла, опять сканирует всё подряд, при чём только бот Mail.RU/2.0, он похоже кушает роботс через раз когда ему вздумается.
остальные прекрасно слушаются роботс.тхт, даже baidu и yandex сканируют только сами новости.
я уже понял свою ошибку :) на счёт смены сервера подумаю, страниц действительно очень много, запретил пока ходить ботам по страницам добавив
Disallow: /page/
Disallow: */page/
судя по логу, помогло, теперь индексирует только сами новости.
да, это именно mail.ru http://user-agent-string.info/list-of-ua/bots-ip?ip=217.69.134.91
добавил вот это в роботс чтобы закрыть от индексации архив, поможет или нет пока незнаю, он лезет именно в архив и начинает последовательно сканить страницы, LA тут же начинает расти и сервак загибается.
ссылки на новости такого вида http://site.com/2011/10/10/news/
Allow: /2009/*/*/
Allow: /2010/*/*/
Allow: /2011/*/*/
Allow: /2012/*/*/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
надеюсь правильно?
есть у него палка http://depositfiles.com/en/gold/payment.php на инглиш переключи!
