OS FreeBSD
mod_rpaf стоит
/usr/local/etc/apache22/Includes/rpaf.conf
LoadModule rpaf_module /usr/local/libexec/apache22/mod_rpaf2.so
RPAFproxy_ips 0.0.0.0
RPAFEnable On
Да уж, заработок на фо с каждым днём всё больше напоминает финансовую пирамиду.
а что i-filez всё...?
Время ожидания ответа от сервера i-filez.com истекло.
не надолго хватило запрета ходить по страницам для мейла, опять сканирует всё подряд, при чём только бот Mail.RU/2.0, он похоже кушает роботс через раз когда ему вздумается.
остальные прекрасно слушаются роботс.тхт, даже baidu и yandex сканируют только сами новости.
я уже понял свою ошибку :) на счёт смены сервера подумаю, страниц действительно очень много, запретил пока ходить ботам по страницам добавив
Disallow: /page/
Disallow: */page/
судя по логу, помогло, теперь индексирует только сами новости.
да, это именно mail.ru http://user-agent-string.info/list-of-ua/bots-ip?ip=217.69.134.91
добавил вот это в роботс чтобы закрыть от индексации архив, поможет или нет пока незнаю, он лезет именно в архив и начинает последовательно сканить страницы, LA тут же начинает расти и сервак загибается.
ссылки на новости такого вида http://site.com/2011/10/10/news/
Allow: /2009/*/*/
Allow: /2010/*/*/
Allow: /2011/*/*/
Allow: /2012/*/*/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
надеюсь правильно?
есть у него палка http://depositfiles.com/en/gold/payment.php на инглиш переключи!
а 10-12к в день буржуйского нормально, не? :)
Name Servers:
ns1.filepost.com
ns2.filepost.com
ns уже восстановились, так что скоро заработает, не парьтесь ☝
