не надолго хватило запрета ходить по страницам для мейла, опять сканирует всё подряд, при чём только бот Mail.RU/2.0, он похоже кушает роботс через раз когда ему вздумается.
остальные прекрасно слушаются роботс.тхт, даже baidu и yandex сканируют только сами новости.
я уже понял свою ошибку :) на счёт смены сервера подумаю, страниц действительно очень много, запретил пока ходить ботам по страницам добавив
Disallow: /page/
Disallow: */page/
судя по логу, помогло, теперь индексирует только сами новости.
да, это именно mail.ru http://user-agent-string.info/list-of-ua/bots-ip?ip=217.69.134.91
добавил вот это в роботс чтобы закрыть от индексации архив, поможет или нет пока незнаю, он лезет именно в архив и начинает последовательно сканить страницы, LA тут же начинает расти и сервак загибается.
ссылки на новости такого вида http://site.com/2011/10/10/news/
Allow: /2009/*/*/
Allow: /2010/*/*/
Allow: /2011/*/*/
Allow: /2012/*/*/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
надеюсь правильно?
есть у него палка http://depositfiles.com/en/gold/payment.php на инглиш переключи!
а 10-12к в день буржуйского нормально, не? :)
Name Servers:
ns1.filepost.com
ns2.filepost.com
ns уже восстановились, так что скоро заработает, не парьтесь ☝
валить надо с .com 🙅
у меня файлпост открывается
Понятия Честный и Бизнес, несовместимые, так или иначе кто то кого то нае***ает, неизменно только одно, выигрывает сильнейший. Пока законы на стороне властей, потому что они пишутся ими и под них, интернет это единственное место слабо-контролируемое властями, то что они влезли в инет со своей метлой, от этого никому лучше не будет ни нам ни вам, поверьте.
Не поддавайтесь на провокации AutoBlogger'a это "засланный казачёк" с m-x
они только этого и добиваются, запугать всех и вся!
