Mail.ru игнорит robots.txt

Даже Яндекс игнорит роботс... Передавайте привет сексшопам.

А уж ваш кравл-делей вообще всем ПС пофигу

Вы уверены что это именно паук mail.ru? Может кто просто маскируется, проверьте ip с которых идут запросы.

да, это именно mail.ru http://user-agent-string.info/list-of-ua/bots-ip?ip=217.69.134.91

добавил вот это в роботс чтобы закрыть от индексации архив, поможет или нет пока незнаю, он лезет именно в архив и начинает последовательно сканить страницы, LA тут же начинает расти и сервак загибается.

ссылки на новости такого вида http://site.com/2011/10/10/news/

Allow: /2009/*/*/

Allow: /2010/*/*/

Allow: /2011/*/*/

Allow: /2012/*/*/

Disallow: /2009/

Disallow: /2010/

Disallow: /2011/

Disallow: /2012/

надеюсь правильно?

Вы этим роботсом что хотели сказать то? Запутать мозги роботам? :)

Мне кажется, надо менять сервак, раз он загибается от простого майл-бота, а не закрывать сайт от индексации

<meta name="robots" content="noidex, nofollow"/> добавьте в хедер

для конкретных 4 страниц:

Disallow: /2009/

Disallow: /2010/

Disallow: /2011/

Disallow: /2012/

Allow: /2009/*/*/

Allow: /2010/*/*/

Allow: /2011/*/*/

Allow: /2012/*/*/

Disallow: /2009/$

Disallow: /2010/$

Disallow: /2011/$

Disallow: /2012/$

То что вы сделали это вынос мозга

Дело в том, что правило Allow: /2012/*/*/ разрешает индексацию страниц раздела сайт.ру/2012/, имеющих трёхкратную вложенность. Ниже же вы запрещаете к индексации полностью раздел /2012/ - противоречив самому себе. Правило Disallow будет игнорироваться

я уже понял свою ошибку :) на счёт смены сервера подумаю, страниц действительно очень много, запретил пока ходить ботам по страницам добавив

Disallow: /page/

Disallow: */page/

судя по логу, помогло, теперь индексирует только сами новости.

Они клали на эти запреты железобетонный болт) Ходить они в любом случае будут, а вот брать документ в индекс или нет - уже подумают.

Mail свое уже прожил, пора на пенсию ему а почтовые акки гуглу отдать.