Большой трафик

Может так? Для яндекса:

Директива Crawl-delay.

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:

User-agent: Yandex

Crawl-delay: 2 # задает таймаут в 2 секунды

User-agent: *

Disallow: /search

Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

http://help.yandex.ru/webmaster/?id=996567#1022359

Про Рамблер вот не знаю.

спасибо

ПОЛЕЗНО

bergen добавил 24.02.2009 в 14:07

остаётся разобраться с яндексом

зачем бороться с быстрой индексацией?!!!? Ее все добиваются а вы своими руками ее хотите убрать. Меняйте хостинг.

итак уже выделенный сервер, разорится можно.

Некоторые советую поставить в теле PHP функцию Sleep();

сегодня шел на работу и как раз думал об этом

Робот Яндекса делает 30-35 (мах 40) запросов в секунду.

Это что - нагрузка на сервер?😮

Иди дело все же в прямизне?...;)

Ну роботы яндекс и рамблер нагрузки мало дают, вот робот yahoo на 1 месте по трафику, хотя переходов с него 0,1 процент у меня, потом гугл, который лезет по сайту там где ему не нужно, стоит создавать правила для него

JSeven добавил 25.02.2009 в 11:09

А лучше еще генерить файлы sitemap и скармливать поисковикам. Вот мой robots.txt к примеру для форума

User-agent: *

Disallow: /lofiversion/

Disallow: /lofiversion/index.php/

Disallow: /*mode=linearplus

Disallow: /*mode=threaded

Disallow: /*prune_day

Disallow: /*view=getnewpost

Disallow: /*view=getlastpost

Disallow: /*view=findpost

Disallow: /*view=new

Disallow: /*view=old

Disallow: /*act=findpost

Disallow: /cache/

Disallow: /converge_local/

Disallow: /interface/

Disallow: /ips_kernel/

Disallow: /modules/

Disallow: /resources/

Disallow: /retail/

Disallow: /skin_acp/

Disallow: /sources/

Disallow: /style_images/

Disallow: /index.php?act=Login

Disallow: /index.php?act=Search

Disallow: /index.php?act=Shoutbox

Disallow: /index.php?act=Reg

Disallow: /index.php?act=Msg

Disallow: /index.php?act=Mail

Disallow: /index.php?act=Forward

Disallow: /index.php?act=Track

Disallow: /index.php?act=Post

Disallow: /index.php?act=post

Disallow: /index.php?act=Print

Disallow: /index.php?act=thanks

Disallow: /index.php?act=rep

Disallow: /index.php?act=ST

Disallow: /index.php?act=boardrules

Disallow: /?act=boardrules

Disallow: /index.php?act=Help

Disallow: /index.php?act=Stats

Disallow: /index.php?act=stats

Disallow: /index.php?act=Members

Disallow: /index.php?act=Online

Disallow: /index.php?act=calendar

Disallow: /index.php?act=SR

Disallow: /index.php?act=SF

Disallow: /index.php?act=ICQ

Disallow: /index.php?act=MSN

Disallow: /index.php?act=AOL

Disallow: /index.php?act=AIM

Disallow: /index.php?act=SC

Disallow: /index.php?act=task

Disallow: /index.php?act=findpost

Disallow: /index.php?act=UserCP

Disallow: /index.php?act=usercp

Disallow: /index.php?act=report

Disallow: /index.php?act=buddy

Disallow: /index.php?act=legends

Disallow: /index.php?CODE=

Disallow: /index.php?act=attach

Disallow: /index.php?act=Attach

Disallow: /index.php?&&CODE=

Disallow: /index.php?&debug=1

Disallow: /index.php?act=Profile

Disallow: /index.php?showuser

Disallow: /index.php?s=

Disallow: /index.php?autocom=chatsigma

Disallow: /index.php?autocom=chatpara

Disallow: /*&view=getnewpost$

Disallow: /*&view=getlastpost$

Disallow: /*&view=old$

Disallow: /*&view=new$

Disallow: /*&view=getfirst$

Disallow: /*&view=getprevious$

Disallow: /*&view=getnext$

Disallow: /*&view=getlast$

Disallow: /*mode=linear

Disallow: /*mode=threaded

Disallow: /*mode=linearplus

Disallow: /*&p=

Disallow: /*&pid=

Disallow: /*&gopid=

Disallow: /*&hl=

Disallow: /*&start=

Disallow: /*&showtopic

Disallow: /*gallery&req=stats

Disallow: /*gallery&req=user

Disallow: /*gallery&req=slideshow

Disallow: /*reportimage

Disallow: /ptopic*.html

Disallow: /ipb.html?act=rep

Disallow: /ipb.html?act=Print

Disallow: /ipb.html?act=Forward

Disallow: /ipb.html?act=usercp

Disallow: /ipb.html?act=calendar

Disallow: /ipb.html?act=thanks

Disallow: /ipb.html?act=Post

Sitemap: http://www.мойсайт.ru/indexsitemap.xml

Sitemap: http://www.мойсайт.ru/topicsitemap.xml

Sitemap: http://www.мойсайт.ru/forumsitemap.xml

User-agent: Slurp

Crawl-delay: 10

Лучше не обижайте робота, с этим адо быть аккуратнее.

Как-то Яха поедал форум емкий...+400 посетителей сразу....админ неопытный думал кто-то грабит и забанил его...хорошо заметили сразу.

Ну банить роботов то не надо:) Надо создавать правила, которые бы направляли робота на нужный контент, так он сайт быстрее скушает:)