бот сильно грузит сервак

Прописать заголовок last modified.

Что у вас на страницах о времени обновления написано?

А что, это помогает? 😂

у меня всего три тэга

<meta http-equiv="Content-Type" content="text/html; charset=windows-1251">

<title></title>

<META NAME="DESCRIPTION" CONTENT="">

<META NAME="KEYWORDS" CONTENT="">

но помоему ваш вариант вряд ли поможет

помоему кроме этих тегов яндекс никакие другие больше не воспринимает

Miha Kuzmin (KMY), а какие варианты?

закрыть от индексации? ;)

или ограничение на количество обращений в минуту с одного адреса?

Ребята HELP!

у меня нагрузка на сервак уже 10-12 процентов из положенных 5

и почти 99% всей нагрузки дает яндекс бот

Дайте совет, кто с этим сталкивался

Может сервак в штатах зарегать, чтобы пинга побольше было?

http://help.yandex.ru/webmaster/?id=995296#995336

Разберитесь, что именно грузит

а как понять что грузить ведь в панели управления нет никаких данных по этому вопросу.

мне вот кажется что грузит сервер бот яндекса.

на сайте более 20000 страниц, и таких сайтов более 20

Это к тому, что не поможет. Надо или ims обрабатывать, или в роботсе позакрывать всю порнуху. Или смотреть, что за трабла с скриптами. Или т.п. и т.д. Вариантов масса.

Когда кажется... Тогда уж более вероятно, что слурп, мсн, гуглбот или вебальта грузят.

а как позакрывать например от гугла, рамблера, мсн, и прочей лабуды свой сайт от их индексации?

zwolf,

Может не бот совсем?

Может просто движок кривой, чуть больше посещаемость и поехало?

А посетителей откуда приводить будете, если сайт не будет в "гугле, рамблере, мсн, и прочей лабуде"? ;)

http://help.yandex.ru/webmaster/?id=996567

User-agent: googlebot

Disallow: /

Названия основных роботов популярных поисковых систем:

Google – «googlebot»;

Яндекса – «Yandex»;

Рамблера – «StackRambler»;

Yahoo! – «Yahoo! Slurp»;

MSN – «msnbot»