Как умерить апетиты гугля?

Сайт в динамике?

Чтобы уменьшить аппетиты нужно: уменьшить количество документов на сервере либо уменьшить PR.

Я от этого дела так избавлялся

Просто вставлял задержку для ботов, отслеживая их по агенту. На PHP Это так будет для гугла

if(getenv('HTTP_USER_AGENT')=="Googlebot/2.1 (+http://www.google.com/bot.html)"){

sleep(5); // каждый процесс ждет по 5 секунд.

}

сайт естественно в динамике...

уменьшить кол-во документов или ПР ? :))

этож самоубийство... а не выход. проще уж тогда боту статику подсовывать вместо реалтаймовой генерации контента.(но это нельзя).

creation, эт тож не выход...

во первых будет больше процесов апача висеть, (а у меня и так

requests currently being processed больше 80ти постоянно).

во вторых робот скорее всего решит что сайт в дауне и начнет отваливаться. и от этого индексация сайта будет гораздо хуже происходить, а мне этого не хочется.

в общем как я понимаю через роботс.тхт никаких команд специфических не существует для таких вещей ?

В robots.txt есть только одна команда - Disallow

Так что, определитесь, либо Гугль нужен Вам, либо нет. В первом случае, найдите сервак помощней, а во втором, закройте сайт от индексации Гуглем. Все остальное - от лукавого. Я так понимаю, охота и рыбку съесть, и косточкой не подавиться?

через роботс.txt 100% можно задать задержку! без всяких PHP. Задай задержку секунду хотя бы - вряд ли гуглбот начнет процессы создавать.

что это за команда - не помню, просто на одном из форумов тоже примерно такой же вопрос задавали.

Довольно странно, что сервер заваливатеся при индексации.

А если одновременно будет человек 50 бродить по сайту ? :-))

Я бы посоветовал перейти на более мощный хостинговый сервер. Или если всё более чем серьёзно, то брать выделенный сервер (dedicated server). Для коммерческих ресурсов с хорошей посещаемостью это сейчас вполне доступно по ценам.

Есть еще более толково решение - оптимизировать код. Ведь не секрет что у большинства руки растут не оттуда (пример 90% на sourceforge.net).

Обычно скорость падает при выборках из mysql. Вот это и нужно пересмотреть кардинально.

alex-xl,wolf - у меня дедикейт: дуал-ксеон с гигом памяти, на 100мбит канале. куда еще мощнее ? просто трафа там дохрена.

absolut, к сожалению это уже оптимизированный код, без использования майскл и т.д, до этого было гораздо хуже. К сожалению ,сама по себе, сущность скрипта не позволяет генерить статику, поэтому надеялся именно кол-во одновременных соединений уменьшить.

а хоть примерно как звучала команда, или имя форума не помнишь? а то я так и не сумел ничего найти, хотя тоже помню что было что то подобное где то.

Можно явно задать задержку для робота Yahoo (Slurp)

А что если попробовать закрыть доступ медиа боту? Я правда не знаю, не нарушает ли это термсы AdSense.

Ну или, если ресурсы позволяют, подымайте кластер на co-location. Для сайтов с действительно большим трафиком, одного сервера мало.