Искусственное замедление скорости сканирования Googlebot

Google Crawl-delay не учитывает - замечено на практике.

Я в консоли для веб-мастеров устанавливаю вручную - 3.3 секунды между запросами. С этой скоростью он и сканирует (действует 3 месяца). Через 3 месяца приходят письма-напоминания (приходится снова устанавливать скорость).

535i, вероятнее всего, Вы уперлись в проблему ограничения кол-ва запросов к стороннему API, потому что, в ином случае, просто несуразно ограничивать аппетиты Google.

Я знаю что ответ Вам не понравится, но никакие, запомните, никакие фичи, которые "предусмотрел" Google для своих вебмастеров не влияют на GoogleBot. Насильно Вы не сможете ни скормить ему страницы ни остановить их индекс.

Я могу Вам предложить только одно решение -- закешурйте стараницы, например через PHP FastCGI, Varnish или ваше решение по выбору. Отавайте ему статику. Пусть тот кто первый зайдет на страницу сгенерирует её контент, а все остальные, включая бота будут получать локальную копию.

Я понимаю, что у Вас вероятно много динамики, но сделайте такой ход хотябы на время. Как вариант используйте SSI или какую-то еще технологию, чтобы кешировать контент блоками.

Иними словами, на своей стороне сделайте так, чтобы Google всегда получал закешированную копию страницы. При таком раскладе держать 500К траффика в день за $5/мес не составит никаких проблем, если Вы понимаете о чем я )))

Прошу вас - сделайте редирект робота на мой сайт, обещаю я выдержу :))

SE-0, все предложенные Вами варианты уже учтены.

fliger, выставил в консоли желаемую скорость ("переступил через себя":)) - ночью выставил, сегодня утром уже сработало (кстати, похоже Гугл отрабатывает все заявки в 0:00 по тихоокеанскому времени).

Pliny, я Вас полностью понимаю, и использую почти всё Вами предложенное. К примеру, кеш у нас жосткий: 8гиг памяти используем для хранения ~9млн. наборов данных(считай, полного контента страниц). Коэф. сжатия 1/5, эффективность кеша 75%. В ближайшее время, скорее всего, придется взять железку на 32-48гиг оперативы.

По-поводу "никак" и "никакие": вчера за полдня удалось программно "притормозить" бота примерно на 10% - но эффективность сомнительная (ресурсоёмко). По итогу в консоли желаемую скорость выставил ночью, утром уже "включилась".

не всегда так получается - чаще бот приходит первым, чем юзер, а искусственно нагонять шлак - это бешенные потери ресурсов. Решение я чуть выше написал.

Dram, я бы Вам незадорого продал, но не хочу по заднице получить от Г :)