Превышена нагрузка на MySQL - переезжать на VDS?

Вообще никогда не понимал всей этой канители по борьбе с ботами :)

Мы тут специально свои всервера долбим чтоб выявить узкие места а люди от бесплатных тестов откаываются. :)

У меня как то Яндекс сошел с ума и сделал за 3 часа 60000 запросов к сайту, сайт даже не поперхнулся. Главное правило - неавторизованные юзеры должны все брать из кеша и не грузить систему никак, при статическом кэше нжинкс у меня тянул более 1000 одновременных соединений на 768Мб оперативки (когда ддосили на мьюнин смотрел перед тем как все отваливалось :) )

PS. А блокировать не хорошо, скорее всего ваши правила блокировки убьют и легетимных юзеров, с этим надо быть очень очень аккуратным и включать только в экстренных случаях в автоматическом режиме как и отключать в автоматическом как нагрузка падает, но не держать на постоянку

Снова эта борьба в том месте, где удобнее. Но эта борьба бесконечная.

Если сервер не выдерживает нагрузку от поисковых ботов, то его уронить может всё, что угодно.

Верно выше сказали - боты лишь показывают узкое место. Стоит работать над оптимизацией кода, запросов к базе, оптимизацией настроек сервера + ресурсов всегда должно быть с запасом.

Иначе любой чих и сервер рухнет. Сегодня это боты, завтра это посетители, послезавтра сайт стал крупнее. И так до бесконечности люди тратят своё время, создают "костыли", чтобы хоть сайт как-то работал. Но тут кому как удобнее. Хочется постоянно следить, чтобы не рухнуло - можно и такие решения использовать. А если уж хочется, чтобы работало бесперебойно - заниматься нужно совсем другими вещами.

Закрывайте сайт от всех ботов с повышенной страстью. На примере этого скрипта посмотрите. Можете поставить не более 5 визитов за 15 секунд - всё что чаще блокируется. Есть исключения и гибкие настройки по IP. C вашей посещалкой ехать на VDS грех.

В итоге получить вылет из индекса поисковиков? Индексировать будут страницу ошибки.

Не вижу здесь белого списка на основе user-agent.

Если есть возможность, настройте кэширование страниц в nginx. Это значительно снижает нагрузку и сервер не упадет от наплыва "тупых" ботов.

Это все тавтология, я же говорю сервер справляется, какая потеря юзера, юзер без реферера пойдет получать куку.

А если стр. 200к?

Да делай как хочешь. Мы тут хором пытались вразумить, но всё оказалось бисером, к сож. :(

Да хоть мульёны.