Превышена нагрузка на MySQL - переезжать на VDS?

Переехали полет нормальный. Скорее всего сервер можно поднастроить получше, но пока без бюджета.

Разбираюсь с фидом динамического ремаркетинга в гугле в другой теме

Не стесняйся, спрашивай.

Тебе вкртаце уже рассказали, что на уровне php это не делается (нормальными людьми не делается). Это как минимум нагрузка. Дополнительная, КАРЛ! нагрузка.

Да и редирект через META HTTP-EQUIV="REFRESH" уже сам по себе ахтунг.

Отсевивание же того списка ботов проще (и безопаснее) сделать в хтацессе, чем лазить в движки и ТАК колбасить сервер.

Ты вот сам показал чем забиты логи, но не понял, что это благодаря твоему скрипту там столько говна.

И главное — никакого отношения это ни к ддосу, ни даже http-флуду не имеет. Та «универсальная защита» хоть такая же бесполезная, как твоя, но хоть не такая опасная при её внедрении/эксплуатации.

Ну и ещё не мешает покурить о классификации досса. Вот я нагуглил вроде на доступном языке (не вчитывался - бегло посмотрел): https://habrahabr.ru/company/bitrix/blog/267947/

Это воще прелесто.. Печально, что зная это, ты не понимаешь какая это жопа.

Это хорошие боты работают честно. :) Дальше подумай.

И я об этом. Остаётся только немного подумать.

Но ок, жирно намекну. Для начала списки подсетей — они вечно неизменные? Или-таки нескучная работа по их обновлению? ;) Это раз.

И кое-что см дальше

Что автоматически отсеивает часть юзеров и доставляет гемморой в анализе сайта.

Про ВПН — не, не слыхал? А про прокси (в тч и веб)? А про IPv6? А про сервисы и разные скрипты? Они откуда работают? (только пож, не говори, что надо добавить исключения для "своих")

И это далеко не всё.

1000 ип внести в хтацессе? Вроди умный дядька но такую херню иногда пишешь.

Повторю, после внедрения этой защиты, нагрузка упала.

Не тупи! Там даже подчёркнуто что вносить. Причем тут ИП.

Нагрузка на ЧТО? Что нагружало и то перестало - хоть думаешь?

Ботов отбило? Нет! Они как долбились так и долбятся, но ещё и редиректятся и опять долбятся.

SeVlad, нагрузка шла на mysql, сейчас нет! Они не редиректят! а тупо передают реферер, ну даже если и редиректят то упираются в главную пустую страницу, от которой нагрузки нет, так как куку получить не могут.

Вот! Вот и славно, что ты узнал какая была нагрузка. Надеюсь теперь понимаешь, что её причина — движок (возможно неправильно работающий), а боты только показали узкое место.

Но то, о чём мы тут говорим, а именно об отсечении ботов от сайта — вот это твоим «простым скриптом» никак не решается:

Создают нагрузку на сеть, ЦП и память сервера. Дополнительную на последние два параметра.

Как это не решатся если уже решилось, короче мы с тобой на разных языках говорим :)

G-and-Y, Возможно вы просто не совсем верно понимаете претензии к Вашему решению. Ваш скрипт действительно выполняет свою функцию - отброс ботов от сайта, но делает он это слишком высокой ценой (насколько высокой, зависит от остальных скриптов сайта и общей настройки веб-серверов и интепретаторов) . Аналогичные решения на nginx и iptables действительно продуктивней в силу того, что потребуется использовать гораздо меньше ресурсов на обработку запроса, до момента его отклонения.

Если приводить аналогию, то Вы пускаете грабителя в коридор квартиры, выгоняете только тогда, когда он уже вломился в комнату и пока он убегает, то успевает еще захватить Вашу куртку. А можно было просто не запускать его в подъезд.

elkyn, понимаю я это, но дело в том что в коридоре нету куртки, то есть сервер нормально справляется, если не будет, тогда подключим nginx и iptables.

:) Я до этого написал большой ответ (я читаю сёрч на др компе не логинясь) и тоже на примере квартиры. Ты сумел это сделать намного короче :) Респект.

но только не большая ошибочка в самом начале

От сайта он не отбрасывает. Он отбрасывает от движка. Это несколько другое.

но зато они наследили, поцарапали мебель и разрисовали обои. Ида: мебель и обои есть. :)

И это ещё не всё. Твой решение заставило сервер производить лишнюю работу по обработке ЮА средствами php + редиректы в ЮА, а не серверные, + потеря реального юзера без рефферера. Даже одно последнее — полный ахтунг, не говоря за предшествующее.