Я на СДЛ вообще ничего не делаю уже лет 7.
Раньше, во время гуглдансов, нервничал, менять что-то начинал, но толку почти ноль было.
Потом забил на это. В долгосрочной перспективе всегда всё выравнивается.
Не, ну конечно что-то периодически подкручиваю, но стараюсь это делать вне плясок :)
Нед.
По крайней мере, ничего не заметил.
Туда же весь хетцнер и digital ocean.
Я себе на сайтах, которые любят парсить, настроил логротейт на каждые полчаса.
Дальше - автоматический анализ логов с выпиливанием ipset-ом всех левых айпишников, с которых идёт абнормальное количество запросов. Естественно, с проверкой принадлежности оных к поисковым ботам.
Параллельно, каждые 5 минут идёт проверка на хитрожопых хацкеров, которые заходят под десятком разных юзерагентов с одного адреса. Эти идут в бан даже без проверки.
Естественно, все сеты с таймаутом. Так что даже если какой-то новый блок гугла или ещё кого-нибудь нужного попадёт в него, то через какое-то время он оттуда вылезет.
Ограничивать по запросам в секунду смысла нет, ибо иногда тот же гугл лупит по 5-7 запросов в секунду. Бинг вообще по 10 запросов фигачит с одного адреса.
На nginx стояло ограничение 7 запросов в секунду с burst 10, один чёрт и гугловский и бинговый wmt ругались, что у них 503 на куче урлов...
К тому же, в условиях нормального ДЦ, пыли не будет вообще :)
Хотя, можно посмотреть радиус кривизны вздутия кондёров :D
Просто человек, походу, запятую в школе вообще не проходил. Посему, всё сообщение выглядит как какой-то поток сознания в трипе. Особенно про то, как у кого-то что-то стоит и работает. И как этот "он" не будет амёбоподобно размножаться делением, но не сразу. Или это он не сразу говорит, но размножаться всё равно не будет :o
Какой-то разрыв мозга.
Что Вы курите в такую рань?
Есть. Вернее, была.
Партнёрство в строительстве олимпийских объектов в Сочи.
Но впереди ещё ЧМ 2018 по футболу. Можно успеть.
А по теме, у меня с Адсенса прибыль раз в 10 больше чем с Директа на тех же местах.
Бугага, вчера с 1.30 по Москве начала расти ЛА на главном серваке. Именно в этот время я уже спал, ибо рано вставать в субботу надо было. Заметил только часов в 9 утра, когда ЛА уже был 198. При этом сервак себя чудесно чувствовал. Контент отдавал, в топе всё в пределах нормальных значений, иовэйты там и по процам минимальные девиации. Главный мой суровый одмин был в отлучке и вылечилось всё банальным ребутом, благо сервак уже давно просил об этом.
Апача, кстати, у меня нет. Мож по этому всё работало :)
Анализировать логи, отстреливать ботов.
