Помощь в фильтрации ботов через CloudFlare

200 ОК - это не ошибка )
Это как раз код корректного ответа.

Как понимаю, вы только постигаете азы. Выше уже дали дельный совет - возьмите нормальный тариф хостинга, а не самый начальный, как сейчас. Тогда не придется заниматься непонятно чем. 

Но идея забанить ботов яндекса и гугла это конечно да, вещь. 

Прикольно, сегодня Яндекс бот устроил ддос моему сайту )  Я думал реально ддос началось с ночи.

Но в логах только Яндекс бот.  За утро Яндекс сделал 400 тысяч запросов!

Причем нашел на сайте место, где никто никогда не ходил и неоптимизированное для запросов MySQL и давай там ходить.

Сайт лежал всю ночь и утро.

В вебмастере есть опция задать скорость обхода. Ставьте ползунок на самый минимум.

Сталкивался с таким. Это такой крайне редкий, но очень продвинутый ДДОС. Яндексу скармливают миллионы левых страниц вашего сайта, по ддос алгогитму на перегруз очереди запросов, с рандомными адресами, и он прибегает их проверять.

Обычно просто в доры вставляют картинки с сайта, иногда вместе со скриптами, качают ботами, у дурака Яндекса это все лезет в индекс.

У меня было не по картинкам, а именно полноценный ддос, с рандомом по названиям страниц. Нагенерировали несколько сотен тысяч. Благо у меня клауд и там настроено все, поэтому сервер в аут не выпадал.
Ну и поумерить пыл яндекса - только через вебмастер.

В Яндексе прекрасно работают разные методики по понижению сайтов конкурентов.

Прямые заходы - классика.

Видел прогу. Два варианта: под Гугл и янлекс. Ускоряет индексацию. Нужны только прокси и урлы. Чем-то подобным могут делать это.

Вот такую наблюдаю картину. На сайт очень много заходов с 2001:4860:7::/48 (IPV6) или 72.14.201.XXX (IPV4). И как бы все они принадлежат к подсети AS15169 - а она принадлежит Гуглу. Но что-то не похожи они на реальных людей. В логах я их вижу, и их очень даже много - просто огромное количество. А вот в Вебвизоре так и не смог их найти. Похожи на ботов, которые иммитируют заходы с Гугл. Что с ними делать, кто с ними сталкивался. И как заблокировать подсеть IP адресов IP 72.14.201.XXX - это будет правильно 72.14.201.0/24 ?

У меня нет AAAA записи, а в Events видно заходы по ipv6.

Чего то я запутался -  вообще, если виртуальный хостинг не поддерживает ipv6, сайты при обращении по нему будут окрываться?

А после подключения CF падал у кого трафик? Чекнул просто IP СF выданный мне, там шрот размещен в виде казино и порно, и ГС сайтов. Просто траф просел проц на 15, фиг его знает может лето, может еще что, сложно понять, но траф из поисковиков гугл и яндекс ровно по линии упали относительно друг друга, что накидывает на мысль, что лето. В том году и ранее, такого не замечалось просто.

Всем привет. Скажите, а кто-то пользуется сервисом защиты от mail.ru ? Вроде по описанию у них там тоже есть фильтраторы трафика по условиям и т.д. Хочу попробовать, мне нужно просто поставить запрет трафика иностранного, оставить только РФ, на остальной функционал все равно.