Как заблокировать маскирующих ботов под Яндекс

смысл блокировать ботов - только если создают серьезную нагрузку на сервер, иначе будет ботное ОКР, типа как все время руки моют страдающие ОКР, бактерий боятся. Сегодня забанил IP - завтра он с нового зашел, а сервисы типа Mail.ru вообще десятками ip ботят. Лучший выход - давать плохим IP пустую страницу, пусть сканируют бессмысленный урл.

Боты заходят с IP Yandex.

Я с платоном переписывался по этому вопросу. Он дал рецепт. Ну, а что? В Израиле травка легализована, а сегодня ещё и шаббат.

Cloudflare обходит, потому что грузит сайт бот Яндекса с ip Яндекса.

Реально дыра в Яндексе. Пока они не сменят usersgent для переводчика эта дыра будет прокси для роботов 

было такое, 5-10 К в сутки запросов, может не именно этот бот, а какой-то из Яндекса, забанил этого бота так как доля Яндекса  меньше 10 %,  не критично, через пару дней доля опустилась до 5%,  а в Вебмастере куча сообщений об ошибках. Через неделю снял запрет, доля вернулась к 10%. Сервер держит нормально, ну и пусть сканирует.  И Да - скорость обхода сайта в Вебмастере никак не уменьшает количество обращений.

Ну рецепт отписан, чисто по ключевому слову, не читая сути

Не! Платон перед этим получил логи cloudflare, сказал:

- Мало мне этого, давай логи хостинга!

Получил логи хостера, а потом уже написал предложение понизить скорость сканирования роботами Яндекс 😁

почему вы думаете что это недруги сканируют сайт? с целью? по мне яндекс сам и боты его вполне сами могут косячить без всяких недругов😂

ну что все специалисты по защите от ботов высказались? 😀 а теперь вот вам готовое рабочее решение https://pastebin.com/HuSshxEy

Да ты просто гений!!!

А ещё можно одной строкой:

Disallow: /