создает нагрузку на сайт. Как ограничить подобные запросы на несуществующие страницы?

Как ты можешь ограничить отправку писем в твой почтовый ящик?

Никак. Можешь только с ними что-то делать.

Если 404 создаёт нагрузку - надо что-то решать с сервером/движком

SeVlad, так неспроста же приходят эти непонятные запросы. просто так никто обращаться не будет. ну ошибся бот раз, второй ,но этот юзер постоянно гоняет....вот в чем незадача.

Во! продолжай развивать мысль! Откуда боты о них знают?

Варианта 2 - либо они есть на внешних источниках (сайтах напр) либо у тебя на сайте.

С первым ты ничего сделать не можешь, а со вторым - очень даже.

Но это одна часть проблемы. Вторая - нагрузка от 404. Это отдельная задача. Сервер как правило 404 переживает нормально. Но если её перехватывает движок (ВП напр так делает), то тут уже другая история.

Если он с одного сегмента IP, то можно забанить по IP. Но надо посмотреть что это за сегмент. Что бы не забанить нужных.

RtsTravel, попробуйте лог писать прямо в обработчике 404-ой. Возьмите IP и посмотрите, что это. Ботня создает кучу трафа, о чем вы, видимо, пока не знаете.

---------- Добавлено 27.12.2016 в 00:25 ----------

Если двиг с трудом справляется с выдачей 404-ой, можно попробовать поперехватывать левые запросы до передачи управления во фронт движка.

а как узнать что за бот ходит...ну вернее бот это или человек настроил какую то прогу...

Вот скажем совсем недавно

Referred by:

User Agent: python-requests/2.12.4

начал лопатить страницы

/docs/

/upload/

/download/

и так далее. Понятное дело таких страниц в целях безопасности нет.