Ну некоторые вещи я знаю ...
Если есть доступ к nginx, то народ так и делает. Может они не знают матчасти ? )))
Еще добавляет заголовок Retry-After через сколько прийти роботу
https://stackoverflow.com/questions/8237761/is-it-possible-to-change-the-http-status-code-returned-when-proxy-pass-gateway-i/19576698
Well, some things I know ...
If you have access to the nginx, the people and does. Maybe they do not know the materiel? )))
Another adds Retry-After header to come across as a robot
Есть такая идея - заменить отдаваемый код 500 на 503.
503 - это вроде как штатная ситуация при обслуживании сайта
Но, ещё раз - это на уровне идеи 🤪
There is the idea - to give the code to replace 500 503.
503 - this is kind of like a standard situation when servicing site
But again - it is at the level of ideas 🤪
Даже наверное не посты, а кликабельные заголовки.
Несколько раз тыкал по ним - попадал на сказочников пишущих какой-то вымышленный бред.
Probably not even office and clickable headlines.
I poked a few times on it - got to storytellers writing some fictional nonsense.
А есть какая-то статистика через сколько делается вторая попытка робота обхода страницы отдавшей ошибку 500 ?
Are there any statistics how many is the second attempt to bypass the robot who gave a 500 error page?
Все индивидуально.
Имхо, если например в запросах вашей тематики есть такие - "фото xxxx", то надо, если запросы только типа "xxxxx" - не надо.
All individually.
IMHO, if such requests in your subjects there are - "Picture xxxx", it is necessary, if only to requests such as "xxxxx" - is not necessary.