ТС не делайте так, те кто более менее шарит, поймут, а кто то тупо копипастом вставит все это добро и забанить не только нужных ботов типо яндекса и гугла, но и еще докучи всех юзеров которые заходят через яндекс браузер.
Еще момент, у вас куча юзер агентов перечислено однотипных, да и их число можно в легкую сократить, к примеру по крайлерам, зечем их списком перечеслять когда можно просто указать блокировку crawl.
Я весь первый топик не разберал, но судя потому какая ватханалья перечислена в user-agent, крепко бы задумался применять этот метод на своих проектах.
У себя на сервере конечно блочу много чего, но сторонник более менее вразумительных действий по отношению ко всякому шлаку и банально на лимитку в nginx это все добро скидываю, дабы не заблочить нужное.
И часто вы видели чтобы нормальные поисковые боты делали более 50 запросов в секунду, чтобы их в исключение добавлять?
Мне пришлошь гуглу ограничение ставить на 200 запросов в секунду так как нагружал очень сильно сайт, только после того как 429 ему начал отдавать, он снизил активность и все хорошо стало.
Похоже, у тебя много запросов сразу, что может тормозить сайт. Можно попробовать объединить скрипты и стили или использовать асинхронную подгрузку, чтобы снизить нагрузку.
У меня все хорошо, так и должно быть, для Next.js это вполне нормально когда идет много запросов, асинхронные как раз и грузят сервер.
Есть завал китайских ботов (и не только китайских), причем тех, что не вычисляются по User-Agent, а более злобных товарищей. Хочу вычислить и забанить хотя бы тупо по IP. Для этого ищу прогу, которая на основе загруженных в нее логов могла бы выдавать хотя бы базовый минимум — стату по IP (сортировку по частоте). Вижу платные варианты, но 90 фунтов у меня на это удовольствие нет, а еще нет иностранной карты. Мож есть какой бесплатный вариант, или платный, но местный, рублевый?
С ботами размер суточного лог-файла вырастает многократно, и сейчас этот размер — 200—400 МБ (это для оценки ограничений, если таковые есть у проги или сервиса). Если, вдруг, какие-то онлайн варианты есть, которые работают с такими (а еще лучше — с бОльшими объемами, чтобы не за сутки смотреть) — прекрасно. А уж если еще чего и подписывать умеют (по IP проверять, что да кто и прочий доп. фукнционал) — то и вовсе хорошо. Повторюсь, платный вариант тоже рассмотрю, но с оплатой обычной РФ картой.
Ставь лимитку в nginx на запросы без рефа.
Я еще плюсом айпишники которые были отброшены в базу заношу и прочекиваю их потихонечку по крону. За менее чем пол года более 6 млн. айпишников, к пенсии думаю все прочекаю)))
Если у тебя такое же гомно ползает, то не думаю что какая то програма тебе поможет на лету отфильтровывать этот шлак, разве что она с базой спамных айпишников.
Обычный юзер редко превышает пару запросов в секунду.
Вы из каких годов выползли)
Стили, скрипты, картрнки, подгрузка контента и прочее. У меня на сайте при первичной зашрузке пользователь отправляет как минимум 30 запросов, где 8 из них основные, а отстальные это скрипты, картинки и стили.
И самое главное - тишина…
А что предлогаете? Ходить по форумам и писать о том как яндекс доит вебмастеров?
Те у кого есть трафик, начинают его монетизировать какими то своими плюшками для пользователей, перенаправляют трафик в тот же телеграм и там монетизируют его. Сейчас просто это не так массово, но со временем вебмастера надут выыход, и тизерка от Яндекса отживет свое.
Помню на сколько РСЯ была престижна в 2010 годах, туда хотел каждый сунуться, но брали только "избранных", сейчас это помойка куда стянулся весь шлак интернета, который те самые качественные проекты разбавил на столько сильно что их и не видно нигде.
Доход в РСЯ подстраивают под массу, а масса в РСЯ полный шлак, тем самым хорошие сайты получают копейки.
Вы уверенны? Большинство изображений там из Википедии, но текст - копирайт. Я могу писать по своей специальности более-менее. Есть канал на Дзене, так или иначе подтверждающий квалификацию.
Если человек с соответствующим образованием не может монетизировать контент в РСЯ, то кто может?
Пока здесь никто не решился показать свои сайты.
Не обращайте внимание, у большинства тут у самих ГС, а они считают что СДЛ.
Да и по факту чушь все это, занимайтесь сайтом, я бы на вашем месте редизайн сделал, ну чтобы под современные сайты его подогнать, ну и на мобилку больше всего ориентировался. Сегодня не взяли, завтра возьмут.
Если бы гугл по стране в аккаунте рекламу отображал, тогда весь мир бы под Россией ползал.
Next.js классная штука, а вообще если углубиться, то на чем угодно, единственно что сегодня без JS вообще не обойтись.
Ну а если с целью заработать, я б сегодня в сторону WEB вообще не смотрел, лучше смотреть в сторону разработки каких то приложений для мобилок, даже для того же ИИ думаю лучше сразу приложуху делать. С сайтами один геморой, продвинуть сложно, зарабоать нереально, в той же развлекательной тематики нужно 100к+ в сутки чтобы нормально заработивать оплачивая серввера.
