- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день.
Понимаю, что тема избитая, но то, что находил в инете не спасало от нашествия. Вот так сейчас выглядит .htaccess
Добавлял в него
не помогало. Так же добавлял
такой же результат :-( По логам "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)" продолжает сканировать сайт.
Как можно правильно заблокировать его и другие боты?
Попробуй так:
Виктор Горняков #:
Попробуй так:
Forbidden
You don't have permission to access this resource.
И блокировать бот яндекса - это жестко
Понимаю, что тема избитая, но то, что находил в инете не спасало от нашествия.
от ботов надо спасаться не через .htaccess, а через CloudFlare
вам мощности хостинга может не хватить отбиваться от ботов через обработчик nginx/apache
не думаю что вы оплачиваете супер пупер мощный vps/vds, чтобы отбиваться от ботов за счет использования ресурсов cpu/озу своего сервера
И блокировать бот яндекса - это жестко
Что заслужил, то и получил. Последняя стата из поисковой аналитики за 4 месяца по рунету, 76% ботов из яндекса, 18% боты накрутчиков ПФ, остальные 6% - это "случайные" боты
не думаю что вы оплачиваете супер пупер мощный vps/vds
физический выделенный сервер с 32 гигами оперативы.
Брался в сове время под другие инет проекты, но сейчас для других задач испоьлзуется. Сайты это только часть этих задач
физический выделенный сервер с 32 гигами оперативы.
Брался в сове время под другие инет проекты, но сейчас для других задач испоьлзуется. Сайты это только часть этих задач
блин , и при этом вы не владеете языком mod_rewrite?
друг, это очень круто!
перейдите если позволяет нагрузка на сайт на вебхостинг и вам в хороших хостинг компаниях помогут сисадмины значительно быстрее настроить .htaccess, чем здесь
перейдите если позволяет нагрузка на сайт на вебхостинг и вам в хороших хостинг компаниях помогут сисадмины значительно быстрее настроить .htaccess, чем здесь
у меня база одного из ПО Windows - 350 гигов. Поэтому и выделенный сервер.
файловый архив только одного из сайтов - 45 гигов.
у меня база одного из ПО Windows - 350 гигов. Поэтому и выделенный сервер.
файловый архив только одного из сайтов - 45 гигов.
ну. тогда только самому видимо коптеть над mod_rewrite
я сам не большой любитель и знаток этого синтаксиса.. его какой то изувер придумал ... как по мне язык программирования и его синтаксис должен быть приближен к естественному родному языку, на худой конец к английскому... так уж сложилось языку международного общения... к таким вот Pascal относится...
попробуйте у ИИ спросить... о том что вам нужно.. но без допила не заработает... увы, железяка ИИ - это вообще не человекоподобный разум даже близко...
я сам не большой любитель и знаток этого синтаксиса.. его какой то изувер придумал ... как по мне язык программирования и его синтаксис должен быть приближен к естественному родному языку, на худой конец к английскому... так уж сложилось языку международного общения... к таким вот Pascal относится...
вот поэтому и мучаюсь. сейчас SemrushBot по диапазону IP забанил, благо маска /24. Но есть один бот с USER-AGENT "Go-http-client/1.1" - он из подсети ростелекома с маской /16. То есть по диапазону банить чревато. И он постоянно ломится на одну и ту же страницу. Что он в ней такое нашел - не понимаю...
Массово:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} (HybridBot|Mail.RU_Bot|ClaudeBot|GeedoBot|keys-so-bot|GPTBot|Bytespider|Amazonbot|proximic|bingbot|Sogou|rogerbot|mj12bot|majestic|ahrefs|semrushbot|beekport|archiver|teleport|megaindex|baiduspider|linkpadbot|yahoo|msnbot|bingpreview|dotbot|psbot|serpstatbot|gigabot|alphabot|aspiegelbot|xforce-security|semantic-visions|barkrowler|admantx|GetIntent|CriteoBot|BLEXBot|python-requests|PetalBot|seostar|zgrab|Go-http-client|CensysInspect|paloaltonetworks|SiteAnalyzerbot|dataforseo|Pinterestbot|applebot|CCBot|NBot/|Photon|weborama-fetcher|GeedoProductSearch|Spawning-AI|netEstate|Dataprovider|facebookexternalhit|meta-externalagent|ImagesiftBot|InternetMeasurement|OAI-SearchBot|SeekportBot|Scrapy) [NC]
RewriteRule ^ – [F]