- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
А отчего ж все остальные боты заблокированы таким образом и их нет в логах?
вы используете регулярные выражения для блокировки ботов, не понимая их значения, когда вы ставите перед именем бота шляпку ^, то тем самым говорите, что имя бота должно НАЧИНАТЬСЯ с того, что указано далее, а не содержать, уберите как минимум шляпки, чтобы условия проверяли корректно имена ботов, а как максимум, запишите одно нормальное регулярное выражение вместо десятков, например так
RewriteCond %{HTTP_USER_AGENT} ^.*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|collector|grabber|webpictures).*$ [NC]RewriteRule . - [F,L]
а вот мой (nginx)
if ($http_user_agent ~* (PetalBot|MauiBot|GuzzleHttp|DotBot|ZumBot|serpstatbot|YunSecurityBot|IZaBEE|trendiction|vebidoobot|Seekport|ICC\-Crawler|WinHttp|opensiteexplorer|DotBot|alphaseobot|Sogou\s*web|Vagabondo|Re\-re\s*Studio|femtosearch|Uptimebot|psbot|Seopult|HttpUrlConnection|Microsoft\s*URL\s*Control|Detectify|BDCbot|zgrab|Scrapy|Nimbostratus|VelenPublicWebCrawler|Researchscan|LinkpadBot|YisouSpider|Cliqzbot|SemrushBot|VelenPublicWebCrawler|sistrix|SEOkicks|Riddler|Linguee|tracemyfile|python|statdom\.ru|MJ12bot|Apache[\s\-]*HttpClient|megaindex|CCBot|wget|ip\-web\-crawler\.com|curl|BLEXBot|teleport|ZmEu|360\s*Spider|Collapsar\s*TEXT|libwww\-perl|libwww|Snoopy|HuaweiSymantecSpider|TurnitinBot|MJ12bot|Gigabot|SolomonoBot|Ezooms|Indy.*?Library|Feed.*?Parser|Yahoo.*?Pipes|WordPress|AhrefsBot|DLE_Spider) ) {
return 403;
}
DotBot и MJ12bot дважды записаны
DotBot и MJ12bot дважды записаны
И вордпресс бота не надо банить если сайт на вордпрессе.