Форум Практика оптимизации Поисковые технологии

Закрыть сайт от индексации в .htaccess для pr-cy / ahrefs / keyso и т.д.

Cuys
На сайте с 05.12.2016
Offline
195
Cuys
1026

Всем привет. Народ подскажите чтобы не углубляться в тему, скиньте скрипт в .htaccess (вроде в нем эта тема пишется или я путаю?!) как закрыть сервисы для аналитики и мониторинга по типу pr-cy / ahrefs / keyso и т.д.

Буду премного благодарен.

Александр
На сайте с 18.03.2020
Offline
144
Александр
#1 
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (SemrushBot|AhrefsBot|MegaIndex.ru|Bytespider|Bytedance|YouBot|PetalBot|BackupLand|ImagesiftBot|keys-so-bot|ReactorNetty|Feedly|ClaudeBot|GPTBot) [NC]
RewriteRule .* - [F,L]

Сегодня утром, кстати, 2 последних:
ClaudeBot
GPTBot

Чуть сервак мне не положили.

Cuys
На сайте с 05.12.2016
Offline
195
Cuys
#2
Александр #:

Сегодня утром, кстати, 2 последних:
ClaudeBot
GPTBot

Чуть сервак мне не положили.

Вот то что нужно. Большое спасибо!

AD
На сайте с 05.05.2007
Offline
240
ArmenDomain
#3

а Amazonbot где?

Блокируем всех:

Order Allow,Deny
Allow from all
Deny from env=search_bot

или выборочно:

SetEnvIfNoCase User-Agent "^Боткоторыйнадозакрыть" search_bot

Александр
На сайте с 18.03.2020
Offline
144
Александр
#4
ArmenDomain #:
а Amazonbot где?

Я просто работаю с Amazon, а на других моих сайтах - этого бота пока нет (появятся - блокну :P)
Зато в ру сегменте куча всякого треша за последнюю неделю навалило (возможно, только у меня): от GPT ботов, до всяких парсеров.

Метрика встала? Фильтр МПК и боты Агрегаторы не индексируются?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий