Форум Практика оптимизации Общие вопросы оптимизации

Подскажите по закрытию ботов

J
На сайте с 15.11.2011
Offline
116
justuser
425

Вижу на крупных сайтах закрытие в robots.txt ботов контекстной рекламы, соцсетей

Это для снижения нагрузки на сервер или еще какие причины?

User-Agent: YandexDirect
Disallow:

User-agent: Twitterbot
Disallow:
User-agent: AdsBot-Google
Disallow:

User-agent: AdsBot-AdIdxBot
Disallow:


Mik Foxi
На сайте с 02.03.2011
Offline
1076
Mik Foxi
#1
не путайте  
Disallow:

и 

Disallow: /

первый наоборот разрешает ходить везде, второй запрещает везде.

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
J
На сайте с 15.11.2011
Offline
116
justuser
#2
Mik Foxi #:
не путайте 

и 

первый наоборот разрешает ходить везде, второй запрещает везде.

Да, пример кода иллюстрирует открытие всего для этих ботов, спасибо, я видимо выдал желаемое за действительное, искал, кто как закрывает.

И все-таки нужно ли закрывать сайт от ботов и если да, то от каких?

Примет от одного из крупных маркетплейсов:

User-Agent: DISCo Pump
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-agent: psbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: NetinfoBot
Disallow: /

User-agent: ia_archiver
Disallow: /
Виктор Петров
На сайте с 05.01.2020
Offline
240
Виктор Петров
#3
justuser #:
И все-таки нужно ли закрывать сайт от ботов и если да, то от каких?

Тех, что щупают админку на предмет уязвимости, парсеры - все, кроме поисковых, ботов веб-сервисов (хоть тот же ахрефс), фейки. Можно прибить ботов ПС, которые не приводят целевой трафик, это уже опционально.

https://t.me/seomagus
-S
На сайте с 10.12.2006
Online
Модератор1355
-= Serafim =-
#4
justuser #:
И все-таки нужно ли закрывать сайт от ботов и если да, то от каких?

Если вы не понимаете зачем закрывать, то пока вам это не нужно. Их нужно закрывать физически, а не в роботсе, так как роботс - рекомендация, а не ограничение.

alaev
На сайте с 18.11.2010
Offline
700
alaev
#5
justuser :
Это для снижения нагрузки на сервер или еще какие причины?

Если закрывать от ботов, то делается это примерно так:

https://404.su/examples/txt/.htaccess.txt

в файле htaccess. Тогда они точно не буду доходить до сайта.

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий