Подскажите по закрытию ботов

J
На сайте с 15.11.2011
Offline
86
170

Вижу на крупных сайтах закрытие в robots.txt ботов контекстной рекламы, соцсетей

Это для снижения нагрузки на сервер или еще какие причины?

User-Agent: YandexDirect
Disallow:

User-agent: Twitterbot
Disallow:
User-agent: AdsBot-Google
Disallow:

User-agent: AdsBot-AdIdxBot
Disallow:


Mik Foxi
На сайте с 02.03.2011
Offline
930
#1
не путайте 
Disallow:

и 

Disallow: /

первый наоборот разрешает ходить везде, второй запрещает везде.

Антибот защита сайта от накрутки поведенческих, от спама, взлома и поиска xss, от хит и клик ботов, от парсинга и кражи контента, снижение нагрузки на сервер - https://antibot.cloud/ Вам все еще конкуренты генерят отказы?
J
На сайте с 15.11.2011
Offline
86
#2
Mik Foxi #:
не путайте 

и 

первый наоборот разрешает ходить везде, второй запрещает везде.

Да, пример кода иллюстрирует открытие всего для этих ботов, спасибо, я видимо выдал желаемое за действительное, искал, кто как закрывает.

И все-таки нужно ли закрывать сайт от ботов и если да, то от каких?

Примет от одного из крупных маркетплейсов:

User-Agent: DISCo Pump
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-agent: psbot
Disallow: /

User-agent: gigabot
Disallow: /

User-agent: Twiceler
Disallow: /

User-agent: NetinfoBot
Disallow: /

User-agent: ia_archiver
Disallow: /
Виктор Петров
На сайте с 05.01.2020
Offline
79
#3
justuser #:
И все-таки нужно ли закрывать сайт от ботов и если да, то от каких?

Тех, что щупают админку на предмет уязвимости, парсеры - все, кроме поисковых, ботов веб-сервисов (хоть тот же ахрефс), фейки. Можно прибить ботов ПС, которые не приводят целевой трафик, это уже опционально.

SEO-аудиты и консультации (https://textarget.ru)
-S
На сайте с 10.12.2006
Offline
Модератор1219
#4
justuser #:
И все-таки нужно ли закрывать сайт от ботов и если да, то от каких?

Если вы не понимаете зачем закрывать, то пока вам это не нужно. Их нужно закрывать физически, а не в роботсе, так как роботс - рекомендация, а не ограничение.

SEO продвижение сайтов - https://searchengines.guru/ru/forum/857531
alaev
На сайте с 18.11.2010
Online
497
#5
justuser :
Это для снижения нагрузки на сервер или еще какие причины?

Если закрывать от ботов, то делается это примерно так:

https://404.su/examples/txt/.htaccess.txt

в файле htaccess. Тогда они точно не буду доходить до сайта.

Продвижение сайтов - Alaev.net

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий