Защита от ботов для молодого сайта

12
IW
На сайте с 04.04.2021
Offline
22
833

 Здравствуйте. Стоит ли на заре создания нового сайта сразу же позаботиться о безопасности сайта от ботов ( информационный сайт)? К примеру установить клоудфлаер И Т,п? Заметил, что у нового сайта ботов навалом, портят ли они поведенческие факторы не давая возможность продвинуться страницам в топ ? 

Chippolino
На сайте с 13.12.2023
Offline
5
#1
IlnurWeb :

Здравствуйте. Стоит ли на заре создания нового сайта сразу же позаботиться о безопасности сайта от ботов ( информационный сайт)? К примеру установить клоудфлаер И Т,п? Заметил, что у нового сайта ботов навалом, портят ли они поведенческие факторы не давая возможность продвинуться страницам в топ ? 

Стоит сразу озаботиться, а то испортят ПФ так что не будет роста

Антоний Казанский
На сайте с 12.04.2007
Online
617
#2
IlnurWeb :
Стоит ли на заре создания нового сайта сразу же позаботиться о безопасности сайта от ботов ( информационный сайт)? К примеру установить клоудфлаер

Да.


IlnurWeb :
Заметил, что у нового сайта ботов навалом, портят ли они поведенческие факторы не давая возможность продвинуться страницам в топ ? 

Так и есть, хотя больше бот трафик мешает коммерческим сайтам, занижая статистику конверсий.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
GoRSS
На сайте с 29.07.2013
Offline
138
#3
Свежий пример. Сайт стартанул месяц назад, плавно набирает трафик. Трафик + боты = даун сайта. В сутки ложился по 10-15 раз. Вернее, не ложился, а не открывал новые коннекты. Соответственно, боты ПСов получали 502 ответ, что вряд ли позитивно сказывается на ранжировании. Ботов заблочили (ahrefs, majestic и т.д.), сервер перестал рубить коннекты, трафик +50%.  
https://commersoft.ru - софт: Google Indexing [индексация в Гугле по API] - Webcontrol [мониторинг сайтов и доменов]
L
На сайте с 25.12.2013
Offline
316
#4
GoRSS #:
Свежий пример. Сайт стартанул месяц назад, плавно набирает трафик. Трафик + боты = даун сайта. В сутки ложился по 10-15 раз. Вернее, не ложился, а не открывал новые коннекты. Соответственно, боты ПСов получали 502 ответ, что вряд ли позитивно сказывается на ранжировании. Ботов заблочили (ahrefs, majestic и т.д.), сервер перестал рубить коннекты, трафик +50%.  

Ботов всяких сайтов аналитиков нужно резать обязательно, тоже всех их поблочил через cloudflare, сайты стали работать шустрее и стабильней.

Недорогой, надежный и отзывчивый VPS хостинг ( https://bit.ly/3eXUnNN ) Проверенная пуш партнерка с ежедневными выплатами ( https://vk.cc/9wLSrL)
не хаос
На сайте с 18.10.2021
Offline
31
#5
Lastwarrior #:

Ботов всяких сайтов аналитиков нужно резать обязательно, тоже всех их поблочил через cloudflare, сайты стали работать шустрее и стабильней.

Есть какие-нибудь плагины или простенькие настройки для вордпрес, чтобы отсечь ботов сайтов - парсеров и аналитиков, за исключением ботов ПС? Послать их в известном направлении, другими словами.

Антоний Казанский
На сайте с 12.04.2007
Online
617
#6
не хаос #:
Есть какие-нибудь плагины или простенькие настройки для вордпрес, чтобы отсечь ботов сайтов

Простеньких нет, простенькие работают по простеньким принципам на уровне отсева IP-шников по готовым базам и серым подсетям.

Парсинг, ботогенерация (и задачи связанные с ними) - это теперь отдельные специализации и простых решений взять и избавить свой сайт от всего этого здесь нет.

Даже CF обходится поведенческими ботами, когда очень надо. 

не хаос
На сайте с 18.10.2021
Offline
31
#7
Антоний Казанский #:

Простеньких нет, простенькие работают по простеньким принципам на уровне отсева IP-шников по готовым базам и серым подсетям.

Парсинг, ботогенерация (и задачи связанные с ними) - это теперь отдельные специализации и простых решений взять и избавить свой сайт от всего этого здесь нет.

Даже CF обходится поведенческими ботами, когда очень надо. 

Нашел в сети такую инфу, это не фейк? -

"В robots.txt:

# Alexa: https://support.alexa.com/hc/en-us/articles/200450194-Alexa-s-Web-and-Site-Audit-Crawlers

User-agent: ia_archiver
Disallow: /

# archive.org
User-agent: archive.org_bot
Disallow: /

# Ahrefs: https://ahrefs.com/robot
User-agent: AhrefsBot
Disallow: /

# MOZ: https://moz.com/help/moz-procedures/crawlers/rogerbot
User-agent: rogerbot
Disallow: /

# MOZ: https://moz.com/help/moz-procedures/crawlers/dotbot
User-agent: dotbot
Disallow: /

# DataForSeo https://dataforseo.com/dataforseo-bot
User-agent: DataForSeoBot
Disallow: /

# Semrush: https://www.semrush.com/bot/
User-agent: SemrushBot
Disallow: /

User-agent: SiteAuditBot
Disallow: /

User-agent: SemrushBot-BA
Disallow: /

User-agent: SemrushBot-SI
Disallow: /

User-agent: SemrushBot-SWA
Disallow: /

User-agent: SemrushBot-CT
Disallow: /

User-agent: SemrushBot-BM
Disallow: /

User-agent: SplitSignalBot
Disallow: /

# Majestic: https://mj12bot.com/
User-agent: MJ12bot
Disallow: /

# SerpStat: https://serpstatbot.com/
User-agent: serpstatbot
Disallow: /

# MegaIndex: https://ru.megaindex.com/blog/seo-bot-detection
User-agent: MegaIndexBot
Disallow: /

# SEO-PowerSuite-bot: https://www.link-assistant.com/seo-workflow/site-audit.html
User-agent: SEO-PowerSuite-bot
Disallow: /

User-agent: *
Disallow:"
Антоний Казанский
На сайте с 12.04.2007
Online
617
#8
не хаос #:
Нашел в сети такую инфу, это не фейк?

Не фейк. Просто надо понимать о чём тут идёт речь.

Речь идёт о инструкциях в robots.txt на то, чтобы роботы, которые представляются указанными (в поле User-Agent) по возможности не индексировали сайт.

Так вот.

Указанные сервисы просто игнорируют данные инструкции, во-вторых, здесь речь про ботов - сборщиков данных. Они (кроме доп. нагрузки на сервер) не создают серьёзных проблем.

Серьёзные проблемы создают поведенческие боты, которые имитируют действия пользователей в браузере и при умелом использовании (того, кто ими управляет) засчитываются статистикой как люди.

не хаос
На сайте с 18.10.2021
Offline
31
#9
Антоний Казанский #:

Не фейк. Просто надо понимать о чём тут идёт речь.

Обьясните пжл желательно кратко, при этих вышеуказанных настройках через роботс обычные, непродвинутые юзеры не смогут анализировать сайт?

Антоний Казанский
На сайте с 12.04.2007
Online
617
#10
не хаос #:
Обьясните пжл желательно кратко

Пожалуйста.


не хаос #:
при этих вышеуказанных настройках через роботс обычные, непродвинутые юзеры не смогут анализировать сайт?

Указанные настройки в robots.txt к возможностям анализа сайта пользователями не относятся.

Они в принципе бесполезны, ибо необязательны к выполнению.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий