Да, много лет назад уже надо было создавать ресурс и набивать его контентом.
"Как мало пройдено дорог, как много сделано ошибок."
Пожалуйста.
Указанные настройки в robots.txt к возможностям анализа сайта пользователями не относятся.
Они в принципе бесполезны, ибо необязательны к выполнению.
То есть если включить эти настройки, любой юзер сможет все равно проанализировать этот, сторонний для него, сайт через, например, ахрефс или семруш?
Не фейк. Просто надо понимать о чём тут идёт речь.
Обьясните пжл желательно кратко, при этих вышеуказанных настройках через роботс обычные, непродвинутые юзеры не смогут анализировать сайт?
Простеньких нет, простенькие работают по простеньким принципам на уровне отсева IP-шников по готовым базам и серым подсетям.
Парсинг, ботогенерация (и задачи связанные с ними) - это теперь отдельные специализации и простых решений взять и избавить свой сайт от всего этого здесь нет.
Даже CF обходится поведенческими ботами, когда очень надо.
Нашел в сети такую инфу, это не фейк? -
"В robots.txt:
# Alexa: https://support.alexa.com/hc/en-us/articles/200450194-Alexa-s-Web-and-Site-Audit-Crawlers User-agent: ia_archiver Disallow: / # archive.org User-agent: archive.org_bot Disallow: / # Ahrefs: https://ahrefs.com/robot User-agent: AhrefsBot Disallow: / # MOZ: https://moz.com/help/moz-procedures/crawlers/rogerbot User-agent: rogerbot Disallow: / # MOZ: https://moz.com/help/moz-procedures/crawlers/dotbot User-agent: dotbot Disallow: / # DataForSeo https://dataforseo.com/dataforseo-bot User-agent: DataForSeoBot Disallow: / # Semrush: https://www.semrush.com/bot/ User-agent: SemrushBot Disallow: / User-agent: SiteAuditBot Disallow: / User-agent: SemrushBot-BA Disallow: / User-agent: SemrushBot-SI Disallow: / User-agent: SemrushBot-SWA Disallow: / User-agent: SemrushBot-CT Disallow: / User-agent: SemrushBot-BM Disallow: / User-agent: SplitSignalBot Disallow: / # Majestic: https://mj12bot.com/ User-agent: MJ12bot Disallow: / # SerpStat: https://serpstatbot.com/ User-agent: serpstatbot Disallow: / # MegaIndex: https://ru.megaindex.com/blog/seo-bot-detection User-agent: MegaIndexBot Disallow: / # SEO-PowerSuite-bot: https://www.link-assistant.com/seo-workflow/site-audit.html User-agent: SEO-PowerSuite-bot Disallow: / User-agent: * Disallow:"
Если не секрет, сколько посетителей и сколько обычно дает рся? Спасибо.
Зависит от тематики, примерно, за сто уников несколько рублей.
Ботов всяких сайтов аналитиков нужно резать обязательно, тоже всех их поблочил через cloudflare, сайты стали работать шустрее и стабильней.
Есть какие-нибудь плагины или простенькие настройки для вордпрес, чтобы отсечь ботов сайтов - парсеров и аналитиков, за исключением ботов ПС? Послать их в известном направлении, другими словами.
Такие, от которых Вашему сайту будет хорошо, да и Вам неплохо. 😂
Слушайте, ну, с хороших сайтов, в основном, тематических, в естественном количестве и т.д., и т.п.
а сайтам донорам это нужно? им то какой интерес?
Скрины от простых работяг которым яндекс позволяет кормить свои семьи 😂
Нет я конечно понимаю что рся накидывает крупным проектам cpm x 5 , просто так, чтобы было. Но тогда получается что яндекс это Робингуд наоборот - отнимает у нищих и раздает богатым, потому что богатые это сила, а потом богатые еще и предъявляют претензии бедным, типа работать надо лучше!
