Яндекс колбасит

У меня такие показатели по отказам исключительно на сервис-сайтах, на которые пользователи приходят для решения своих прикладных задач. Реализовать хотя бы 10% отказов на информационнике еще даже в те золотые времена, когда о ботах никто особо и не слышал - было почти фантастикой. А чтобы был 1-2% - это нужно, чтобы ПС всегда и на 100% выдавали релевантность выдачи на максимум, что при наличии многотысячного хвоста НЧ запросов в день - просто невозможно. Сами поисковики, зачастую, выдавали в ответ сайт по таким запросам, по которым на нем не было и быть не могло информации. В свое время это даже было забавной игрой, заходить в статистику Лайва, переходить в хвост запросов, где их по 1-2 в день и смотреть какую дичь ищут пользователи и что им выдает поисковик в качестве "релевантной" страницы.

Были у меня такие боты на нескольких проектах, ровно с таким поведением - толпой приходили, долго-долго что-то свое качали, а затем резко пропадали. Эффект от них был ровно нулевой, разве что статистику портили своими визитами. Хоть меня и самого смущает бототраф и я по этому поводу несколько раз списывался с тех поддержкой Яндекса, по факту я не видел никакого влияния этого трафика на сайты, хоть он на них тусил месяцами подряд, хоть в мгновение весь пропадал. По итогу я ботов баню лишь тогда, когда они либо начинают критично искажать статистику либо, когда они начинают выгребать тариф у хостера. В остальных случаях от них ни холодно ни жарко.

Вот я в начале тоже так думал: есть боты или нет - только стату портят. Пока не проанализировал все свои запросы и влияние на сайт ботов, приходящих на сайт с этими запросами.
А дальше я углубился в тему и стал крутить сам себе (появились программы, что-то сам дописал), в противовес негативному влиянию на ПФ этими ботами.

Сейчас с уверенность могу сказать: боты - негативно на сайт влияют на длинной дистанции. И негативно влияют на сайты на короткой дистанции, если у сайта слабые ПФ.
Но Вы вольны думать иначе, это Ваши сайты, не мои ;)

Есть четкая взаимосвязь: запросы ботов > блок ботов > запросы ботов Яндекс (проверяют что к чему) > позиции защищаемых страниц.

Вот пример "зеленого" молодого сайта. 100% информационник. Проблем с выдачей сейчас нет.
На сайте 12 статей, после работы над сайтом, по пулам ключей - все в топе. Т.е., все что мне надо - оно в топе и собирает кластер аудитории. На скрине:
Первый график - отказы в %.
Второй график - роботы в %.

Как видно - прямая связь между этими событиями. Как только решили проблему с ботами - сайт перестало шатать и он стал решать поставленные задачи.

Да не то что бы "вольны думать", это элементарные выводы по факту того, что описанная вами модель поведения ботов неоднократно замечена на многих проектах и ни разу не принесла каких-либо изменений в трафике или его монетизации за несколько лет. В связи с чем напрашивается простейший вывод - дело не только и не столько в них. Их влияние, несомненно, как-то учитывается, но это не значит, что только они и решают ситуацию. И можно сколь угодно рассказывать как это работает, есть реальная практика, как это ровно в той же степени не работает.

Естественно.
Речь про комплекс негатива, который тригерится с наличием бототрафа на сайтах.
У меня много примеров по этому поводу. Долго писать. Да и не буду я вываливать инфо ;)

Если кратко подытожить:
Боты - портят жизнь мощному сайту (как болезнь) долго, но исход будет один - смерть.
Либо, если сайт хиленький (ну как у большинства: постят статьи и все), то боты спровоцируют смерть сайта намного быстрее.

Есть пример сайта с такими же отказами на, хотя бы, 5 тысяч статей? Я выше писал, там где у меня сервис-сайты на десять страниц и конкретными запросами пользователей - тоже с отказами все красивое. Это же очевидно, что если вылизывать 10 страниц с условными 10 запросами, которые качаются в топ без хвоста в тысячи запросов в сутки - показатель отказа будет низким, в силу того, что поисковик банально не будет этот сайт выдавать по тонне смежных запросов, по которым на сайте нет ответов, что и создает отказы у реальных пользователей.

Наверное, если у вас 10 страниц, вы качаете только 100 ключей и только за ними следите - боты вам будут мешать. Когда у вас 5-10 тысяч и более страниц с материалами, ключей тысячи и еще несколько тысяч хвостов - наличие 10% отказов от ботов банально никак ни на что не влияет, либо влияет, но крайне не существенно, ибо они все равно никак не передавливают остальные 90% поведенческих от реальных посетителей.

Даже представить не могу такой объем ключей :D
Не в плане - никогда не видел, а в плане: зачем столько говноконтента (если отказов много!), если закрывать задачи можно (и нужно, считаю так) с прицелом куда меньшего кол-ва этого самого контента.
Банально: зачем плодить говностатьи, если эффективнее их не плодить? ;)

Получается полноценный MFA, ничем не отличающийся сейчас от ИИ-парсинга-рерайта. И, как итог, вой на 700+ страниц.
Ну то уже проблемы не мои, мне это совершенно неведомо. Возможно, есть какой-то сакральный или скрытый смысл в этом всем. Но пока что удается собирать десятки тыс аудитории много меньшим кол-вом статей.

Хотя, если бы у меня было 5к+ таких статей, и по отработке пула ключей все было бы как мне надо (у меня просто нет столько задач и охватов, а новостники я даже и не рассматриваю, надо оставить пачку региональных, а остальных, без лицензий - под нож) - то я даже не знаю сколько бы получилось трафа собрать ;)

То есть, по вашему, например, Вики - это говноконтент? ) Вы реально качество сайта оцениваете только по количеству материала на нем? )

Вы еще скажите, что на новостниках нужно заниматься ключами при том, что у них каждый день новый инфоповод выстреливает, а на следующий день новые заголовки и новые ключи. По поводу отказов для таких больших информационников я написал выше, почему они возникают. Не потому, что контент "говно", а в силу того, что поисковики умудряются давать трафик по НЧ, по материалам, которых на таком информационнике просто нет. И ничего вы с этим поделать не сможете.

В том и дело, что вы судите только малыми нишами, а вам рассказывают о норме отказов и работе с сайтами с количеством контента, с которым вы не работали. А еще и смысла там с ним работать нет, потому что все ваши знания будут разбиваться о масштабность происходящего, когда вы в принципе физически не сможете обработать и учесть такую тонну контента и ключей )) На ваши 100 ключей в работу на месяц у новостника в день появляется несколько десятков тысяч НЧ по инфоповоду ))

Нет. Речь про монстров, на старте оказавшихся в своем месте и времени или про сайты рядовых пользователей? - это совсем разные вещи.

Я про них и написал, что не рассматриваю их к работе, так как коммерческих перспектив никаких не вижу в этом.

Вот откуда такие выводы? ;) Работал, работаю, и буду работать, пока не надоест ;))) Но свои проекты-то я веду исключительно для коммерции. Сайты, коммерческая составляющая которых и заключается в наличии контента - это ГС, который рано или поздно закроется (Вы и сами это понимаете).
И вот с высоты этих наработок - пишу.

Есть 2 стороны монеты:
1. Зависит от вебмастера.
2. Зависит от ПС.

И вот когда вебмастер не в состоянии переварить объем ключей (а в подавляющем большинстве это и происходит), то на выходе получается монстр с 5к говностатьями ни о чем.
Часто вижу сайты коллег, стратегия которых: больше страниц > больше баннеров > больше заработок. И когда получается балансировать на качестве этих статей - все нормально (смотрим п1.)
А когда "надрываются", все сыплется как карточный домик (смотрим п2.), так как в работу вклинивается ПС, алгоритмы которых оценивают общий "траст" сайта.

Давно был meet, и там обсуждалась интересная тема: "Когда ПС считает твой сайт трастовым, это - хорошо или плохо?"
Хорошо, когда удается держать планку.
Плохо, когда ПС начинает эту планку повышать, закидывая по хвостам всякую дичь (я знаю о чем Вы пишете, это есть у каждого крупного сайта).
И вот когда это начинает происходить: если не обращать внимание на другие негативные факторы (привет боты :D) - сайту хана.

Поэтому я и не берусь за сайты "Все обо всем" (сейчас опыт-то наработан, но смысла не вижу в таких проектах). Такой сайт умрет, так как невозможно на 5к статей размазывать описание табуретки (ну, условно).

Если есть проект, в который можно вместить 5к статей и они не утопят сайт, то бюджеты таких сайтов - десятки млн рублей (если не сотни) (чтобы он был коммерчески успешным), в противном случае, это - ГС, которому место на дне.
Что мы и получаем в данной и соседней теме про РСЯ ;)