Вечером запустил фриномовские доры в линковку со старых доров. Утром уже по 5 страниц индекса.
Хитроботы яндекса ломятся на дорвеи. За вечер пару тысяч заходов. Сама метрика их не засчитывает. Антибота они не проходят. Они вообще какие-то примитивные. Заметьте, какое обширное гео у них. Почему думаю что это хитроботы яндекса? Потому что никто другой эти толком не проиндексированные дорвеи не может в индексе найти, их часто и нету в индексе, но "траф" идет...
Этих списков полно, но у каждого они свои, под свои нужды. Лучше не пользоваться такими списками бездумно, а создавать свой, основываясь на своих логах и своих потребностях. Т.к. другие могут банить ботов, которые вам нужны. И не нужно брать особенно гигантские паблик списки, в которых большинство ботов никогда и не придут к вам, зато читать на каждый хит гигантский хтасес - это тоже нагрузка.
Я баню только совсем сильно надоедливых, которые надоедают мне. С остальным справляется антибот.
Вносят домен, для тех кто умеет DPI, для деревенских провайдеров которые умеют только по ip банить - вносят ip.
По моей стате (на облачном антиботе, есть у меня там фильтр специальный) основанной на 3 млн униках трафа в сутки - процентов 30 россиян в среднем в месяц имеют проблемы с доступом к сайту который на бесплатном турифе клауда.---------- Добавлено 05.04.2020 в 09:50 ----------Сайт на этих ипах:
104.24.114.113 заблокирован, идентификатор записи #320223
104.24.115.113 заблокирован, идентификатор записи #320224
Если есть GET параметр fbclid, то метрика считает это переходом с фейсбука.
А сайт у вас зачем? Если для продажи товара, то решайте проблему "видят цену - уходят". От того что поведенческие в метрике у вас будут красивее - люди не станут покупать по высокой цене.
на клауде постоянно "мигают" баны, т.е. ип может быть неделю в бане, неделю без бана. На сайте РКН можно посмотреть логи, сколько там по каждому ипу выносится решений.
Пример сайта, на 3,2к запросов людей и 1,2к белых ботов (гугл, яндекс, мейл, бинг) больше 6к запросов (failed+blocked) говноботов. Это при том что говноботы стопаются и не видят 100500 ссылок по сайту, по которым бы они пошли, если их не остановить.
И многие прикидываются гуглом, это самые любители влупить кучу потоков без задержек:
Стремные все какие-то, или школота или банкроты с датацентрами в аренде 🤪
Любой крупный бурж хостинг, это ру человек-оркест может заболеть и хана всему хостингу. А в крупных буржуйских человек это расходный материал который легко взаимозаменяем.
