Не все, но большинство, потому что Битерика по части продажи проксей достаточно хорошо разрекламирована. Многие используют их ресурсы.
А вот тут - не все используют Клауд. Я с программистом пилю своё кастомное решения для блокировки бот трафика, поэтому для меня актуален вопрос формирования такого списка.
Никаких вычетов весов из URL-а при использовании дефиса нет и быть не может. Не вводите людей в заблуждение.
Динамический вес зависит.
Статический вес, учитываются ссылки с разных типов документов.
В огороде бузина, в Киеве - дядька.
Я про одно, ты - про другое.
Ещё раз, передача веса не зависит от вида URL.
Насчёт индивидуальности соглашусь, с остальным - не вполне. Практически все сталкиваются с бот трафиком Битерики, банить этого провайдера уже почти по умолчанию. Я по своим сайтам наблюдают, что потихоньку набирается и ещё с десяток самых активных. Пустить этих провайдеров под капчу - это сразу снизить бот активность процентов на 70%, остальной штучный добор конечно не даёт такого процентного роста, но коллективный опыт - дело хорошее.
И всё-таки ботофермы не меняют рабочие IP-каждый день, меняют скорее по техническим причинам (качество связи, цена).
Пока не понимаю про какие парсеры вы говорите, я скорее о том списке провайдеров, откуда чаще всего идёт бот-трафик.
Я думаю, он должен формироваться не из парсеров, а из практики наблюдений за бот трафиком.
В своём ТГ поделитесь или вариант публичного доступа к данным не предполагается?
Я не зарабатываю исключительно на настройке правил для блокирования бот трафика, поэтому вряд ли могу себя причислить к общности "наш". Для меня это одна из множества других задач и поделиться этой информацией с коллегами мне представляется скорее полезным, чем наоборот.
Инструкций для блокирования Битерики в сети предостаточно, а списков хостинг-провайдеров, которые дают волю бот трафику я особо не видел, разве, что в обсуждении - нескольких названий.
Думаете вести этот список коллективно - неудачная затея?
Судя по скриншоту вы ведете речь про подсети одного провайдера Comfortel, а говорил про списки провайдеров.
Было бы неплохо завести отдельную тему и обновлять её по мере необходимости.
Хорошо бы и в публичный доступ выложить.
Нет.
Передача веса от вида URL адреса не зависит.
