Ну, пожалуй. Правда в моём случае я формирую работу исходя от фактического листинга посещений, а лопатить всех интернет-провайдеров, по-моему, крайне трудоёмко (там 50K наименований).
Очень туго грузится ссылка, но судя по заголовку там всё - интернет-провайдеры, а для нас актуальны именно хостинг провайдеры, которые чаще всего используются для ботнета, - а это только практическим путём.
Глупости ты пишешь и галлюцинации про вычет ссылочного веса, а также прочие невразумительные фантазии.
Тебе уже 3 человек про это сказали, а ты упрямишься и мусоришь в ветке.
Не все, но большинство, потому что Битерика по части продажи проксей достаточно хорошо разрекламирована. Многие используют их ресурсы.
А вот тут - не все используют Клауд. Я с программистом пилю своё кастомное решения для блокировки бот трафика, поэтому для меня актуален вопрос формирования такого списка.
Никаких вычетов весов из URL-а при использовании дефиса нет и быть не может. Не вводите людей в заблуждение.
Динамический вес зависит.
Статический вес, учитываются ссылки с разных типов документов.
В огороде бузина, в Киеве - дядька.
Я про одно, ты - про другое.
Ещё раз, передача веса не зависит от вида URL.
Насчёт индивидуальности соглашусь, с остальным - не вполне. Практически все сталкиваются с бот трафиком Битерики, банить этого провайдера уже почти по умолчанию. Я по своим сайтам наблюдают, что потихоньку набирается и ещё с десяток самых активных. Пустить этих провайдеров под капчу - это сразу снизить бот активность процентов на 70%, остальной штучный добор конечно не даёт такого процентного роста, но коллективный опыт - дело хорошее.
И всё-таки ботофермы не меняют рабочие IP-каждый день, меняют скорее по техническим причинам (качество связи, цена).
Пока не понимаю про какие парсеры вы говорите, я скорее о том списке провайдеров, откуда чаще всего идёт бот-трафик.
Я думаю, он должен формироваться не из парсеров, а из практики наблюдений за бот трафиком.
В своём ТГ поделитесь или вариант публичного доступа к данным не предполагается?
Я не зарабатываю исключительно на настройке правил для блокирования бот трафика, поэтому вряд ли могу себя причислить к общности "наш". Для меня это одна из множества других задач и поделиться этой информацией с коллегами мне представляется скорее полезным, чем наоборот.
Инструкций для блокирования Битерики в сети предостаточно, а списков хостинг-провайдеров, которые дают волю бот трафику я особо не видел, разве, что в обсуждении - нескольких названий.
Думаете вести этот список коллективно - неудачная затея?
