Динамический вес зависит.
Статический вес, учитываются ссылки с разных типов документов.
В огороде бузина, в Киеве - дядька.
Я про одно, ты - про другое.
Ещё раз, передача веса не зависит от вида URL.
Насчёт индивидуальности соглашусь, с остальным - не вполне. Практически все сталкиваются с бот трафиком Битерики, банить этого провайдера уже почти по умолчанию. Я по своим сайтам наблюдают, что потихоньку набирается и ещё с десяток самых активных. Пустить этих провайдеров под капчу - это сразу снизить бот активность процентов на 70%, остальной штучный добор конечно не даёт такого процентного роста, но коллективный опыт - дело хорошее.
И всё-таки ботофермы не меняют рабочие IP-каждый день, меняют скорее по техническим причинам (качество связи, цена).
Пока не понимаю про какие парсеры вы говорите, я скорее о том списке провайдеров, откуда чаще всего идёт бот-трафик.
Я думаю, он должен формироваться не из парсеров, а из практики наблюдений за бот трафиком.
В своём ТГ поделитесь или вариант публичного доступа к данным не предполагается?
Я не зарабатываю исключительно на настройке правил для блокирования бот трафика, поэтому вряд ли могу себя причислить к общности "наш". Для меня это одна из множества других задач и поделиться этой информацией с коллегами мне представляется скорее полезным, чем наоборот.
Инструкций для блокирования Битерики в сети предостаточно, а списков хостинг-провайдеров, которые дают волю бот трафику я особо не видел, разве, что в обсуждении - нескольких названий.
Думаете вести этот список коллективно - неудачная затея?
Судя по скриншоту вы ведете речь про подсети одного провайдера Comfortel, а говорил про списки провайдеров.
Было бы неплохо завести отдельную тему и обновлять её по мере необходимости.
Хорошо бы и в публичный доступ выложить.
Нет.
Передача веса от вида URL адреса не зависит.
Подниму тему.
Она топ-1 по запросу "bing 100 результатов на странице"
Может у кого есть ответ?
Не совсем понятно, что вы спрашиваете.
Вам нужно спарсить 100 результатов из какой-то отдельной поисковой системы или переназначить вывод поиска на 100 результатов на страницу?
Можно, либо писать своё, либо банить на уровне .htaccess по IP-шникам, либо по признаку в URL-е.
