WebStorm#: согласен, но для получения списка подсетей, хоть и не полного, для уже определённого хостинг провайдера, от которого идут запросы, это годится
Ну, пожалуй. Правда в моём случае я формирую работу исходя от фактического листинга посещений, а лопатить всех интернет-провайдеров, по-моему, крайне трудоёмко (там 50K наименований).
WebStorm#: для меня тоже, к сожалению не нашёл той базы, о которой говорит Mik Foxi, но нашёл вот это, к сожалению там не полный список, например там нет спам-провайдера Rodion Vostrikov: https://suip.biz/ru/?act=all-isp
Очень туго грузится ссылка, но судя по заголовку там всё - интернет-провайдеры, а для нас актуальны именно хостинг провайдеры, которые чаще всего используются для ботнета, - а это только практическим путём.
Не все, но большинство, потому что Битерика по части продажи проксей достаточно хорошо разрекламирована. Многие используют их ресурсы.
Анти ДДОС#: Но чтобы просто внести к себе в правила, достаточно полистать тему ко клауду.
А вот тут - не все используют Клауд. Я с программистом пилю своё кастомное решения для блокировки бот трафика, поэтому для меня актуален вопрос формирования такого списка.
Анти ДДОС#: Это все индивидуально. Сегодня ботоферма закупила одни айпи, а завтра другие. Сегодня одна активна. завтра другая. Это все плавающие и индивидуальные вещи, трафик того или иного сайта в разрезе. Так что если собирать левые списки айпи у сторонних вебмастеров, загадите себе место в правилах бесполезным мусором.
Насчёт индивидуальности соглашусь, с остальным - не вполне. Практически все сталкиваются с бот трафиком Битерики, банить этого провайдера уже почти по умолчанию. Я по своим сайтам наблюдают, что потихоньку набирается и ещё с десяток самых активных. Пустить этих провайдеров под капчу - это сразу снизить бот активность процентов на 70%, остальной штучный добор конечно не даёт такого процентного роста, но коллективный опыт - дело хорошее.
Анти ДДОС#: Сегодня ботоферма закупила одни айпи, а завтра другие.
И всё-таки ботофермы не меняют рабочие IP-каждый день, меняют скорее по техническим причинам (качество связи, цена).
Там таки был фактор количества слешей в урлах страниц.
Был и есть, называется FI_NUM_SLASHES
Но
а) далеко не в первой десятке и даже не в первой сотне приоритетных
б) на больших и крупных сайтах с множеством разделов и разнородной информацией приходится использовать большую вложенность.
И как показывает практика, это не мешает высоко ранжироваться документу.
согласен, но для получения списка подсетей, хоть и не полного, для уже определённого хостинг провайдера, от которого идут запросы, это годится
Ну, пожалуй. Правда в моём случае я формирую работу исходя от фактического листинга посещений, а лопатить всех интернет-провайдеров, по-моему, крайне трудоёмко (там 50K наименований).
для меня тоже, к сожалению не нашёл той базы, о которой говорит Mik Foxi, но нашёл вот это, к сожалению там не полный список, например там нет спам-провайдера Rodion Vostrikov: https://suip.biz/ru/?act=all-isp
Очень туго грузится ссылка, но судя по заголовку там всё - интернет-провайдеры, а для нас актуальны именно хостинг провайдеры, которые чаще всего используются для ботнета, - а это только практическим путём.
образования не хватает у вас понять, о чём вам уже пишут? Опять про свои URL и правила.
Глупости ты пишешь и галлюцинации про вычет ссылочного веса, а также прочие невразумительные фантазии.
Тебе уже 3 человек про это сказали, а ты упрямишься и мусоришь в ветке.
Не все сталкиваются.
Не все, но большинство, потому что Битерика по части продажи проксей достаточно хорошо разрекламирована. Многие используют их ресурсы.
Но чтобы просто внести к себе в правила, достаточно полистать тему ко клауду.
А вот тут - не все используют Клауд. Я с программистом пилю своё кастомное решения для блокировки бот трафика, поэтому для меня актуален вопрос формирования такого списка.
Текст не делиться, но минус перед словом это вычет слова или не использование его.
Никаких вычетов весов из URL-а при использовании дефиса нет и быть не может. Не вводите людей в заблуждение.
Динамический вес зависит.
Статический вес, учитываются ссылки с разных типов документов.
В огороде бузина, в Киеве - дядька.
Я про одно, ты - про другое.
Ещё раз, передача веса не зависит от вида URL.
Это все индивидуально. Сегодня ботоферма закупила одни айпи, а завтра другие. Сегодня одна активна. завтра другая. Это все плавающие и индивидуальные вещи, трафик того или иного сайта в разрезе. Так что если собирать левые списки айпи у сторонних вебмастеров, загадите себе место в правилах бесполезным мусором.
Насчёт индивидуальности соглашусь, с остальным - не вполне. Практически все сталкиваются с бот трафиком Битерики, банить этого провайдера уже почти по умолчанию. Я по своим сайтам наблюдают, что потихоньку набирается и ещё с десяток самых активных. Пустить этих провайдеров под капчу - это сразу снизить бот активность процентов на 70%, остальной штучный добор конечно не даёт такого процентного роста, но коллективный опыт - дело хорошее.
Сегодня ботоферма закупила одни айпи, а завтра другие.
И всё-таки ботофермы не меняют рабочие IP-каждый день, меняют скорее по техническим причинам (качество связи, цена).
да. он ведется автоматически парсерами.
Пока не понимаю про какие парсеры вы говорите, я скорее о том списке провайдеров, откуда чаще всего идёт бот-трафик.
Я думаю, он должен формироваться не из парсеров, а из практики наблюдений за бот трафиком.
конец базы )) для ipv6 тоже есть.
В своём ТГ поделитесь или вариант публичного доступа к данным не предполагается?