Я таким методом блочу рекламных ботов, которые гугл рекламу проверяют, там 200к запросов в сутки.. Доход только больше стал))
Как зовут рекламных роботов Гугла?В нынешних условиях Гугл не кручу, но расширить горизонт познаний всегда хорошо :)
Часть из них могут быть посетители с впном, это достаточно популярная страна у многих приложений/расширений
Теоретически - да. На практике в логах нормальных заходов из Нидерландов не видел.
Может быть актуально для сайтов с запрещенкой, под блоком РКН. Но это не случай ТС.
Я и Тор прикрыл, уж больно не хорошие запросы с этого браузера приходят.
Спасибо за ссылки конечно, Relap fetcher и weborama-fetcher у меня давно под блоком.
На сайте висит РСЯ.
Мне интересно VKRobotRB является продуктом VK или нет?
Бота только сегодня нашел в логах. Непонятно чей. Судя по вашим логам нагрузку он дает большую, значит правильно отправил его в блок.
Воровство - беда.
Но сейчас бОльшую проблему создают не копипасты даже, а компиляты. Это когда на 1 тему собирают данные из разных источников и сваливают их в кучу. Там уже и с авторскими правами сложнее. Могут часть текста взять, а не весь. Это уже цитирование, а не полное копирование. Поди докажи хоть в суде, хоть через хостинг.
Недавний МПК от Яши выявил эту проблему (мой сайт улетел под МПК из-за компилятов).
За Cloud подвтерждаю - трафик режет жестко. Уже 3-й месяц с ним экспериментирую, много чего для себя открыл))) То закручивал гайки, то откручивал.
Те настройки, которые в мануалах раскиданы по РУнету не вполне корректны. Вот траф и режется. Но советы давать не буду, не дорос))
А вот по поводу блокировок дам совет: сколько я за диджитал океан наблюдал, оттуда прут только роботы, парсеры, сканеры. У них 2 сети - с одной переходы были только четко из Нидердандов ( 14061 ), со второй - Нидерланды и Германия ( 200197 ). Есть и другие сети, например 212238. По началу ставил их на капчу, блокировал отдельные IP, потом плюнул и полностью заблочил сети. Поперли боты с других сетей... В итоге я вообще Нидерланды закрыл. Ну сколько там русскоязычных чтобы мне с сетями ботов бороться, стоит ли оно того? В моем случае точно нет.
И да, сетку 8075 тоже блочьте сразу.
Блочьте всякие экзотичексие страны. Как вы думаете, сколько трафика вы можете получить из Афганистана, Бутана, Новой Гвинеи и прочих ? Вам тут правильно пишут - блокируйте не целевые страны. Даже в целевых (допустим СНГ) проблем хватает. А бодаться со всем миром... У вас на это все силы и будут уходить вместо развития сайта.
Просматривайте логи и ставьте ограничения на число запросов. Или настраивайте Claud и там отслеживайте блокируйте.
Но это не панацея. Увы, ее не существует. 100% защита только одна - написать на бумаге и спрятать в стол, а лучше вообще не писать и держать в голове ;)
Нашел эту тему по запросу "keys-so-bot".
Эта фиговина теперь и по другим ASN. Были переходы с моего хостинга (бегет) (был настроен как skip).IP разные, полагаю их немало. У себя за последние 6 часов нашел 4 шт.
К сожалению после снятия МПК трафик восстановился лишь частично. Примерно 1/3 от былого.Могу лишь предположить, что забанили лишь те компиляты, на которые я кидал жалобы + те, что смог найти алгоритм.У меня огромный хвост НЧ, просканировать все не реально. Но что заметил - по поиску в кавычках нет-нет да находятся компиляты.Алгоритм сырой.
В Яндексе до человека в поддержке бывает сложно добраться. Даже по важному вопросу.
Жалобы из поисковой выдачи скорее всего оцениваются автоматически.
Что, кроме лени и тупости, помешает дорвейщику добавить в свой скрипт проверки позиций несколько строк, иногда отправляющих жалобы на конкурентов из топа?
Насмешил 😅
А кто сказал, что дорвейщик не ленив?
Туп - нет.
Но лень - свойство всех людей.
Уверен, что 90% поленятся.
А кому не лень - см. выше. Картинки с водяным знаком моего сайта им чтоль отправлять или что?
Такое ощущение, что в дискуссию вмешались аккурат представители тех самых дорвеев...
Жалобы принимает робот, а рассматривает кто?
И да, в случае РСЯ я кидал жалобы человеку, не роботу. Могу подтвердить перепиской. Мы там мило пообщались)))
Постепенно появляется стимул создавать под РСЯ сайты на парсинге.
Это личный выбор.
Я работаю на пользователей, не РСЯ.
А вы? Работаете на людей или ...?
Любопытно будет сравнить. Лет эдак через 5.
Впрочем, с Я не удивлюсь любым результатам.
Не исключено, что они кидают десяток-другой (а может и сотню) жалоб в день на ваш сайт с помощью ботов.
Кидают, и что?
Где их доказательства?
Дата публикации или индексации? Вебархив?
Может картинки с моими водяными знаками?
Как я писал выше - никакх мер не принято до сих пор. Жалобы на ГС как меру действия я не рассматриваю. Читать разучились?
Сегодня выдалось свободное время.
Снял позиции по сайту под МПК.Почти восстановились. В худшее время падение было вплоть до полного вылета, но в среднем от -30 до -50 позиций.Сейчас большая часть НЧ восстановились полностью либо от -1 до -3 позиций. СЧ и ВЧ в среднем -10 позиций.Метка МПК по-прежнему висит.
Что делал:- писал в ТП Яндекса (ответа до сих пор нет);- кидал жалобы "поисковый спам" на тех, кто спарсил контент;- кидал жалобы в чат РСЯ на нарушение правил РСЯ тех, кто спарсил контент (конечно, если у них крутилось РСЯ) - РСЯ висят до сих пор;- добавил несколько свежих статей на сайт;- переделал (расширил содержание) 5-7 статей на сайте;- 4 дня назад врубил cloudfire: не значительное улучшение поведенческих - время, отказы, роботность.
Т.к. проект не маленький (~900 стр) мои собственные переделывания статей и жалобы на парсеров в общем объеме ничтожны (~0,5%). В cloudfire я тоже не верю.
Глянул живую выдачу по своим запросам. Ранее компилят был выше оригинала, сейчас мой оригинал выше компилята. Сам компилят, плагиат и нейронки в выдаче присутствуют.
Ждем новостей.
