Сайт сканируется понятно кем.Непонятно для каких целей.Хочешь? - блокируй, AS известна, только ты это будешь делать только из-за своего мнения, нехватки достаточного кол-ва информации и по собственным впечатлениям, что может сыграть злую шутку со всеми остальными.
Вообще, я бы поостерегся голословно утверждать что кто-то там что-то подставил.Ты сначала все проверь как следует, узнай все моменты.Напиши в ТП в VK, в конце концов.
А потом призывай-навязывай ;)
Я не прошу же волноваться, что я делаю.
Я тему создал подсказать, что парсят под видом старого бота маил.ru и он у многих в белых списках.
Я заблокировал весь AS посмотреть, какие посещения есть. Так вот сканируют мой сайт только с хостинга M100 LLC.
P.S.
Даже превьюшек нету. 😄
vkShare, например ;)Блокнешь AS, потом будешь интересоваться, почему это при шаринге в VK не подгружаются превью ;)
Просто пропиши в роботс:User-agent: Mail.RU_Bot Disallow: /
Если и потом полезут сканировать - уже утверждай, что агент подставили.Не ищи черную кошку в черной комнате, особенно, если ее там нет :D
И только из за превьюшки на VK не блокировать сканирование сайта непонятно кем?
По большому, блокнуть можно только 95.163.248.0/24 и превьюшка останется работать.
Повторюсь, что с данного диапазона запросы типичных ПС ботов, принты которых ничем не отличаются уже лет 5 точно.
Как всё трудно. У вас есть посещения с таким user agent: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots) ?
Вот откройте ссылку эту и увидите, что ссылка не открывается. Нету уже ботов Mail.RU_Bot/2.0 поисковой системы mail.ru, а вы о принтах.
Вообще есть поисковик свой у VK? Вообще VK это не поисковая система, с в контакте только может быть переход на сайт или скриншот страницы размещённой.
У вк нету поиска сайтов, я непонимаю вашу логику вообще. Кто то сканирует сайт поддельным и устаревшим Mail.RU_Bot/2.0 с хостинга, но его ненужно
банить т.к. они уже 3 года сканируют.. Раньше Mail.RU_Bot/2.0 ходил совсем с другой сетки, сейчас эта сетка стала хостингом что и приведено в расследовании в шапке темы. )
Та не слушай, он показывает таки как бесплатный безголовый браузер типа phantomjs или selenium выполняет накрутку ботами.
Ничего он не спарсит такими браузерами, будет куча ошибок. Потом голову ломать, что спарсило а что нет.. Панты, такие панты..
Есть софт покруче, но он денег же стоит.
JS браузером на сервере никого не удивить.
Всё хотел спросить, кто тебя надоумил части и контент вставлять c другого заблокированного форума в свой и это всё объединять? Потом жалуешься, что трафик пропадает.. 😀
Я с Питоном познакомился в мае. Юзер агент в нем можно любой писать.И много чего еще другого.
Меня парсили, теперь я парсюю ..
Я питон знаю хорошо. Любой уважающий себя SEO хакир знает питон. 😁
Повторюсь, дьявол в деталях. Так-то услуги хостинга и у федеральных провайдеров есть.
Главное потом не возмущаться, отправляя в блеклисты всех "хостеров" скопом и удивляясь, что от этого нет никакого толку. В лучшем случае.
Что там с вами? 😁 Видать вашу ботоферму и парсер от неё баним.. Я уже убеждён, что всё правильно делаю.
Все доводы я привёл, что сканируют с хостинга под старым и поддельным user agent , прочитать только нужно внимательно написанное.
Вот так идут боты под user agent(ом) умершей поисковой системы и непонятно от кого? 😀
У них даже ссылка в user agent не действительна.. 😂
