Повторюсь, что с данного диапазона запросы типичных ПС ботов, принты которых ничем не отличаются уже лет 5 точно.
Как всё трудно. У вас есть посещения с таким user agent: Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +https://help.mail.ru/webmaster/indexing/robots) ?
Вот откройте ссылку эту и увидите, что ссылка не открывается. Нету уже ботов Mail.RU_Bot/2.0 поисковой системы mail.ru, а вы о принтах.
Вообще есть поисковик свой у VK? Вообще VK это не поисковая система, с в контакте только может быть переход на сайт или скриншот страницы размещённой.
У вк нету поиска сайтов, я непонимаю вашу логику вообще. Кто то сканирует сайт поддельным и устаревшим Mail.RU_Bot/2.0 с хостинга, но его ненужно
банить т.к. они уже 3 года сканируют.. Раньше Mail.RU_Bot/2.0 ходил совсем с другой сетки, сейчас эта сетка стала хостингом что и приведено в расследовании в шапке темы. )
Та не слушай, он показывает таки как бесплатный безголовый браузер типа phantomjs или selenium выполняет накрутку ботами.
Ничего он не спарсит такими браузерами, будет куча ошибок. Потом голову ломать, что спарсило а что нет.. Панты, такие панты..
Есть софт покруче, но он денег же стоит.
JS браузером на сервере никого не удивить.
Всё хотел спросить, кто тебя надоумил части и контент вставлять c другого заблокированного форума в свой и это всё объединять? Потом жалуешься, что трафик пропадает.. 😀
Я с Питоном познакомился в мае. Юзер агент в нем можно любой писать.И много чего еще другого.
Меня парсили, теперь я парсюю ..
Я питон знаю хорошо. Любой уважающий себя SEO хакир знает питон. 😁
Повторюсь, дьявол в деталях. Так-то услуги хостинга и у федеральных провайдеров есть.
Главное потом не возмущаться, отправляя в блеклисты всех "хостеров" скопом и удивляясь, что от этого нет никакого толку. В лучшем случае.
Что там с вами? 😁 Видать вашу ботоферму и парсер от неё баним.. Я уже убеждён, что всё правильно делаю.
Все доводы я привёл, что сканируют с хостинга под старым и поддельным user agent , прочитать только нужно внимательно написанное.
Вот так идут боты под user agent(ом) умершей поисковой системы и непонятно от кого? 😀
У них даже ссылка в user agent не действительна.. 😂
Или ты про ScreamingFrog?
Я про ScreamingFrog она в бесплатной версии в user agent добавляет название. Программа умеет в http 2 хотя бы? А так у меня информация узконаправленная, парсить особо нечего.
Точно нового?
Это они на сайте своего хостинга так пишут, можно увидеть если открыть.
