Это вы обманываете про Компания, в саппорте ответили?
Какая компания вообще по вашим словам, хостинг этот дочерняя компания.
Мало кто этот хостинг зарегистрировал и создал, этот хостинг может заниматься совсем другими услугами к примеру размещением серверов и хостингом.
Что мы и видим, не легитимные и поддельные боты сканируют сайты, поддельные user agent и не понятно кто парсит обманно сайты.
Компания собирает данные для какого-то своего проекта, устаревший агент можно объяснить неразберихой после слияний и перестановок.
Проще всего, конечно, написать на контактный емейл с просьбой разъяснить, что это за краулер и почему он так странно представляется. Вместо этого автор темы предпочитает вопли и домыслы.
Ну, хозяин - барин. Главное, чтобы остальные поняли, о чём идёт речь.
Никакая компания не собирает данные. Обманываете. Данные собирает непонятно кто с хостинга-датацентра на поддельных ботах Mail.RU_Bot/2.0.
Это к тому, что оттуда идут боты VK / Mail :D
Это не боты VK и не маил ру.
В user agente ботов ссылка не легитимная, поддельные боты идут.
Такое ощущение, что вы хоститесь на этом хостинге M100 или имеете отношение к компании VK, другого не вижу смысла, чтобы вводить людей в заблуждение.
Это же надо пропихивать теорию, что поддельные боты с дочернего датацентра - легитимные. 😑
Не знаю, что такое шапка темы. У темы есть название и первое сообщение. Ни там, ни там точная информация не указана - указана ссылка на агента и Ваши многочисленные фантазии на счёт подделок, нагло под видом и прочие домыслы.
В общем, обманывать нехорошо.
Какого агента, вы связать двух слов не можите и всё пробуете подцепить на ровном месте.
Прошу заметить вы грязный ботовод, который портит людям сайты и ещё про обманы мне тут пишете.
Я указал IP адреса - указал.
Я указал на кого зарегистрированы IP адреса - указал.
Поддельные боты ходят с дата центра компании M100.
Учредитель VK, но компания занимается размещение серверов и хостингом, что вашему умишку ещё неясно?
Это датацентр с услугами хостинга и услугами размещения своих серверов. Тут и того проще, в шапке темы ссылка на хостинг.
Пожалуйста удалитесь с моей темы.
Бедняга не понимает, что перед ним не Битерика какая-нибудь, а огромный холдинг. Кроме прочего, и пиринговый центр, и мобильный оператор, и всё на свете. А тут увидел слово "хостинг", на него сработал рефлекс.
Ничего, жизнь научит.
Туго у вас с пониманием элементарных вещей.
В user agent бота ссылка которая не работает. Раньше mail.ru ходил с сетки mail.ru, переименовали бы сетку в LLC VK, но нет они сетку присоединили к хостингу M100 LLC.
Жизнь меня научила уже давно, я чётко различаю мошенничество и мошенников.
В общем, кто не хочет сканирования от mail бота - пишите правило в роботс: User-agent: Mail.RU_BotDisallow: / Бот это рекомендованное правило - учитывает и перестает сканировать сайт.Злоумышленники же, продолжат сканировать, подставляя юзерагент.
P.S.:С осторожностью применяйте блокировку AS, основываясь на мнении юзера из интернета, он может заблуждаться, так как в вопросе не разобрался.
С осторожностью слушайте рекомендации людей из интернета, в особенности советующих блокировать сканирование поддельными ботами инструкцией вида:
User-agent: Mail.RU_BotDisallow: /
Важно, что бота Mail.RU_Bot уже нету:
Mail.ru перевели на поиск Яндекса
Компания VK (бывшая Mail.ru Group) сообщила об интересных изменениях для фирменного сервиса Mail.ru.
Поисковые страницы go.mail.ru и mail.ru перевели на использование поисковой строки Яндекса. В пресс-службе заявили:
После завершения тестирования страницы go.mail.ru и mail.ru работают с поисковой строкой Яндекса.
Данное обновление связано с реализацией общей стратегии VK, основа которой — развитие контентных сервисов.
Я про это.Ты что-то себе придумал и призываешь к блоку других, кто в вопросе совсем не разбирается.
Это mail / vk парсит и только с этого ДЦ. Хочешь - блокируй, хочешь - не блокируй. Дело твое.
Это вы придумали себе, что я призываю блокировать и призывал блокировать.
Делайте, что хотите если сканирование с дата центра непонятно кем для вас это табу.
Между тем на сайте хостинга M100 они пишут: Предоставление мощностей для проектов и сообществ.
Для проектов, входящих в VK, М100 обеспечивает инфраструктуру. Мощности М100 позволяют разместить широкий спектр продуктов — от лендингов до высоконагруженных сервисов с многомиллионной аудиторией, от игровых до B2B-проектов. Инфраструктура также дает широкие возможности масштабирования.
Сайт сканируется понятно кем.Непонятно для каких целей.Хочешь? - блокируй, AS известна, только ты это будешь делать только из-за своего мнения, нехватки достаточного кол-ва информации и по собственным впечатлениям, что может сыграть злую шутку со всеми остальными.
Вообще, я бы поостерегся голословно утверждать что кто-то там что-то подставил.Ты сначала все проверь как следует, узнай все моменты.Напиши в ТП в VK, в конце концов.
А потом призывай-навязывай ;)
Я не прошу же волноваться, что я делаю.
Я тему создал подсказать, что парсят под видом старого бота маил.ru и он у многих в белых списках.
Я заблокировал весь AS посмотреть, какие посещения есть. Так вот сканируют мой сайт только с хостинга M100 LLC.
P.S.
Даже превьюшек нету. 😄
vkShare, например ;)Блокнешь AS, потом будешь интересоваться, почему это при шаринге в VK не подгружаются превью ;)
Просто пропиши в роботс:User-agent: Mail.RU_Bot Disallow: /
Если и потом полезут сканировать - уже утверждай, что агент подставили.Не ищи черную кошку в черной комнате, особенно, если ее там нет :D
И только из за превьюшки на VK не блокировать сканирование сайта непонятно кем?
По большому, блокнуть можно только 95.163.248.0/24 и превьюшка останется работать.
