Поддельный Mail.RU Mail.RU_Bot/2.0 парсит сайты.

1 2345 6
Delysid
На сайте с 27.05.2019
Offline
266
#21
Александр #:

vkShare, например ;)
Блокнешь AS, потом будешь интересоваться, почему это при шаринге в VK не подгружаются превью ;)

Просто пропиши в роботс:

User-agent: Mail.RU_Bot
Disallow: /

Если и потом полезут сканировать - уже утверждай, что агент подставили.
Не ищи черную кошку в черной комнате, особенно, если ее там нет :D

И только из за превьюшки на VK не блокировать сканирование сайта непонятно кем? 

По большому, блокнуть можно только  95.163.248.0/24 и превьюшка останется работать.

Александр
На сайте с 18.03.2020
Offline
198
#22
Delysid #:
И только из за превьюшки на VK не блокировать сканирование сайта непонятно кем? 

Сайт сканируется понятно кем.
Непонятно для каких целей.
Хочешь? - блокируй, AS известна, только ты это будешь делать только из-за своего мнения, нехватки достаточного кол-ва информации и по собственным впечатлениям, что может сыграть злую шутку со всеми остальными.

Вообще, я бы поостерегся голословно утверждать что кто-то там что-то подставил.
Ты сначала все проверь как следует, узнай все моменты.
Напиши в ТП в VK, в конце концов.

А потом призывай-навязывай ;)

Delysid
На сайте с 27.05.2019
Offline
266
#23
Александр #:

Сайт сканируется понятно кем.
Непонятно для каких целей.
Хочешь? - блокируй, AS известна, только ты это будешь делать только из-за своего мнения, нехватки достаточного кол-ва информации и по собственным впечатлениям, что может сыграть злую шутку со всеми остальными.

Вообще, я бы поостерегся голословно утверждать что кто-то там что-то подставил.
Ты сначала все проверь как следует, узнай все моменты.
Напиши в ТП в VK, в конце концов.

А потом призывай-навязывай ;)

Я не прошу же волноваться, что я делаю.

Я тему создал подсказать, что парсят под видом старого бота маил.ru и он у многих в белых списках.

Я заблокировал весь AS посмотреть, какие посещения есть. Так вот сканируют мой сайт только с хостинга  M100 LLC.

P.S.

Даже превьюшек нету. 😄

Александр
На сайте с 18.03.2020
Offline
198
#24
Delysid #:
Я тему создал подсказать, что парсят под видом старого бота маил.ru и он у многих в белых списках.

Я про это.
Ты что-то себе придумал и призываешь к блоку других, кто в вопросе совсем не разбирается.

Это mail / vk парсит и только с этого ДЦ. Хочешь - блокируй, хочешь - не блокируй. Дело твое.

Delysid
На сайте с 27.05.2019
Offline
266
#25
Александр #:

Я про это.
Ты что-то себе придумал и призываешь к блоку других, кто в вопросе совсем не разбирается.

Это mail / vk парсит и только с этого ДЦ. Хочешь - блокируй, хочешь - не блокируй. Дело твое.

Это вы придумали себе, что я призываю блокировать и призывал блокировать.

Делайте, что хотите если сканирование с дата центра непонятно кем для вас это табу.

Между тем на сайте хостинга M100 они пишут:  Предоставление мощностей для проектов и сообществ.

Для проектов, входящих в VK, М100 обеспечивает инфраструктуру. Мощности М100 позволяют разместить широкий спектр продуктов — от лендингов до высоконагруженных сервисов с многомиллионной аудиторией, от игровых до B2B-проектов. Инфраструктура также дает широкие возможности масштабирования.

Александр
На сайте с 18.03.2020
Offline
198
#26

В общем, кто не хочет сканирования от mail бота - пишите правило в роботс:

User-agent: Mail.RU_Bot
Disallow: /

Бот это рекомендованное правило - учитывает и перестает сканировать сайт.
Злоумышленники же, продолжат сканировать, подставляя юзерагент.

P.S.:
С осторожностью применяйте блокировку AS, основываясь на мнении юзера из интернета, он может заблуждаться, так как в вопросе не разобрался.

Delysid
На сайте с 27.05.2019
Offline
266
#27
Александр #:

В общем, кто не хочет сканирования от mail бота - пишите правило в роботс:

User-agent: Mail.RU_Bot
Disallow: /
Бот это рекомендованное правило - учитывает и перестает сканировать сайт.
Злоумышленники же, продолжат сканировать, подставляя юзерагент.

P.S.:
С осторожностью применяйте блокировку AS, основываясь на мнении юзера из интернета, он может заблуждаться, так как в вопросе не разобрался.

С осторожностью слушайте рекомендации людей из интернета, в особенности советующих блокировать сканирование поддельными ботами инструкцией вида:

User-agent: Mail.RU_Bot
Disallow: /

Важно, что бота  Mail.RU_Bot уже нету:

Mail.ru перевели на поиск Яндекса

Компания VK (бывшая Mail.ru Group) сообщила об интересных изменениях для фирменного сервиса Mail.ru.

Поисковые страницы go.mail.ru и mail.ru перевели на использование поисковой строки Яндекса. В пресс-службе заявили:

После завершения тестирования страницы go.mail.ru и mail.ru работают с поисковой строкой Яндекса.

Данное обновление связано с реализацией общей стратегии VK, основа которой — развитие контентных сервисов. 

юни
На сайте с 01.11.2005
Offline
929
#28
Александр #:
Это mail / vk парсит и только с этого ДЦ.

Бедняга не понимает, что перед ним не Битерика какая-нибудь, а огромный холдинг. Кроме прочего, и пиринговый центр, и мобильный оператор, и всё на свете. А тут увидел слово "хостинг", на него сработал рефлекс.

Ничего, жизнь научит.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
Delysid
На сайте с 27.05.2019
Offline
266
#29
юни #:

Бедняга не понимает, что перед ним не Битерика какая-нибудь, а огромный холдинг. Кроме прочего, и пиринговый центр, и мобильный оператор, и всё на свете. А тут увидел слово "хостинг", на него сработал рефлекс.

Ничего, жизнь научит.

Туго у вас с пониманием элементарных вещей.

В user agent бота ссылка которая не работает. Раньше mail.ru ходил с сетки mail.ru, переименовали бы сетку в  LLC VK, но нет они сетку присоединили к хостингу  M100 LLC.

Жизнь меня научила уже давно, я чётко различаю мошенничество и мошенников.

Александр
На сайте с 18.03.2020
Offline
198
#30
юни #:

Бедняга не понимает, что перед ним не Битерика какая-нибудь, а огромный холдинг. Кроме прочего, и пиринговый центр, и мобильный оператор, и всё на свете. А тут увидел слово "хостинг", на него сработал рефлекс.

Ничего, жизнь научит.

Ну пусть не понимает, кто я такой, чтобы ему препятствовать творить дичь?
Хочет? - пусть блочит :D

Мой призыв: не повторять бездумно за ним, а проверять и действовать только на основании своих собственных выводов, на свой страх и риск.

1 2345 6

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий