Бедняга не понимает, что перед ним не Битерика какая-нибудь, а огромный холдинг. Кроме прочего, и пиринговый центр, и мобильный оператор, и всё на свете. А тут увидел слово "хостинг", на него сработал рефлекс.
Ничего, жизнь научит.
Ну пусть не понимает, кто я такой, чтобы ему препятствовать творить дичь? Хочет? - пусть блочит :D
Мой призыв: не повторять бездумно за ним, а проверять и действовать только на основании своих собственных выводов, на свой страх и риск.
Delysid#: И только из за превьюшки на VK не блокировать сканирование сайта непонятно кем?
Сайт сканируется понятно кем. Непонятно для каких целей. Хочешь? - блокируй, AS известна, только ты это будешь делать только из-за своего мнения, нехватки достаточного кол-ва информации и по собственным впечатлениям, что может сыграть злую шутку со всеми остальными.
Вообще, я бы поостерегся голословно утверждать что кто-то там что-то подставил. Ты сначала все проверь как следует, узнай все моменты. Напиши в ТП в VK, в конце концов.
Delysid#: Вообще есть поисковик свой у VK? Вообще VK это не поисковая система, с в контакте только может быть переход на сайт или скриншот страницы размещённой.
vkShare, например ;) Блокнешь AS, потом будешь интересоваться, почему это при шаринге в VK не подгружаются превью ;)
Просто пропиши в роботс:
User-agent: Mail.RU_Bot Disallow: /
Если и потом полезут сканировать - уже утверждай, что агент подставили. Не ищи черную кошку в черной комнате, особенно, если ее там нет :D
Вот так идут боты под user agent(ом) умершей поисковой системы и непонятно от кого? 😀
У них даже ссылка в user agent не действительна.. 😂
Ну ты же по AS банишь, конечно боты VK будут пытаться сканировать. Пропиши в роботс запрет, увидишь, с этих диапазонов и с этого AS - перестанут сканировать сайт. А все боты с подставными агентам сразу спалятся.
Повторюсь, что с данного диапазона запросы типичных ПС ботов, принты которых ничем не отличаются уже лет 5 точно. А вот зачем они сканируют - тут уже вопрос. В любом случае, я слежу за каждым запросом с каждого IP. Чуть что не понравится - в бан :D
softerra#: Если в поиске красиво сидеть в топе по запросам. Это же хорошо.
Итак в топе по запросам.
Проблема ИИ ответа в том, что он дает ответ и не уводит юзера на сайт. Смысл находиться в ответах, если юзер из поиска получил инфо, не заходя на сайт, и пошел дальше.
Бедняга не понимает, что перед ним не Битерика какая-нибудь, а огромный холдинг. Кроме прочего, и пиринговый центр, и мобильный оператор, и всё на свете. А тут увидел слово "хостинг", на него сработал рефлекс.
Ничего, жизнь научит.
Ну пусть не понимает, кто я такой, чтобы ему препятствовать творить дичь?
Хочет? - пусть блочит :D
Мой призыв: не повторять бездумно за ним, а проверять и действовать только на основании своих собственных выводов, на свой страх и риск.
В общем, кто не хочет сканирования от mail бота - пишите правило в роботс:
User-agent: Mail.RU_Bot
Disallow: /
Бот это рекомендованное правило - учитывает и перестает сканировать сайт.
Злоумышленники же, продолжат сканировать, подставляя юзерагент.
P.S.:
С осторожностью применяйте блокировку AS, основываясь на мнении юзера из интернета, он может заблуждаться, так как в вопросе не разобрался.
Я тему создал подсказать, что парсят под видом старого бота маил.ru и он у многих в белых списках.
Я про это.
Ты что-то себе придумал и призываешь к блоку других, кто в вопросе совсем не разбирается.
Это mail / vk парсит и только с этого ДЦ. Хочешь - блокируй, хочешь - не блокируй. Дело твое.
И только из за превьюшки на VK не блокировать сканирование сайта непонятно кем?
Сайт сканируется понятно кем.
Непонятно для каких целей.
Хочешь? - блокируй, AS известна, только ты это будешь делать только из-за своего мнения, нехватки достаточного кол-ва информации и по собственным впечатлениям, что может сыграть злую шутку со всеми остальными.
Вообще, я бы поостерегся голословно утверждать что кто-то там что-то подставил.
Ты сначала все проверь как следует, узнай все моменты.
Напиши в ТП в VK, в конце концов.
А потом призывай-навязывай ;)
Вообще есть поисковик свой у VK? Вообще VK это не поисковая система, с в контакте только может быть переход на сайт или скриншот страницы размещённой.
vkShare, например ;)
Блокнешь AS, потом будешь интересоваться, почему это при шаринге в VK не подгружаются превью ;)
Просто пропиши в роботс:
User-agent: Mail.RU_Bot
Disallow: /
Если и потом полезут сканировать - уже утверждай, что агент подставили.
Не ищи черную кошку в черной комнате, особенно, если ее там нет :D
У вас универсальный ответ на все вопросы - накрутка.
Поконкретней нечего сказать?
Берешь свои запросы.
Крутишь ПФ по ним.
Попадаешь в ответы.
Сейчас это даже дешевле чем ЯДирект, если смотреть на долгую дистанцию :DDD
Вот так идут боты под user agent(ом) умершей поисковой системы и непонятно от кого? 😀
У них даже ссылка в user agent не действительна.. 😂
Ну ты же по AS банишь, конечно боты VK будут пытаться сканировать.
Пропиши в роботс запрет, увидишь, с этих диапазонов и с этого AS - перестанут сканировать сайт.
А все боты с подставными агентам сразу спалятся.
Повторюсь, что с данного диапазона запросы типичных ПС ботов, принты которых ничем не отличаются уже лет 5 точно.
А вот зачем они сканируют - тут уже вопрос.
В любом случае, я слежу за каждым запросом с каждого IP. Чуть что не понравится - в бан :D
$14 тыс. на душу населения.
В среднем, голубцы поели ;)
В моем случае это товары, которые ищут.
Обязательно перейдут на сайт.
100%
Если речь про коммерцию, то у меня из поиска Яндекс всего 9% переходов, мне плевать что там с поиском у Яндекса в этом случае.
Если в поиске красиво сидеть в топе по запросам.
Это же хорошо.
Итак в топе по запросам.
Проблема ИИ ответа в том, что он дает ответ и не уводит юзера на сайт.
Смысл находиться в ответах, если юзер из поиска получил инфо, не заходя на сайт, и пошел дальше.