Вот как у меня и все работает
map $http_user_agent $bad_useragent {
default 0;
~*ia_archiver 1;
~*Curl 1;
~*libwww 1;
~*BLEXBot 1;
~*SBooksNet 1;
~*MJ12bot 1;
~*Java 1;
~*NTENTbot 1;
~*GetIntent 1;
~*SemrushBot 1;
~*HybridBot 1;
~*AhrefsBot 1;
~*SeznamBot 1;
~*DeuSu 1;
~*GrapeshotCrawler 1;
~*SentiBot 1;
~*default 1;
~*Virusdie 1;
~*WordPress 1;
~*WhatsApp 1;
~*SeopultContentAnalyzer 1;
~*WinHTTP 1;
~*MauiBot 1;
~*weborama 1;
~*Python 1;
~*Go-http-client 1;
~*VelenPublicWebCrawler 1;
}
multiscreensite.com весь в бан, давно понятно - ну что вы как дети!
zdravclinic.ru нормальная клиника
Я могу оценить только нижний порог - не менее 2000 переходов в сутки. Оцениваюсь на свой отзовик, который несколько лет был партнером Яндекс карт. А далее все от масштабов оферы
Вероятно первая линия принимающая заявки на исправления в Яндекс картах - робот. И его можно обмануть, чем и пользуются.
Легко? Для сотен учреждений с подтверждением по телефону? И никого не колышет что поддомен один и тот же?
Так прикол в том что прошла неделя, он хавает страницы с уже добавленным мета и добавляет их в индекс.
Я вот захожу в отчет и вижу как он перелопатил кучу страниц 12 апреля, когда мета была на страницах дней 6 как.... реально баг или глюк или фича....
Подожду еще недельку, а потом запрещу ему доступ, раз не придерживается своих же правил.
rabotnik-makdonalds
Может правильнее сделать локейшн в Nginx и отдавать роботу Гугла 410 ответ?
Я так понял они пишут типа если не хотите чтобы страница индексировалась - неправильно делать правила в роботсе, нужно добавить
Так вот у меня сейчас и правила в роботсе + <meta name="robots" content="noindex"> а странице все равно в индексе!!! И таких страниц более 7000!!!
WTF ???
Вот как у меня и все работает
map $http_user_agent $bad_useragent {
default 0;
~*ia_archiver 1;
~*Curl 1;
~*libwww 1;
~*BLEXBot 1;
~*SBooksNet 1;
~*MJ12bot 1;
~*Java 1;
~*NTENTbot 1;
~*GetIntent 1;
~*SemrushBot 1;
~*HybridBot 1;
~*AhrefsBot 1;
~*SeznamBot 1;
~*DeuSu 1;
~*GrapeshotCrawler 1;
~*SentiBot 1;
~*default 1;
~*Virusdie 1;
~*WordPress 1;
~*WhatsApp 1;
~*SeopultContentAnalyzer 1;
~*WinHTTP 1;
~*MauiBot 1;
~*weborama 1;
~*Python 1;
~*Go-http-client 1;
~*VelenPublicWebCrawler 1;
}
multiscreensite.com весь в бан, давно понятно - ну что вы как дети!
zdravclinic.ru нормальная клиника
Я могу оценить только нижний порог - не менее 2000 переходов в сутки. Оцениваюсь на свой отзовик, который несколько лет был партнером Яндекс карт. А далее все от масштабов оферы
Вероятно первая линия принимающая заявки на исправления в Яндекс картах - робот. И его можно обмануть, чем и пользуются.
Легко? Для сотен учреждений с подтверждением по телефону? И никого не колышет что поддомен один и тот же?
Так прикол в том что прошла неделя, он хавает страницы с уже добавленным мета и добавляет их в индекс.
Я вот захожу в отчет и вижу как он перелопатил кучу страниц 12 апреля, когда мета была на страницах дней 6 как.... реально баг или глюк или фича....
Подожду еще недельку, а потом запрещу ему доступ, раз не придерживается своих же правил.
rabotnik-makdonalds
Может правильнее сделать локейшн в Nginx и отдавать роботу Гугла 410 ответ?
Я так понял они пишут типа если не хотите чтобы страница индексировалась - неправильно делать правила в роботсе, нужно добавить
<meta name="robots" content="noindex">
</head>
Так вот у меня сейчас и правила в роботсе + <meta name="robots" content="noindex"> а странице все равно в индексе!!! И таких страниц более 7000!!!
WTF ???