Dram

Рейтинг
1121
Регистрация
28.06.2008

Вот как у меня и все работает

map $http_user_agent $bad_useragent {

default 0;

~*ia_archiver 1;

~*Curl 1;

~*libwww 1;

~*BLEXBot 1;

~*SBooksNet 1;

~*MJ12bot 1;

~*Java 1;

~*NTENTbot 1;

~*GetIntent 1;

~*SemrushBot 1;

~*HybridBot 1;

~*AhrefsBot 1;

~*SeznamBot 1;

~*DeuSu 1;

~*GrapeshotCrawler 1;

~*SentiBot 1;

~*default 1;

~*Virusdie 1;

~*WordPress 1;

~*WhatsApp 1;

~*SeopultContentAnalyzer 1;

~*WinHTTP 1;

~*MauiBot 1;

~*weborama 1;

~*Python 1;

~*Go-http-client 1;

~*VelenPublicWebCrawler 1;

}

multiscreensite.com весь в бан, давно понятно - ну что вы как дети!

zdravclinic.ru нормальная клиника

Я могу оценить только нижний порог - не менее 2000 переходов в сутки. Оцениваюсь на свой отзовик, который несколько лет был партнером Яндекс карт. А далее все от масштабов оферы

Вероятно первая линия принимающая заявки на исправления в Яндекс картах - робот. И его можно обмануть, чем и пользуются.

Легко? Для сотен учреждений с подтверждением по телефону? И никого не колышет что поддомен один и тот же?

">

Так прикол в том что прошла неделя, он хавает страницы с уже добавленным мета и добавляет их в индекс.

Я вот захожу в отчет и вижу как он перелопатил кучу страниц 12 апреля, когда мета была на страницах дней 6 как.... реально баг или глюк или фича....

Подожду еще недельку, а потом запрещу ему доступ, раз не придерживается своих же правил.

rabotnik-makdonalds

">

Может правильнее сделать локейшн в Nginx и отдавать роботу Гугла 410 ответ?

">

Я так понял они пишут типа если не хотите чтобы страница индексировалась - неправильно делать правила в роботсе, нужно добавить

<head>
<meta name="robots" content="noindex">
</head>

Так вот у меня сейчас и правила в роботсе + <meta name="robots" content="noindex"> а странице все равно в индексе!!! И таких страниц более 7000!!!

WTF ???

Всего: 6929