Не понимаю про robots - просветите пожалуйста.

UralM · 2012-04-09T03:29:51.0000000Z

Есть такой роботс (см.ниже), но яндекс индексирует. Где у меня ошибка? User-Agent: Yandex Host: www.domen.ru User-agent: * Disallow: / Disallow: /ru/ Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /tag/* Disallow: /blog/* Disallow: /feed/* Sitemap: /sitemap.html

123

VertuOzz

10 апреля 2012, 13:58

#11

Вобще директиву Host нужно прописывать в самом низу robots.txt

Что делать, чтобы попасть в ответы Google Bard

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи

Не понимаю про robots - просветите пожалуйста.