User-agent:*
Disallow: /blog #
Disallow: /forum #
Disallow: /pic.php? #
Disallow: /clipboard.swf?#
Disallow: /cards/category.php?#
Disallow: /cards/cards/card.php?#
Host: *******.com
User-Agent: MSNBot
Crawl задержки: 10
User-agent: Baiduspider/2.0
Disallow: /
User-agent: SputnikBot
User-agent: AhrefsBot
User-agent: BLEXBot
User-agent: Butterfly
User-agent: MJ12bot
User-agent: rogerbot
User-agent: Mail.ru
Crawl-delay: 300
User-agent: proximic
/ Host: ******* / в файле прописан правильно - просто здесь специально убрала, чтобы не посчитали рекламой
Нет )) движок у нас самописный, отклик сайта - великолепный из 10 нам 10 поставили в этой позиции. Я просто не могу отбиться от bingbot, SputnikBot и еще несколько штук, которые просто достали.
В и-нете пересмотрела все, что обсуждали, как закрывать сайт от них, может, что не так поняла и не правильно прописала. Думала - здесь подскажут, как правильно все писать (( видно.. не судьба.
Спасибо, что ответили.
