Сомнения по написанию robots.txt

-WWW-, регулярные выражения Я не поддерживает.

Вот так:

просто убрать звездочку, нет такого оператора в стандарте. А вообще-то это в раздел "для начинающих", которые еще не заглядывали в стандарт.

Kost, а как насчет кодировки? В роботсе meta-тэгов нету... И если в хидерах не будет передан transfer-encoding?

Всем спасибо!

mustafa, не придирайтесь, в исходном посте и адрес сайта русскими буквами, это условность.

Kost, я не придираюсь! Я сам хочу узнать, будут ли проблемы, если в роботсе писать кирилицей?

А еще больше меня интересуют ссылки вида:

<a href="http://site.ru/мой ключевик/">http://site.ru/мой ключевик/</a>

Создайте robots.txt и проверьте по Яндексу и по гуглю, благо есть сервисы на их сайтах.

-WWW-, а на оные страницы много ссылаются чтоли? Очень редко. Я думаю, если не получится, можно просто загнать в ноиндекс с нофоллов.