Кодировка ссылок с коириллицей в robot.txt

76
На сайте с 04.01.2011
Offline
24
476

Здравствуйте. Подскажите, если в url есть буквы кириллицы, то в файле robot.txt ссылки на страницы, которые мы закрываем от поисковых роботов, записывать:

http://site. com/Буквы_кириллицы

или перекодированные:

http://site. com/%C1%F3%........

?

Буду признателен за помощь!

Egocentrus
На сайте с 07.11.2008
Offline
27
#1

Была подобная проблема. Воспринимаются только перекодированные. Пошел от обратного. Решил проблему запретом всего, кроме определенных адресов. Как видите, необходимость прописывать ссылки на кириллице при данном способе отпадает.

User-agent: *

Allow: /articles/

Allow: /videos/

...

Allow: /tags/

Disallow: /

Забудьте про тизернеты, бодиклики и иже с ними. Pay-Click (http://pay-click.ru/?ref=14200) - 1 клик стабильно 0.7 рублей.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий