Закрыть все кириллические урлы в robots.txt

307

medea

1 марта 2011, 00:34

926

Может, кто-то сталкивался с такой задачей и поделится файлом?

Правильно ли понимаю, что это должно выглядеть примерно так:

User-Agent: *

Disallow: *%D0%B0

Disallow: *%D0%B1

Disallow: *%D0%B2

и т.д.

?

Продвижение сайтов (http://www.iqpromo.ru/) под моим присмотром :)

185

Anarchist

1 марта 2011, 07:07

#1

Они, вроде, все начинаются с "%D0"

Если так, то почему бы не сделать что-то вроде

User-Agent: *

Disallow: /%D0

ЗЫ могу и ошибаться :)

307

medea

1 марта 2011, 12:07

#2

Anarchist:
Они, вроде, все начинаются с "%D0"
Если так, то почему бы не сделать что-то вроде

User-Agent: *
Disallow: /%D0

гениально блин )

medea добавил 01.03.2011 в 15:11

хотя нет. если последние буквы алфавита, то будет начинаться на %D1

Так что вот так правильно будет

User-Agent: *

Disallow: /%D