Исключение страниц в robots.txt

Allow: /ar

Allow: /te

Disallow: /a

Disallow: /t

если сделать так как в вашем примере, то если к примеру будет новый линк вида /tahno_*.html то оно тоже будет запрещено к индексации, я верно понимаю синтаксис? и нужно будет добавить:

Если вторая буква любая, кроме цифр, тогда так:

Disallow: /t0

Disallow: /t1

Disallow: /t2

Disallow: /t3

Disallow: /t4

Disallow: /t5

Disallow: /t6

Disallow: /t7

Disallow: /t8

Disallow: /t9

Disallow: /a0

Disallow: /a1

Disallow: /a2

Disallow: /a3

Disallow: /a4

Disallow: /a5

Disallow: /a6

Disallow: /a7

Disallow: /a8

Disallow: /a9

ну если я правильно понял, чтобы исключить a111, буква всегда первая одна, только цифры меняются, и не закрывать к индексации другие линки начинающие на данную букву то будет так:

Allow: /at

Allow: /ar

Allow: /ab

Disallow: /a

Верно. Поэтому при составлении robots нужно знать всю структуру сайта. А ещё лучше - продумывать её перед созданием. Чтоб было меньше геморроя в будущем. А так... Какой был вопрос - такой был и ответ.

kimberlit добавил 20.06.2011 в 18:11

Так можно раздуть роботс до 100500 строк. Кост дал же рабочий вариант, если буква-цифры.

да структура сайта маленькая, просто я логику понял верно или нет, так как все на первую букву закрываем а дальше цифры меняются, то для того чтобы открыть к индексации страницы в которых идет первая таже самая буква, нужно указывать уже и вторую букву.

Если страниц таких две-три, то проще. Если же их сотни, то лучше просто закрыть по маске буква-цифра.

ну да страниц две about.html и articles.html и есть a1211.html (таких много страниц, разные цифры), вот в итоге и получается:

Allow: /ab

Allow: /ar

Disallow: /a

Ну так сразу бы и написали.

Ну раз я понял логику, то огромное спасибо что подсказали :)