Помогите с роботсом

Disallow: /cat/*.html

OR

Disallow: /*/*.html

Спрошу здесь..

Есть урлы:

/?aaa&aaa

/aaa/?aaaa&aaa

Надо запретить их. Так:

Disallow: /?*

Disallow: /*/?*

Верно?

http://webmaster.yandex.ru/robots.xml - тут можно проверить, запрещён ли URL

User-agent: *
Disallow: /?
Disallow: /aaa/?

* в конце можно не писать - учитывается начало адреса.

Да, правило слишком общее - есть шанс "лишнего" запретить.

И так:

И так:

запрещено, нормуль. :)

Disallow: */?

OR

Disallow: /*/?

Забираю :)

а как разрешить только с .html только которые в корне сайта?

joost, а этот запрет по вашему на что?.. Правильно - для запрета индексации в папках. Следовательно если папка - значит сработает Disallow так как длина у него больше, если не папка - Allow. Так можно разрешить только с .html только которые в корне сайта.

Экзампл

Ссылка /folder/file.html соответствует и шаблону Disallow: /*/*.html и Alow: /*.html, но будет выбран Disallow: /*/*.html так длина у него больше.

Ссылка /file.html подходит только для Alow: /*.html, значит применяться будет только он, если нет других соответствующих директив большей длины

Полезные ссылки

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#simultaneous

http://webmaster.yandex.ru/robots.xml

siv1987, а если будет /folder/sub1/sub2/file.html то как?

* - ноль или больше символов, в том числе соответсвует и /. Значит в таком адресе может быть ноль и больше слэшей. И здесь уже уровень вложености каталогов становится неограниченным.

Скопируйте себе эти правила куда нибудь в блокноте и внимательно их изучите. Попробуйте составить варианты урлов, а потом попытайтесь решить какое из этих правил сработает и почему, а какое не сработает и тоже почему. В конце проверяйте свои результаты в валидаторе.