ufaclub, почему вы не изучили одну страницу матчасти и задаете такие вопросы?
Извольте объяснить.
http://www.robotstxt.org/orig.html
http://help.yandex.ru/webmaster/?id=996567
ivmas, НУ НЕЛЬЗЯ ЖЕ ТАК ТУПИТЬ !!!
Без разницы кроме директивы Host:
Disallow: /*/*.html
Запретит все, где есть еще минимум один слеш. Где сложность?
А вы первой строкой уже запретили все файлы с расширением .html
Следующая строка Allow: никогда не сработает.
Вам кто-то не разрешает, или что?
Откройте наконец http://help.yandex.ru/webmaster/?id=996567 . Откройте FAQ этого раздела, там есть все нужные ссылки. Читайте.
Disallow: /*/feed
Хватит тупить на форуме, изучайте матчасть, сколько уже можно?
Как ни странно,
Disallow: /users
Открою страшную тайну. Чтобы запретить индексацию страницы, нужно написать ее адрес после директивы Disallow (и ничего не дописывать в конце ее адреса!).
Почему вы путаетесь в показаниях? Каких страниц много?
И во сколько вам обошелся этот урок, если не секрет?
P.S. Я с вас в шоке.
User-agent: *
Disallow: /cat1/
Disallow: /cat2/
Вам необходимо почитать help.yandex.ru ДО ТОГО, как задавать здесь вопросы.
Если вы запретили /users/, то /users не запрещено индексировать.
/users/ не является подстрокой /users .
А что вас удивляет?
Выдается Title и есть сохраненная копия?
