Disallow The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.
ivmas: как убрать тогда и страницу users с индекса?
Как ни странно,
Disallow: /users
Открою страшную тайну. Чтобы запретить индексацию страницы, нужно написать ее адрес после директивы Disallow (и ничего не дописывать в конце ее адреса!).
ivmas: Да. Но только одной страницы.
ivmas: пользователей много на сайте, их в индексе нету. А вот именно страница site.ru/users есть в индексе
ivmas: Так как у меня таких страниц много!
Почему вы путаетесь в показаниях? Каких страниц много?
например http://site.ru/o3/s/dew/23423/4234/ewrwe/rwer/145.html тоже запретит?
ufaclub, почему вы не изучили одну страницу матчасти и задаете такие вопросы?
Извольте объяснить.
или просто?
Disallow: /users
Ведь на сайте страниц начинающих с users тысячи!
http://www.robotstxt.org/orig.html
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.
http://help.yandex.ru/webmaster/?id=996567
#начинающимся с '/cgi-bin'
# и '/example.html'
ivmas, НУ НЕЛЬЗЯ ЖЕ ТАК ТУПИТЬ !!!
У меня в гугл...
Без разницы кроме директивы Host:
а все остальное запретить.
Disallow: /*/*.html
Запретит все, где есть еще минимум один слеш. Где сложность?
Disallow: *.html
Allow: /*.html
А вы первой строкой уже запретили все файлы с расширением .html
Следующая строка Allow: никогда не сработает.
не могу фиды страниц закрыть (сайт.ру/урл страницы/feed/
Вам кто-то не разрешает, или что?
Откройте наконец http://help.yandex.ru/webmaster/?id=996567 . Откройте FAQ этого раздела, там есть все нужные ссылки. Читайте.
Disallow: /*/feed
Хватит тупить на форуме, изучайте матчасть, сколько уже можно?
как убрать тогда и страницу users с индекса?
Как ни странно,
Disallow: /users
Открою страшную тайну. Чтобы запретить индексацию страницы, нужно написать ее адрес после директивы Disallow (и ничего не дописывать в конце ее адреса!).
Да. Но только одной страницы.
пользователей много на сайте, их в индексе нету. А вот именно страница site.ru/users есть в индексе
Так как у меня таких страниц много!
Почему вы путаетесь в показаниях? Каких страниц много?
с вебмани переводили на счет телефона - Мегафон Северный Кавказ
И во сколько вам обошелся этот урок, если не секрет?
P.S. Я с вас в шоке.
User-agent: *
Disallow: /cat1/
Disallow: /cat2/
Вам необходимо почитать help.yandex.ru ДО ТОГО, как задавать здесь вопросы.
site.ru/users
Если вы запретили /users/, то /users не запрещено индексировать.
/users/ не является подстрокой /users .
А что вас удивляет?
В индексе есть страница users
Выдается Title и есть сохраненная копия?