Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как закрыть от индексации страницу в Robots.txt

RA
На сайте с 26.12.2009
Offline
39
Rust-am
737

Уважаемые подскажите пож. как запретить индексацию определенной страницы в robots.txt ??

Если я правильно понимаю это ведь так верно? Домен указывать же необязательно??:

Disallow: /stranitsa.php

Испытайте новейший инструмент на финансовом рынке! Доход от 7 до 15 % в месяц с ваших депозитов. (http://stabilniy-dohod.ru/)
Delarante
На сайте с 13.07.2008
Offline
69
Delarante
#1
Rust-am:

Домен указывать же необязательно??
Disallow: /stranitsa.php

Да, правильно!

домен не нужен...

CC
На сайте с 05.04.2010
Offline
24
CIVICC
#2

если закрыта категория /userfiles/ в Robots, там находится файл sitemap

как прописать в Robots чтоб он был открыт для индекса ?

RA
На сайте с 26.12.2009
Offline
39
Rust-am
#3
CIVICC:
если закрыта категория /userfiles/ в Robots, там находится файл sitemap
как прописать в Robots чтоб он был открыт для индекса ?

Вы имеете виду файл sitemap.xml ? Если он, то его же вроде обычно помещают в главную директорию сайта, где содержится файл index.html. Переместите его просто и все.

Zegeberg
На сайте с 30.09.2010
Offline
282
Zegeberg
#4

На крайний можно использовать директиву Allow тут подробнее.

Ссылки с форумов, блогов и соц сетей ( https://forumok.com/p/c1710b6b/ ) Антибот ( https://antibot.cloud/?ref=15262 )
CC
На сайте с 05.04.2010
Offline
24
CIVICC
#5
Zegeberg:
На крайний можно использовать директиву Allow тут подробнее.

спс воспользовался Allow

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий