Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите грамотно закрыть страницы от робота

76
На сайте с 04.01.2011
Offline
24
7684406
441

Здравствуйте.

Необходимо закрыть от индексации поисковыми роботами страницы:

Disallow: /content1/

Т.е. я закрываю страницу content1 и все страницы, лежащие на уровень ниже от робота.

ВОПРОС:

Посетит и проиндексирует ли робот страницы вида:

http:// site.ru/content2, http:// site.ru/content3 и т.д.

если на эти страницы можно попасть только по ссылкам со страниц:

http:// site.ru/content1/content1_2 или http:// site.ru/content1/content1_3 - которые закрыты в robot.txt

H
На сайте с 24.02.2011
Offline
3
henri
#1
7684406:
Здравствуйте.
Необходимо закрыть от индексации поисковыми роботами страницы:
Disallow: /content1/
Т.е. я закрываю страницу content1 и все страницы, лежащие на уровень ниже от робота.
ВОПРОС:
Посетит и проиндексирует ли робот страницы вида:
http:// site.ru/content2, http:// site.ru/content3 и т.д.
если на эти страницы можно попасть только по ссылкам со страниц:
http:// site.ru/content1/content1_2 или http:// site.ru/content1/content1_3 - которые закрыты в robot.txt

Добавь их в robots.txt и тогда посетит, вне зависимости от наличия или отсутствия ссылок на них.

Только ты наверно описался, насчёт *которые закрыты в robot.txt*, они наверно закрыты в htaccess?

S
На сайте с 28.10.2005
Offline
319
semenov
#2

Если узнает про них - посетит, через бар, например

schwebpes
На сайте с 08.02.2011
Offline
10
schwebpes
#3

Или если найдёт внешние ссылки на них.

Т.е. - купить пару дешёвых ссылок на нужные страницы.

"Профессиональные Комплексные Решения" (http://prcs.ru) - IT-директор Использую СеоПульт (http://seopult.ru/ref.php?ref=820be88242cc323a)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий