Вопрос об индексации страниц

EugeneN
На сайте с 31.01.2007
Offline
16
449

Доброго всем времени суток.

Помогите, пожалуйста, разобраться.

Допустим, есть такая ситуация.

На сайте сайт1.ru есть раздел razdel, который запрещен к индексации в файле robots.txt. В этом разделе размещена страница stranica.htm (сайт1.ru/razdel/stranica.htm).

Проиндексируется ли страница stranica.htm, если на нее установить ссылку на каком-нибудь другом сайте, отличном от сайт1.ru?

Спасибо

Хочешь сделать что-то хорошо - сделай это сам ;)
S
На сайте с 28.10.2005
Offline
319
#1

Нет, не проиндексирует при наличии сылок с любого сайта

EugeneN
На сайте с 31.01.2007
Offline
16
#2
semenov:
Нет, не проиндексирует при наличии сылок с любого сайта

Благодарю за ответ. Т.е. поисковый робот получается "выходит" не на саму страницу, а последовательно проходит путь с главной страницы до внутренних. или сразу же анализирует содержимое robots.txt и действует соответствующим образом?

А вот в ситуации, если все разделы сайта разрешены к индексации, но на его внуреннюю страницу stranica.htm нет ни одной ссылки с других страниц этого сайта, проиндексируется ли она, если на нее будет установлена доступная для роботов ссылка на другом сайте?

Спасибо

T
На сайте с 11.08.2005
Offline
181
#3

Немного теории:

Страницу можно закрыть от индексации двумя общеизвестными способами:

- через файл robots.txt: как правило, это запрет индексации целого каталога или ряда страниц (начинающихся с указанных префиксов).

- прописав в <head> ... </head>: <meta name="robots" content="noindex, nofollow">: запрещается индексация конкретной страницы.

Соответственно бот индексирует все страницы, что не запрещены к индексации (в том числе и найденные по ссылкам с других сайтов).

EugeneN
На сайте с 31.01.2007
Offline
16
#4
Timen:
Немного теории:
Страницу можно закрыть от индексации двумя общеизвестными способами:
- через файл robots.txt
- прописав в <head> ... <meta name="robots" content="noindex, nofollow"></head>

Соответственно бот индексирует все страницы, что не запрещены к индексации (в том числе и найденные по ссылкам с других сайтов).

Спасибо за полный ответ )

RR1
На сайте с 04.02.2007
Offline
269
RR1
#5

она запрещена будет...конечно же нет. Она просто не будет индексироваться поисковиком.

Смотрите форум.Темы подобного рода уже создавались.

если не сделаешь ты, то кто?
Andrey Oparin
На сайте с 05.07.2006
Offline
47
#6
EugeneN:
или сразу же анализирует содержимое robots.txt и действует соответствующим образом?

вот именно так :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий