Как именно производится повторная индексация страниц?

K
На сайте с 05.04.2012
Offline
25
597

Вопрос о том, как именно производится повторная индексация страниц возникла, так как есть такая проблема.

Некоторые страницы сайта, а точнее URL-ы сайта с определенными значениями GET параметров, время от времени могут "спрятать" свой контент, в зависимости от значения соответствующих полей в базе. А именно, если не нужно показывать страницу, то при запросе этой страницы появляется контент главной страницы сайта. При этом, переадресацию не делаю, просто генерирую соответствующий контент.

т.е., для URL есть 2 состояния: 1. оригинальный контент, 2. временный контент

Естественно, не хочу, чтобы поисковики индексировали URL в состоянии N2.

Вопрос в том, чтобы понять, как производится повторная индексация страниц. Поисковый бот лазит по сайту, начиная с первой страницы, или же индексирует страницы, которые уже в базе поисковика? Во втором случае в кеш поисковика попадет контент-повтор главной страницы.

Если поставлю "noindex", если URL в состоянии N2, и сниму "noindex" в состоянии N1, будет ли это правильно?

G6
На сайте с 12.07.2007
Offline
194
#1
khrustal:

Если поставлю "noindex", если URL в состоянии N2, и сниму "noindex" в состоянии N1, будет ли это правильно?

Если больше ничего в урле не передается и он один и тот же для №1 и №2, то так и сделайте конечно.

Если бы были еще условия можно поставить и в robots.txt и rel="canonical", в вашем случаи только noindex плюс <meta name="robots" content="noindex" />

Каталог каналов/чатов, ботов MAX https://max.worldwebinfo.ru
K
На сайте с 05.04.2012
Offline
25
#2
garry69:

в вашем случаи только noindex плюс <meta name="robots" content="noindex" />

noindex плюс ?

Иммется в виду <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

или что-то еще?

И еще один вопрос. Упадет ли URL из индекса в этом случае, если при переходе в состояние N2 никакие анкоры в сайте не ведут на этот URL?

Все эта выдумка из-за того, что нужно как-то ответить на запросы идущие от поисковика, который уже проиндексировал URL в состоянии N1

G6
На сайте с 12.07.2007
Offline
194
#3

да это имел ввиду <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

и да, раз индексация запрещена, то и из индекса постепенно вывалятся имею ввиду №2

Все эта выдумка из-за того, что нужно как-то ответить на запросы идущие от поисковика, который уже проиндексировал URL в состоянии N1

Тогда надо что то вводить в урл №2, тогда можно будет использовать rel="canonical" в дополнение к robots.txt и <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий