Дата документа

Дата "сегодняшняя" или "сейчас" ?

текущая - берется с сервера

Возможно...считают, что документы все свежие..и начинают индексировать..

Потом могут быть проблемы при переиндексации.

это я и сам понимаю - но вопрос - не делал-ли кто так? потому как это естественно - если поисковик чего-то просит то дать ему это, и естественно что это должно как-то менятся, ну и само собой разумеется если это дата то почему-бы и не сегодняшняя текущая. Из сего можно заключить что большинство так и делают - так вот вопрос - кто так делал - что из этого выходило?

Да многие делают, в том то и дело..

Это одно из "гениальных" прозрений на пути SEO-мастера :D

А ответ см. в предыдущем посте...для больших сайтов будут проблемы при индексации.. Потому что поисковик будет пережевывать уже известные ему документы, считая, что они новые. А до кучи реально непроиндексированных будет оч-ч-чень долго добираться....

1) что считать большим сайтом?

2) вы можете свое утверждение подтвердить фактами?

3) про какой поисковик идет речь?

Сайт в 10 тыс. страниц достаточно большой? Применительно к Яндексу, Рамблеру и Google обоснованно утверждаю, что от того, какая дата выдается, ничего не меняется - робот занимается переиндексацией только в том случае, если он наблюдает реальное изменение содержимого страницы, а не только изменение даты. Более того, роботы этих поисковиков учитывают тот факт, что сервер может неверно формировать дату создания файла.

Каждый может дать свое определение. Я думаю, тот для полной индексации которого в Яндексе требуется более 3-х месяцев.

Про Яндекс, про него родимый.

Конечно нет! :D

И вот почему:

Допустим, у нас есть сайт на котором есть как проиндексированные(А), так и не проиндексированные страницы(В).

Мы не можем (не располагая данными логов) увидеть страниц А, которые были проиндексированы дважды (они для нас просто проиндексированы и все) при наличии страниц В.

Более того, мы не знаем какие страницы В известны роботу при этом оставаясь непроиндексированными как при первой , так и при повторной индексации страниц типа А.

Это что касается реальных примеров. Что касается теории, я излагаю свои соображения чуть ниже.

Совершенно с вами согласен.

Однако давайте посмотрим как будет происходить такое сравнение.

Робот запрашивает страницу, и получает страницу у которой Last-Modified - текущее время. Ответ 304 она вернуть не в состоянии, сервер не даст, потому что она изменена в то же самое мгновение, что ее запросили. Да еще и потому, что Яндекс спрашивает If-Modified-Since никак не моложе 00 часов 00 минут текущих суток и никогда не получит ответ 304 для страниц с текущим временем.

Сервер возвращает ответ 200 и роботу приходится страницу скачивать. Это ли не есть индексация? ;)

Конечно, сразу после этого, сравнив страницу в индексе и только что скачанную «свежую» страницу программа поймет, что ее надули.

Какую дату индексации показывать в выдаче, первую или последнюю?

Это уже забота самого поисковика. Думаю, что дату первой индексации, это логичнее. Поэтому посмотрев выдачу вы видите ту же самую страницу с первоначальной датой индексации и кажется что она не периндексировалась. А на самом деле да.

Сухой остаток из всего этого: надо правильно настроить сервер и отдавать 304 для неизмененных страниц (как уже тысячу раз здесь писалось). Тогда (как минимум) будут быстрее отслеживаться изменения некоторых страниц на фоне остальных, неизмененных страниц. И всем будет лучше :)

Нет, это не индексация, а скачивание - Вы же сами правильно назвали операцию. Индексация идет позже и мы не можем сказать, когда точно она происходит. Мы можем лишь увидеть по факту обновления информации в индексе, была эта индексация произведена для конкретной страницы, или нет.

В выдаче показывается всегда дата обновления страницы, полученная роботом с сервера при последней индексации этой страницы.

Согласен.

Лимит у Яндекса по количеству взятых с сервера страниц, а не проидексированных?

Тогда мы нерационально скормили роботу уже известную ему страницу.

Спасибо, приму к сведению

Т.е. на фоне статичных (второстепенных) страниц надо подсовывать роботу важные, как постоянно новые? Или я не так понял? Если не трудно - можете подсказать, где можно почитать об этом способе, ибо есть проблема НЕиндексации 2/3 сайтов по не понятным причинам...