Заставить Яндекс переиндексировать страницы

12
R
На сайте с 03.01.2010
Offline
9
11157

Здравствуйте!

Постоянно меняем наполнение сайта, совершенствуем структуру и содержание.

Яндекс нас визитами не обижает, но старые страницы как то не очень охотно переиндексирует.

Предположим мы поменяли анкор ссылки, а в кеше он старый висит.

Исходя из этого вопрос: каким образом нужно менять страницу, чтобы робот ее заново загрузил?

K
На сайте с 31.01.2001
Offline
737
#1

Чтобы робот узнал, что страница поменялась, он должен ее загрузить.

Пока он ее заново не загрузил, он не может узнать, что страница поменялась.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
R
На сайте с 03.01.2010
Offline
9
#2
Kost:
Чтобы робот узнал, что страница поменялась, он должен ее загрузить.
Пока он ее заново не загрузил, он не может узнать, что страница поменялась.

Спасибо. Это, конечно, логично. Но вот интересен именно мотив к загрузке.

Может быть этот мотив - изменение объема байт, или какой-нибудь другой фактор?

Или это самопроизвольный процесс, как говорится, как повезет?

Может ли прирост ВС ускорить переиндексацию?

Green Bull
На сайте с 27.02.2010
Offline
5
#3

Чтобы робот узнал, что страница поменялась, он должен запросить у сервера дату ее изменения, если она не совпадает с датой, загруженной роботом в последний раз, он ее заново загружает.

Сергей
На сайте с 23.07.2007
Offline
155
#4

сколько времени прошло с момента изменения страницы?

R
На сайте с 03.01.2010
Offline
9
#5
Green Bull:
Чтобы робот узнал, что страница поменялась, он должен запросить у сервера дату ее изменения, если она не совпадает с датой, загруженной роботом в последний раз, он ее заново загружает.

Это, конечно, интересная версия, но как динамически создаваемая страница может иметь дату изменения, да и в заголовке передаваемом сервере, на сколько мне известно, нет такого параметра.

Каким образом можно передать такую информацию?

rowingman добавил 27.03.2010 в 20:25

MMX3000:
сколько времени прошло с момента изменения страницы?

С момента изменения прошло порядка двух недель. Но изменили буквально пару слов и один из анкоров ссылки.

На сайте порядка 120 страниц, где то 110 в индексе. Раз в одну, две недели появляется новый материал.

Green Bull
На сайте с 27.02.2010
Offline
5
#6

Чтобы сервер передавал роботу дату изменения страницы, сервер надо настроить.

Если страницы создаются динамически, надо иметь на сервере и статические адреса страниц, привести их к псевдостатическому виду можно через .htaccess.

R
На сайте с 03.01.2010
Offline
9
#7
Green Bull:
Чтобы сервер передавал роботу дату изменения страницы, сервер надо настроить.
Если страницы создаются динамически, надо иметь на сервере и статические адреса страниц, привести их к псевдостатическому виду можно через .htaccess.

Спасибо, конечно, за совет.

Адреса и так нормальные, хотя я не вижу связи между адресом и датой изменений. Если мы говорим об адресе, то у нас такого вида /category/article

, но я не думаю, что что-то бы поменялось при использовании index.php?id=6 предположим.

А вот по настройке я бы все таки хотел уточнить. Есть серверный заголовок ответа, и какой там атрибут собственно отвечает за дату изменения документа?

G2
На сайте с 04.04.2008
Offline
59
#8

Параметр сервера называется Last-Modified. Если сервер Apache, то это модуль mod_expires, по моему. Если Nginx, то там все проще, смотрите документацию.

Если вы хотите, чтобы страницы всегда были устарелые, то ставьте Last-Modified текущее время.

Можно выставлять прямо из скрипта похапе: header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");

Вот что Яндекс по этому поводу говорит: "Следите за корректностью http-заголовков. В частности, важно, содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа."

Ссылка: http://help.yandex.ru/webmaster/?id=1108947

R
На сайте с 03.01.2010
Offline
9
#9
gleb22:
Параметр сервера называется Last-Modified. Если сервер Apache, то это модуль mod_expires, по моему. Если Nginx, то там все проще, смотрите документацию.
Если вы хотите, чтобы страницы всегда были устарелые, то ставьте Last-Modified текущее время.
Можно выставлять прямо из скрипта похапе: header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
Вот что Яндекс по этому поводу говорит: "Следите за корректностью http-заголовков. В частности, важно, содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа."
Ссылка: http://help.yandex.ru/webmaster/?id=1108947

Большое спасибо! Очень ценный ответ.

А есть ли смысл работать над файлом sitemap и проставлять в нем атрибут last_mod?

Uriys
На сайте с 25.03.2010
Offline
74
#10
gleb22:
Параметр сервера называется Last-Modified. Если сервер Apache, то это модуль mod_expires, по моему. Если Nginx, то там все проще, смотрите документацию.
Если вы хотите, чтобы страницы всегда были устарелые, то ставьте Last-Modified текущее время.
Можно выставлять прямо из скрипта похапе: header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
Вот что Яндекс по этому поводу говорит: "Следите за корректностью http-заголовков. В частности, важно, содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа."
Ссылка: http://help.yandex.ru/webmaster/?id=1108947

да вот это ценно! =)))

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий