Сервер не выдает дату документа, чем это чревато?

123
Alden
На сайте с 04.04.2005
Offline
76
#11

"...робот не сможет получить информацию о том, обновилась ли страница сайта с момента последней индексации, а так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже."

Цитата с вышеуказанной ссылки. Вот и думай...

Sape.Ru (http://www.sape.ru/r.7d765d2f01.php) - наше всё! С уважением, Алимкин Денис (http://www.alimkin.ru/).
И
На сайте с 11.10.2004
Offline
32
#12
Miha Kuzmin (KMY):
Чушь какая.

вэл, вэл... Яндес от нечего делать, видимо, предупреждает об отсутствии Last-modified.

Дряхлый кандидат (наук)
[Удален]
#13

Дата не влияет на индексацию/переиндексацию. У робота свой график.

Иваныч, прочтите внимательно, ЧТО ИМЕННО написано по поводу отсутствия выдачи даты на Яндексе...

[Удален]
#14
по-моему

И по-моему тоже. :)

D
На сайте с 23.05.2002
Offline
173
#15

Scaramush, а на Яндексе все правильно написано? :)

andrej-ilin
На сайте с 28.03.2005
Offline
42
#16

Я думаю, что прежде всего нужно обратить внимание на это.

выдавать корректные заголовки ответа сервера (например, если страница не существует, выдавать ошибку 404, а если поступил запрос «If-Modified-Since», то выдавать код 304, если страница с указанной в запросе даты не изменилась);

Ну, и не забывать по это.


запретить в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;

В скобках хочу заметить, что традиционно для российских компаний, Яндекс недостаточное внимание уделяет документации пользователя. Не считается зазорным значительно задерживать обновление и ограничиваться минимумом информации. Здесь на форуме указывалось, например, что образец оформления robots.txt с директивой Host некорректен, так как может сбить с толку другие поисковики. Примеров много, но такова традиция... Короче сами разбирайтесь как хотите...

andrej-ilin@yandex.ru
Alden
На сайте с 04.04.2005
Offline
76
#17
Короче сами разбирайтесь как хотите...

Андрей, 5 баллов! :D

spark
На сайте с 24.01.2001
Offline
130
#18
Иваныч, прочтите внимательно, ЧТО ИМЕННО написано по поводу отсутствия выдачи даты на Яндексе...

Scaramush, прочтите внимательно, что именно написал Иваныч. Про квоты в частности. Абсолютно достоверное утверждение для больших сайтов. Квоты в последнее время увеличены, но они существуют. Когда квота была 500 страниц, а сайт содержал 10 000, обрабатывать иф модифай синс было просто жизненно необходимо. Не будьте столь категоричны.

[Удален]
#19

Значит так, господа начинающие, а также ничего не непонимающие и как ни странно 1 модератор (вот уж от кого не ожидал). Рассматриваются два вопроса:

1. Ходит ли яндекс чаще на те документы, на которых выдается last-modified (изменяющийся, к примеру);

2. Влияет ли как то на квоты индексирования выдача last-modified.

Ответ на оба вопроса один: нет, никак не влияет. Что же тогда влияет ?

На вопрос 1 - частота смены контента + размеры контента сайта. То есть если контент изменяется часто, ходить робот будет часто. Но если сайт большой, то все изменяющиеся страницы за проход он может и не сожрать. И вот тут возникает вопрос 2 - про квоты. И вопрос этот решается не с помощью отдачи lm, естественно, а с помощью обработки if-modified-since.

p.s. уже сто раз писали по этому вопросу, но каждый раз находятся страждущие.

Правка: а, спарк, ты тоже про ims написал ? Так какое отношение он имеет к выдаче last-modified, о котором собственно разговор и об отсутствии которого предупреждает яндекс ?

Alden
На сайте с 04.04.2005
Offline
76
#20

Miha Kuzmin (KMY), спасибо за подробные пояснения, теперь все ясно.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий