Как отдавать поисковикам Last-Modified динамических страниц?

alexspb
На сайте с 14.11.2005
Offline
187
#41
Timen:
сознательно могут отдавать очень старый Last-Modified страниц

Например, дату до рождества Христова???

T
На сайте с 11.08.2005
Offline
181
#42
Наставим. Ибо маразм выдали. lm не используется роботами для построения графика посещений.

Ну и ладно, это ведь форум... все иногда ошибались....

Хотя мне казалось, что робот увидев последнюю дату изменения страницы и сравнив ее с датой этой же страницы в кеше, не будет ее повторно индексировать…

Раз уж это не так, то извините за предыдущий пост. Буду больше изучать тонкости вопроса перед тем как выражать свои мысли…

bondarev.pp.ru
На сайте с 29.09.2005
Offline
202
#43
Timen:
Хотя мне казалось, что робот увидев последнюю дату изменения страницы и сравнив ее с датой этой же страницы в кеше, не будет ее повторно индексировать

Я тоже так думал. :(

bondarevpipes.com (http://ru.bondarevpipes.com/)
[Удален]
#44
Хотя мне казалось, что робот увидев последнюю дату изменения страницы и сравнив ее с датой этой же страницы в кеше, не будет ее повторно индексировать…

Когда кажеться... :)

[Удален]
#45
Miha Kuzmin (KMY):
Наставим. Ибо маразм выдали. lm не используется роботами для построения графика посещений.

Для графика посещений - не учитывается. А для принятия решения о повторной индесации страницы?

Была же тема, когда Яндекс "сносил" уже проиндексированные страницы при неправильной выдаче заголовка "Cache-Control: max-age=".

Самя идея "не индексировать страницы со ссылками" - в общем глупая - все и так проверяют обратные ссылки по индексу Яндекса.

А то, что неправильная выдача заголовков о дате страницы может как-то повлиять на деятельность SE - в этом я согласен с Timen.

PS:Если на сайте 10 000 страниц, загрузка страницы по сети - 1 сек, загрузить все страницы - почти 3 часа! Если все 10 000 страниц станут отвечать, что "мы-новые, нас надо переиндексировать" - будет ли Яндекс неэффективно расходовать на них свои ресурсы?

mymind
На сайте с 07.09.2004
Offline
154
#46
ksav:
Конструкция работать будет, но:
1. Не даст пользователям использовать кэш, что не есть Good
- Сайт будет дольше грузиться, возможно картинки тоже будут перезапрошены.
- Пользователя "кидаем на бабки" - лишний трафик оплачивает он.
- лишняя нагрузка на серевер - то ли отдать страницу заново, то ли код 304.

2. Подумайте как отнесутся SE к индесации сайта в 10000 страниц или более, которые при каждом запросе говорят, что "мы изменились - нас надо заново скачивать и индексировать".

Так что, лучше помудрить сейчас, чем потом открывать топики типа "Помогите, мой сайт плохо индексируют поисковики".

Можем в приницпе не запрещат кэш, оставить только лишь дату. Что касается плохо, то что-то я плохого не наблюдаю ... За последние 20 часов яндекс новых нашел 70 страниц. И за 1,5 года существования проблем с индексацией небыло ни разу. Результат поиска: страниц — 52 078 Пойдет ?

Обмен криптовалют по выгодному курсу Bitpayes.com / Instabit.pro ( https://bitpayes.com http://instabit.pro )
[Удален]
#47
Для графика посещений - не учитывается. А для принятия решения о повторной индесации страницы?

Для обеда - не учитывается. А для обеда ? 😂

wolf
На сайте с 13.03.2001
Offline
1183
#48
mymind:
Результат поиска: страниц — 52 078 Пойдет ?

Причем, большинство из них переиндексировалось при царе Горохе, насколько я понимаю.

На самом деле проблема для больших сайтов весьма актуальная.

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
[Удален]
#49
mymind:
Можем в приницпе не запрещат кэш, оставить только лишь дату.

Выдавая "неправильную" дату - Вы фактически:

а). либо запрещаете КЭШ НА СТОРОНЕ КЛИЕНТА,

б). либо рискуете, что клиент будет брать из своего кэша устаревшую информацию какое то время. Неграмотной выдачей заголовков можно добиться того, что клиент вообще никогда не будет брать обновлённую ИНФО с сайта :)

КЭШ НА СТОРОНЕ КЛИЕНТА реализуется 2-я путями:

1. Last-Modified обработка заголовков "If-Modified-Since"

2. ETag и обработка заголовков "If-None-Match"

mymind:
Что касается плохо, то что-то я плохого не наблюдаю ... За последние 20 часов яндекс новых нашел 70 страниц. И за 1,5 года существования проблем с индексацией небыло ни разу. Результат поиска: страниц — 52 078 Пойдет ?

На это Wolf ответил, я его поддерживаю, я по этой части теоретик (сайт всего на 60 страниц), а Wolf - практик с опытом.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий