На заборе тоже было ... написано, бабушка подошла, потрогала, оказался сучок.
30 сайтах.
Верить - проще, "вера" не требует подтверждения конкретными фактами.
Из логов сервера для сайта, который поддерживает LastModified. В посте выше приведены картинки недавних логов ботов Яндекса и Google, у Яндекса нигде нет ответа 304 "Not Modified", у Google - есть.
Год назад 304 код светился в ответах Яндекс боту, значит он присылал заголовок If-Modified-Sinse:
Если вы храните страницы в кэше на сервере - то да. Только зачем их хранить в кэше, если всё-равно каждую страницу приходится генерить заново (для определения изменений).
Проще хранить хэш(хотя бы CRC32) от страниц в БД, его и сравнивать проще, чем 2 html-"портянки".
PS: Неплохо предварительно вытягивать html-код в одну строку, убирая пробелы и переносы строк между тэгами - они не влияют на контент страницы.
В Яндексе - нет, его бот перестал поддерживать LastModified (раньше - поддерживал).
Яндекс за сутки на сайте переиндексирует от 1000 до 7000 страниц, для большинства сайтов этого вполне достаточно, куда ещё ускоряться?
В Google - ускоряет только теоретически. Его бот поддерживает LastModified (304 ответ сервера на картинке ниже), но Google и так шустро всё переиндексирует.
Имхо, кто-то в Яндексе крышует это сайт, его же не просто так хотели на вебинар выставить.
Интересно, как бы ответил А.Садовский на свой любимый вопрос: Стали бы вы создавать сайт (или некоторые его страницы, элементы), если бы не существовало поисковиков? касательно сайта какпросто?
PS: Политика двойных стандартов, чо.
Для динамических страниц(когда инклудятся шаблоны, куски кода и иформация из БД) есть только один способ узнать устарела ли страница - сгенерить её, посчитать от неё хэш и сравнить его с хэшем, хранящимся в БД.
А если страница уже сгенерена - чего бы просто не отправить её пользователю, каналы сейчас не лимитируют.
Поэтому многие забивают болт на кэширование на стороне клиента, так проще. Плюс, кэширование не даёт сайту никаких преимуществ в глазах Яндекса.
Он превратился в огромный дорвей: на каждый ключ сделана отдельная страница. Естественно, информация на них не обновляется и уже устарела.
Google - молодец. Интересно, забанит ли Яндекс своего "любимчика"?
PS: Яндексоиды в своё время пытались выставить этот ГС на Вебинаре как образец для подражания, но под давлением Серча быстро были быстро попячены.
DNS не забудьте тоже через VPN резолвить, иначе сайт будет светиться в запросах в DNS у провайдера.
Напишите аналог Xeny на php (это 100-150 строчек кода).
По-странично складываете в MySQL весь ваш сайт (прямо html-код страниц), и потом там поиском по БД можно уже найти что угодно.
Вот тут fliger собрал актуальные директивы для Адсенса.
