Из логов сервера для сайта, который поддерживает LastModified. В посте выше приведены картинки недавних логов ботов Яндекса и Google, у Яндекса нигде нет ответа 304 "Not Modified", у Google - есть.
Год назад 304 код светился в ответах Яндекс боту, значит он присылал заголовок If-Modified-Sinse:
ghost28: Ну, или если надо поддерживать ласт-модифайд, то уже с кешированной страницей сравнивать, чего хеш вручную считать?
Если вы храните страницы в кэше на сервере - то да. Только зачем их хранить в кэше, если всё-равно каждую страницу приходится генерить заново (для определения изменений).
Проще хранить хэш(хотя бы CRC32) от страниц в БД, его и сравнивать проще, чем 2 html-"портянки".
PS: Неплохо предварительно вытягивать html-код в одну строку, убирая пробелы и переносы строк между тэгами - они не влияют на контент страницы.
Алексей Барыкин: Заголовок Last-Modified и его молочный брат lastmod из sitemap.xml помогают ускорить индексацию сайта.
В Яндексе - нет, его бот перестал поддерживать LastModified (раньше - поддерживал).
Яндекс за сутки на сайте переиндексирует от 1000 до 7000 страниц, для большинства сайтов этого вполне достаточно, куда ещё ускоряться?
В Google - ускоряет только теоретически. Его бот поддерживает LastModified (304 ответ сервера на картинке ниже), но Google и так шустро всё переиндексирует.
alexfor: Ему выгоднее по запросу "Как купить беговую дорожку" выдавать не статьи с сайтов по беговым дорожкам, а "какпросто" обвешанный директом :)
Имхо, кто-то в Яндексе крышует это сайт, его же не просто так хотели на вебинар выставить.
Интересно, как бы ответил А.Садовский на свой любимый вопрос: Стали бы вы создавать сайт (или некоторые его страницы, элементы), если бы не существовало поисковиков? касательно сайта какпросто?
AndreyMorkovin: (не знаю, почему все так хотят на него забить).
Для динамических страниц(когда инклудятся шаблоны, куски кода и иформация из БД) есть только один способ узнать устарела ли страница - сгенерить её, посчитать от неё хэш и сравнить его с хэшем, хранящимся в БД.
А если страница уже сгенерена - чего бы просто не отправить её пользователю, каналы сейчас не лимитируют.
Поэтому многие забивают болт на кэширование на стороне клиента, так проще. Плюс, кэширование не даёт сайту никаких преимуществ в глазах Яндекса.
Но Вы же видели, какими неприятными вещами грозит Яндекс в своем официальном хелпе.
На заборе тоже было ... написано, бабушка подошла, потрогала, оказался сучок.
Я не знаю, на сколько можно доверять статистике поведения бота Яндекса на Вашем сайте. Думаю, все же, поверить хелпу.
30 сайтах.
Верить - проще, "вера" не требует подтверждения конкретными фактами.
Откуда эта информация?
Из логов сервера для сайта, который поддерживает LastModified. В посте выше приведены картинки недавних логов ботов Яндекса и Google, у Яндекса нигде нет ответа 304 "Not Modified", у Google - есть.
Год назад 304 код светился в ответах Яндекс боту, значит он присылал заголовок If-Modified-Sinse:
Ну, или если надо поддерживать ласт-модифайд, то уже с кешированной страницей сравнивать, чего хеш вручную считать?
Если вы храните страницы в кэше на сервере - то да. Только зачем их хранить в кэше, если всё-равно каждую страницу приходится генерить заново (для определения изменений).
Проще хранить хэш(хотя бы CRC32) от страниц в БД, его и сравнивать проще, чем 2 html-"портянки".
PS: Неплохо предварительно вытягивать html-код в одну строку, убирая пробелы и переносы строк между тэгами - они не влияют на контент страницы.
Заголовок Last-Modified и его молочный брат lastmod из sitemap.xml помогают ускорить индексацию сайта.
В Яндексе - нет, его бот перестал поддерживать LastModified (раньше - поддерживал).
Яндекс за сутки на сайте переиндексирует от 1000 до 7000 страниц, для большинства сайтов этого вполне достаточно, куда ещё ускоряться?
В Google - ускоряет только теоретически. Его бот поддерживает LastModified (304 ответ сервера на картинке ниже), но Google и так шустро всё переиндексирует.
Ему выгоднее по запросу "Как купить беговую дорожку" выдавать не статьи с сайтов по беговым дорожкам, а "какпросто" обвешанный директом :)
Имхо, кто-то в Яндексе крышует это сайт, его же не просто так хотели на вебинар выставить.
Интересно, как бы ответил А.Садовский на свой любимый вопрос: Стали бы вы создавать сайт (или некоторые его страницы, элементы), если бы не существовало поисковиков? касательно сайта какпросто?
PS: Политика двойных стандартов, чо.
(не знаю, почему все так хотят на него забить).
Для динамических страниц(когда инклудятся шаблоны, куски кода и иформация из БД) есть только один способ узнать устарела ли страница - сгенерить её, посчитать от неё хэш и сравнить его с хэшем, хранящимся в БД.
А если страница уже сгенерена - чего бы просто не отправить её пользователю, каналы сейчас не лимитируют.
Поэтому многие забивают болт на кэширование на стороне клиента, так проще. Плюс, кэширование не даёт сайту никаких преимуществ в глазах Яндекса.
Он превратился в огромный дорвей: на каждый ключ сделана отдельная страница. Естественно, информация на них не обновляется и уже устарела.
Google - молодец. Интересно, забанит ли Яндекс своего "любимчика"?
PS: Яндексоиды в своё время пытались выставить этот ГС на Вебинаре как образец для подражания, но под давлением Серча быстро были быстро попячены.
Видеть конкретную страницу или хотя бы сайт?
DNS не забудьте тоже через VPN резолвить, иначе сайт будет светиться в запросах в DNS у провайдера.
Напишите аналог Xeny на php (это 100-150 строчек кода).
По-странично складываете в MySQL весь ваш сайт (прямо html-код страниц), и потом там поиском по БД можно уже найти что угодно.
вот его я как раз и хотел увидеть
разрешать только adsense
Вот тут fliger собрал актуальные директивы для Адсенса.