- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Уважаемые дамы и господа, есть такой вопрос.
Имеем крупный сайт с динамическим контентом. Время обновления каждой страницы выдается скриптом и является временем на момент запроса. В Яндексе проиндексировано более 3000 страниц с сайта и еще уйма не проиндексирована. И глядя на статистику роботов Яндекса убеждаюсь, что свежая дата документа для большоего контента НЕ есть хорошо. Робот отвлекается на уже проиндексированные страницы, т.к. видит, что они уже устарели и не индексирует другие, еще не попавшие в индекс.
Посоветуйте пожалуйста, как быть в таком случае.
Я уже наметил вариант, в котором будет проставляться реальная дата изменения контента именно данного документа (хотя это достаточно трудоемко).
Если страница не изменялась с момента последней индексации, робот ее трогать не будет? (У меня за обход Яндекс берет ровно 500стр) Будет ли эта стр включена в список этих 500ста?
Наверное лучше проставлять дату с периодом переиндексации. То есть если допустим бот переиндексирует в среднем раз в неделю, то нужно устанавливать дату с этим шагом.
Ну и какой резон от этого?
Я ведь хочу, чтобы робот видел, что некоторые страницы не изменяли контент со времени прошлой индексации. А так что изменится -ничего.
Если просто выдавлять реальную дату изменения документа вместо текущей, робот все равно будет брать документ.
Реально существует два варианта:
1. Ждать, когда робот доберется до новых страниц. Это произойдет если старые страницы не меняются долгое время.
2. Эмулировать статику с выдачей всех необходимых HTTP заголовков.
Разве? Кто-то из Яндекса говорил, кажется, о том, что уже проиндексированные документы со старой датой, в число забираемых 500 попадать не будут.
Проставлять нужную дату для каждой отдельной страницы дело трудоемкое и не всегда благодарное, т.к. (по моим наблюдениям) Яндекс не совсем верит датам обновления документа, а верней совсем не верит.
При повторной индексации он сравнивет с прошлым запомнином документом и из этой информации и исходит как часто переиндексировать данную пагу.
А даты, которые выдает сервер он показывает при выдаче и все.
Т.е. через пару месяцев он сам поймет, что обновляется, а что нет.
Не будут, если кроме даты обрабатывать заголовок запроса If-Modified-Since, если же просто выдавать дату и "200 Ок", то робот все равно будет забирать документы.
Не всегда.
Не будут, если кроме даты обрабатывать заголовок запроса If-Modified-Since, если же просто выдавать дату и "200 Ок", то робот все равно будет забирать документы.
Не всегда.
А можно подробнее как формировать If-Modified-Since 😕
Не формировать, а обрабатывать.
Как неоднократно замечал многоуважаемый Aik, надо читать rfc, в данном случае rfc-2616.