- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Недавно настроил на сайте заголовок Last-Modified. Теперь если с последнего визита поискового робота на странице ничего не изменилось ему должен выдаваться ответ 304 Not Modified, если же изменилось или страница новая то ответ – 200 Ок. Валидатор ответа сервера от Яндекса (http://www.webmaster.yandex.ru/server-response.xml) показывает что всё работает правильно.
Вчера заглянул в логи сайта, и там все страницы при обращении поискового робота отдают код ответа – 200 Ок, даже если на странице не было изменений уже несколько месяцев.
Скажите, может так и должно быть в логах?
Как узнать какой реально код отдают страницы, которые не изменились с последнего посещения робота?
Логи надо смотреть, бот-чекалка в вм всегда отдает 200 (304 в нем ни разу не видел), основной бот отдаст 304. Это, я так понял, специальная настройка чекалки.
awasome, вот как раз при проверке в вебмастере Яндекса показывается ответ 304 Not Modified, если я вас правильно понял.
Я смотрел вот для этого бота:
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) - это основной бот и ему все страницы почему с кодом 200 Ок отдаются, даже если страница с последнего его посещения не изменилась, а по логике должен быть ответ 304 not modified
Где показывает? На графике? График не отражает и одной десятой реальных обращений бота. Я говорю про "Проверить ответ сервера", здесь я не вижу 304. У меня в логах часто 304 проскакивает, где есть кэш, но не всегда, иногда все равно отдает 200.
Я смотрел вот для этого бота:
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) - это основной бот и ему все страницы почему с кодом 200 Ок отдаются, даже если страница с последнего его посещения не изменилась, а по логике должен быть ответ 304 not modified
Посмотрите логи на роботе Google.
Есть такое ощущение, что робот-индексатор Яндекса - сломался, ибо раньше он 100% запрашивал дату модификации страниц и брал в индекс только новые. Сейчас(судя по моим логам) - у него лишь единичные случаи с 304 Not Modified.
PS: Периодически роботы принудительно переиндексируют страницу - обновляют свой кэш. Тогда они сдёргивают страницу, не давая заголовок If-Modified_Since.
awasome, не совсем понял вас, 304 Not Modified показывает в инструменте http://webmaster.yandex.ru/server-response.xml, там нет никаких графиков, просто добавляем заголовок If-Modified-Since и задаём время изменения вручную, и тогда всё правильно определяется, это говорит о том что сам ответ сервера 304 отдаётся корректно, когда и должен, значит на стороне сервера все ОК.
Ladycharm, воспользовался вашим советом, и действительно Гугл боту все не изменившиеся страницы отдаются как 304 Not Modified, а изменившиеся 200 Ок, значит действительно проблема на стороне Яндекса.
Ещё такой вопрос - как вы смотрите логи сайта в таком удобочитаемом виде (имею ввиду скрины что вы привели)? это какая то программа, или функционал хостинга, или ещё что-то?