Навеяло..
А если этот "дешевый" трафик будет вам отказами сыпать? Вы уверены, что он вам нужен?
Проблема с резким изменением ранжирования не связана с Last Modified. Огромное кол-во сайтов заходят в топы без Last Modified и более того, если поисковик видит в Last Modified некорректное значение - робот его игнорирует (Мюллер комментировал).
Например, часто в клиентских анализах я сталкиваюсь с тем, что в Last Modified просто передаётся дата обращения (т.е. текущая дата и время), при этом поисковик заходит и видит в данном поле всегда измененную дату. В это случае поисковик просто перестаёт учитывать эти данные, потому что для него при запроса будет "всегда новая страница".
Для небольших сайтов и уж тем более лендингов с Last-Modified заморачиваться вообще не нужно, если при генерации XML карты в поле <lastmod> передаётся корректная дата - этого вполне достаточно. И уж конечно на ранжирование сигнал для очерёдности поисковой обработки никак не влияет: это нормирует поисковую очередь, но сигналом для дополнительной релевантности не является.
Вебмастер -> Инструменты -> Проверка ответа сервера
Если LM настроен, то он выводится не в содержании странице, а именно в коде ответа сервера,
кэш
meta тэги
Ни в кеше, ни в мета тегах этих данные не хранятся.
Данные для Last Modified и <lastmod> берут из базы данных (если конечно этот механизм реализован).
p.s. У большинства современных CMS этот механизм уже реализован.
В коде ответа сервера (если LM поддерживается и корректно настроен).
Смотреть через Вебмастер, можно также через bertal.ru
Данные о последнем изменении страницы могут храниться в секции <lastmod> в XML карте сайта.
Идея в принципе проста.
1) Добавляем список проксей.
2) Определяем лимит полученных URL-ов (поле, куда можно ввести численное значение, например, 500).
3) Определяем режим обхода при котором при достижении указанного лимита URL-ов, происходит пауза и дальше досбор данных происходим уже со следующего прокси.
Наглядно примерно так:
прокси1 -> URLs: 1-500
прокси2 -> URls: 501-1000
прокси3 -> URls: 1001-1500
и т.д.
В Яндексе по этому вопросу писали, уточняли почему If-Modified-Since не шлет? Получили подтверждение от Яндекса, что не работает?
Или у вас не получилось и вы для себя решили, что не работает?
Спасибо, да это надо сделать давно...
Реализация Last-Modified в связке c If-Modified-Since имеет смысл когда у вас более 10 тыс. страниц и на сотнях из них идут активные обновления. Это актуально для действительно больших интернет магазинов и крупных СМИ.
Однако, несмотря на скепсис Mik Foxi поддержку работы Last-Modified действительно стоит реализовать на любом интернет ресурсе и кроме данных заголовка сервера дату последних изменений страницы также важно корректно передавать в секцию <lastmod> XML карты сайта. Это влияет на приоритизацию индексации, что безусловно важно.
Попробую максималку скорости еще раз, врядли мощностей хватит, не просто так минимум ставил.
Вы конечно можете экспериментировать со скоростью обхода (если сервер жалуется), но исходя из вашего стартового вопроса - на позиции это не повлияет.
Вечер добрый, покуда вы как автор напомнили про SiteAnalyzer.
Cкажите пожалуйста, а в вашей программе планируется использование динамической смены прокси в одном рабочем цикле?
Тюнинг robots.txt? Это мило 😊
И вот какой вопрос у меня: не понимаю, стоит или не стоит закрывать от индексации поисковиками профили игроков (примерно такого вида: ht tps://ww w.mafia syndi cate.ru/Ga mer/3986 - уберите пробелы).
Это не дубли, не пустые страницы с одной стороны, с другой стороны чем они пригодятся поисковикам - особо непонятно.
Каких-то чётких гайдов не нашёл, поэтому если у кого есть рекомендации по тому, как сделать выбор - приму с благодарностью.
Закрыть индексацию профилей без компромиссов. Во-первых, выше Дмитрий правильно сказал - это всегда маяк для притяжения спамеров. Если вы ресурсно даёте возможность использовать страницы своего сайта для ссылок - этим будут пользоваться.
Далее, надо ещё помнить о том, что не все пользователи хотели бы, чтобы через поиск находили их игровые профили. Со временем наверняка с этим столкнетесь.
Итого - не создавайте условий для будущих проблем, превентивно решайте этот вопрос.
Запрет к индексации и без компромиссов,
(вспомнилось вдруг - привет фанатам видеосалонов из 90-х) 😊
