Поисковик не придет через 5 минут опять на сайт :)
Зачем Cache-Control и Pragma если они и так уже есть в HTTP header?
Советую почитать:
ftp://ftp.isi.edu/in-notes/rfc2616.txt
Это похоже только часть будущего, так как в этой выдаче пока еще не все сайты есть по всем запросам.
Три способа:
1. Если есть linux shell:
Кодманда GET (lwp-request) выдаст все HTTP заголовки, и будет видно добавляет он туда META таги или нет
Пример (жирным выделено то, что добавлено из META):
2. HTTP заголовки можно получить, написав программу на PERL с помощью LWP
http://www.perl.com/pub/a/2002/08/20/perlandlwp.html
3. Скачать для браузера плагин, который показывает HTTP заголовки
Например:
http://livehttpheaders.mozdev.org/
запросто могли исключить одну страницу из выдачи на конкретный запрос - из-за переоптимизации по конкретному ключевому слову (это не бан, а просто автоматическое исключение из выдачи)
Поиск по 50 показывает интересные результаты.
Но будущее - вещь непостоянная.
Description нужен, keywords тоже
некоторые: Last-Modified, Pragma нужны если нет нормальных http headerов и apache настроен так, что выдает meta в http заголовок
Необходимость бана - недостаток алгоритма. Если человек заспамил - не учитывайте этот спам и все.
Все же очень вероятно, что рынок изменится, и Яндекс может сместиться в другую сферу деятельности.
Все будет другим лет через 5.
Про добрый Яндекс:
Глючит по черному
19. Oops :-(
Error :-(
— найден по ссылке
Похожие документы
20. Oops :-(
Интересно, что похожие документы не находит, хотя их много в выдаче :))
