ну тот, который за количеством гонится и индексирует редко, но метко.
я слышал цифры для яндекса в духе 400 документов за раз, два раза в месяц, что-то такое...
В случае если у тебя на сайте 4000 документов к примеру, то переиндексацию какого-то частного случая можно ждать очень долго...
Ни один поисковик у тебя за раз всё это слизывать не будет ;) У всех есть свои task managers и т.д. Тоже самое и с добавлением, если поисковик занёс определённое количество твоих url в очередь на индексацию и этот список превышает кол-во документов переиндексируемых/индексируемых за один раз, то можно оч. долго курить бамбук.
Про качественный индекс и количество документов?...
Если у тебя документов больше тысячи, то ты должен это знать. В большей массе случаев, Яндекс переиндексирует документы.
У меня гугля и ремблер примерно одинаково ( +/- две позиции ), но вот мыл.ру от гугля отличается на 2 позиции, что наводит на мысль что там либо что-то подкручивают, либо кешируемость по высокочастотным запросам какая-то слишком уж очень длинная.
УебМастеры они же легко поддаются гипнозу! Если взять кипу литературы за период 96-98гг, то можно понять "моду" тех (релкомовских) времён...
1) страничку делать надо, потому что надо ( это модно )
2) на ней должен быть рассказ о себе и немного фоток ( это ультра модно)
3) на ней обязательно должны быть ссылки!
4) если вы не знаете откуда взять эти ссылки, то разместите пожалуйста джентельменский набор:
Поисковики: Altavista, Yahoo, Lycos, www.ru
Интересное: Наса, Белый Дом (как минимум это)
Вобщем, если это происходило в институтах, то как правило было по принципу, кто больше ссылок там разместит...
Две ссылки были ну просто обязательными:
1. "Hosted by" ( http://www.yandex.ru/yandsearch?text=hosted+by&stype=www&rpt=rad ) Казанский институт рулит!
2. эта по желанию, "Интернет от" "Best ISP"
Вот эту фенечку только модераторы на второе место могут поставить:
( http://www.yandex.ru/yandsearch?text=%E1%E5%EB%FB%E9+%E4%EE%EC&stype=www&rpt=rad ) или же мегапромоушен(tm) другоГа здания.
Вобщем это мода тех лет... разместить фотку с голой тёткой и ссылку на Дисней прям на этой же странице!
Есть такое мнение, что Яндекс (сдесь надо разместить жест из фильма пародии, когда там говорили "у нас есть лаазер", про Остин Пауэра что ле кино)... вобщем Яндекс делает ставку на КАЧЕСТВЕННЫЙ индекс, и не гонитца за количством... Отсюда возникает вопрос, а документов у тебя на сайте много?
Что еще раз доказывает, что в случае с Яндексом, поисковик больше доверяем "ЗАГОЛОВКУ ОТВЕТА", нежели тому что там внутри написали. По поводу кодировки, забивайте на все эти автоматы и прочие no-cache мульки, смело ставьте в .htaccess AddDefaultCharset windows-1251 и живите спокойно. В наше время браузеры не поддерживающие ДВЕ-ТРИ руско-кирилические кодировки редко кто использует.
Но тем не менне, заполнение мета тегов, РЕАЛЬНОЙ инфой о документе, является хорошим тоном.
Не хочу показаться больным... В теории сдесь всё нормально.
Если предположить, что этот кусок кода делает куку с названием REFERER, и засовывает туда данное значение, то этот кусок кода делает ровно то, что он делает ;) Кука эта прилетает от браузера на сервер, только в рамках данного домена/url (кому как понятнее) и реального применения этому, кроме как разводить кого либо, либо же обманывать какую нибудь, такую же статистику, на своем же сервере (что бы блестать результатами, да и то бред полный) нет.
Вот тут я не согласен ;) "ответы сервера" не только прокси используют... это СТАНДАРТ понимаешь ли ;)
IMHO поисковки уже накушались мета тегов, в наше время за кеширование страницы отвечает "заголовок ответа сервера", а желание заставить поисковик индексировать то что Вам нужно, никак не пересекается с его переченем задач. Можно только влиять на start-up процесс индексации, постепенно открывая поисковику те или иные разделы. Так же можно заметить, что некоторые поисковые машины производят некоторую сортировку списка документов, поставленных в очередь на индексацию. К примеру, если в robots.txt открыть закрытые разделы, то он пойдёт по ним в алфавитном порядке.
Обратите внимание, что при игре с HTTP headers нужно учитывать реалистичность информации, к примеру сложно убедить некоторые поисковики по поводу "статичности" данной страницы, когда ему где-то попадаются ссылки на эту страницу test.html?asdsd или же эта страничка выставляет куку.
