Например UBB, на котором работает этот форум :-). Тут все странички статические.
Посмотри сегоднящнюю статью на cooler.it . Там есть ссылки и упоминание про модуль к апачу - mod_geo на lexa.ru . Утверждается, что быстродействие более, чем достаточное.
Для этого, если не ошибаюсь, есть тэг <noindex> и Яндекс его понимает.
Яндекс вроде это понимает. А вот альтависта у меня полезла куда ее не просили. Похоже она не понимает этого:
<META name=robots content=NOINDEX,NOFOLLOW> .
Надо было мне эти файлы класть в другую директорию и закрывать через robots.txt .
У меня самые новые страницы в Альтависте от 25-08-2001. На другом сайте - самая новая страница (всего одна) от 15 августа. А робот стал ходить очень регулярно.
Ссылки на сайт: #link="www.porshe.ru*"
Ссылки со словом porsсhe "$anchor (porsсhe)"
Если попытаться сайт в домене .com или .net засабмиттить в Яндекс, скорее всего результата не будет, несмотря на оптимистическое обещание, что "найден текст на русском языке и сайт будет проиндексирован". По моему опыту такие обещания могут продолжаться бесконечно. Если написать на addurl@yandex.ru (как рекомендовано Яндексом), сайт появится проиндексированным недели через две максимум.
Броузер передает такую информацию, называется REFERRER, например в логах это выглядит прирмерно так:
relay1.rbos.com - - [01/Oct/2001:15:38:04 +0400] "GET /news/news_mp40.htm HTTP/1.0" 200 5736 "http://www.google.com/search?q=VCON+Meeting+Point" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 4.0)"
Проверим:
www.yandex.ru - 7/10
www.yandex.ru/sindex.html - 3/10
www.yandex.ru/nini.html - 4/10
Аналогично. Дёргает / (там линк есть), robots.txt с завидным постоянством. По линку не пошел ни разу за несколько месяцев. Убрал robots.txt - не помогло. Может я как-нибудь не так засабмиттился. Через что - уже не помню. Как его пустить по линкам, уж очень часто заходит и всё без толку?
