Читать и экспериментировать.
Пионерскими блогами увлекаетесь?
<noindex> был придумал Дмитрием Крюковым, в Рамблере, году так в 1997-м (прикольно тогда Раблер выглядел). Яндекс его поддержал позже. Атрибута nofollow тогда и в помине не было - какая, нафиг, альтернатива?
ТС, тему валидного noindex-а разрабатывал nickspring, может что найдете в его блоге.
Alexmag, копайте в сторону АГС.
Судя по логам, Яндекс забил на него. Стоит Diasllow: /, робот Яндекса пару раз в день читает robots.txt, а потом пытается получить морду запросом GET: /.
Пришлось закрыть в движке сайта, только Яндексу даже на "404 Not Found" - всё-равно долбится.
:) Базовые "модули" уже есть, а новые фичи под конкретные нужды - добавить не проблема.
ЯК позволяет присвоить сайту несколько регионов (7 штук) и определить тематику (сможете ставить тематичные ссылки). Плюс - ссылка с трастового ресурса, и возможно - трафик с самого каталога
По поводу "фильтра на возраст" - вопрос остается открытым :)
На словах - да, причём аж c 2004 года:
Вот тут сразу и обсуждалось.
На самом деле ещё год назад индексил - был пример запроса "РКК-330Б" (марка рубероида такая), сейчас - не хочет, хотя страница в индексе.
А Google - молодец, flash индексит, как и год назад :)
Свежая аналогичная тема, и не одна - факт имеет место быть. Там идею кинули - может в Куках регион прописался разный?
1. зачастую - можно. В основном сайты пишут на php/html/AspNet/Flash/JavaScript(серверный), отдельные скрипты - можно на Perl/shell и тп
хостинг сайта часто ограничивает в выборе - html или php, на narod.ru - все на html
Если Вы имеете ввиду CMS - её узнать можно далеко не всегда.
2. Есть сервисы по определению скорости загрузки страниц, Google Вам поможет.
3. Статистика сайта доступна не всегда, но если стоит счетчик liveinternet.ru - ежедневную посещаемость узнать можно. Кое-что можно узнать если стоят рейтинги Rambler Top 100 или mail.ru и тп.