Анар, возможно мы говорим немного о разных вещах.
Например, далеко не всегда, динамика подразумевает наличие сессий и дубликатов страниц. Кривые ссылки можно "распрямить" с помощью mod_rewrite или аналогичных механизмов. В грамотно спроектированной системе CMS вполне находится место заголовкам, ключевым словам и описаниям, которые являются характеристиками отдельных страниц, а не всего сайта. Сюда же можно включить и даты последнего изменения документов, количество просмотров отдельных документов и что там еще может понадобиться. Идеальная динамика может ничем не отличаться от статики. Минус таких систем состоит в их неуниверсальности, под каждый проект их приходится дорабатывать. Плюсом является удобство работы не только оптимизатора, но и пользователя (контент-менеджера). Гораздо легче что-то подправить в форме, чем ползая по FTP в куче HTML-кода.
И совсем уж идеальная система может инкапсулировать средства работы с частотными характеристиками слов.
В общем, как ТЗ напишете, так и будете работать. :)
Что касается SSI, то это "недоделаная" динамика и ближе она стоит к статике. ИМХО, гораздо чаще в SSI пользуются #include virtual, чем #exec cgi.
Позволю себе не согласиться с Вашим утверждением. Когда счет идет на сотни страниц, тратится масса времени на копании в этой куче. С динамикой приходится действительно сначала подумать и проработать разные варианты, зато потом намного легче работать. Не говоря уже про внесение изменений в дизайн и "общие" куски кода. Статический сайт при этом просто "рассыпается".
Почему нет? Если документ не менялся после последнего посещения роботом, это не значит, что он не изменится никогда.
Почему не поймает, очень даже поймает. Есть такой тег <noscript>, все что в нем, будет работать, когда отключены скрипты. Будут ли идти запросы, если и графика отключена, сказать трудно.
Суть, на самом деле, в том, что запрос к картинке счетчика идет не на Ваш сервер, а на сервер счетчика, а это уже совсем другая история.
Fitis, поищите на форуме Яндекса, там недавно кто-то из яндексоидов давал ответ на такой вопрос и приводил RFC, который нужно читать.
Приходы роботов только косвенно связаны с ИЦ, т.е. чем популярнее сайт, тем чаще будут туда наведываться роботы и брать побольше. Если сайт старый, то даже без большого количества ссылок на него, роботы могут там "гнездиться". Сам культивирую схожее гнездо. ;)
Робот Гугла на самом деле очень активен и может заходить на сайты каждый день.
Тематика сайта роли не играет.
Может и Телепорт. Нет желания глубоко копать из-за одного раза. Если будет повторяться, тогда займусь.
Smile, можно добавить какую-нибудь незначительную страницу на сам сайт, со ссылками на остальные страницы, плюс поставить на эту страницу внешнюю ссылку и ее скормить Яндексу. Хотя это все на кофейной гуще...
Я заметил, что активность робота Яндекса несколько снизилась в последние месяцы. Для примера: за одну индексацию он на сайте делает 350-450 запросов всего, из них 200-300 с кодом 200, да еще выкинул из базы страниц 400 месяц назад, а возвращаться к ним не очень-то и спешит. :(
Статьи в разделе Link Popularity помогут Вам разобраться в вопросе.
Нет, там было видно, что натуральный робот. ;)
Еще вот недавно приходило какое-то чудо, прикинулось шлангом, т.е. IE, съело большую часть контента, потом съело стили, графику, и на закуску попыталось исполнить соло на Javascript, robots.txt при этом в упор не видело.
Я, правда, так ноту протеста разработчикам и не написал. Еще раз замечу -- напишу.
