Имеется в виду региональный поиск? Вы отстали от жизни, это уже не так. Регион присвоен (автоматически) 46% всех сайтов, которые есть в базе (июль 2006).
По одной строчке о частоте судить трудно :).
Если эта страница изменилась и уже была в базе, это можно назвать переиндексацией данной страницы. "Просто так ходит" - это если страница не изменилась с прошлого захода робота, то и в базе изменений по этой странице наверное не будет.
Буква I в конце - это как раз индексатор, а 200 - это код ответа сервера (все нормально).
Если включить в логах еще и запись к какому хосту обращался робот (с www или без), то можно увидеть, какое из зеркал индексируется (см. мануал к вашему веб-серверу, скорее всего Apache).
IndexSa, только если у вас есть доступ к сайту конкурента на изменение главной страницы.
Site-Auditor попробуйте.
На качественном сайте, имеющем значение для действительно масс посетителей, со временем набирается постоянная аудитория. Этот трафик может быть на пару порядков выше, чем поисковый трафик. Поэтому для некоторых сайтов падение поискового трафика вдвое никак не скажется на графиках посещаемости. Главное - известная марка, название сайта, type-in трафик. Но таких монстров относительно немного.
Правда поисковый трафик важен для получения новых посетителей, которые при некоторых условиях станут постоянными.
Вот с этим не поспоришь, это да.
Для начала:
http://www.ashmanov.com/pap/ivsprep.phtml
http://www.optimization.ru/subscribe/list.html
Если сможете выделить часть информации по смыслу и теме на отдельные домены, то можно продвигать 3 сайта отдельно. Ну и грамотно их перелинковать.
Что верно?
Между блоками должна быть пустая строка!
"you may not have blank lines in a record, as they are used to delimit multiple records".
Тут решается только первая задача - список слов по убыванию частоты.
А вторую задачу должен решать оптимизатор, используя еще и свою голову.
Домен .ru появился в 94 году, а в 95-96 уже было полно провайдеров (Релком, Демос, Зенон, ...).
Вам уже написали.
Disallow: /page
