Я подразумеваю наличие доступа к ним у вас.
Ага, живут - на $100 за сайт. Попробуйте клиенту из серьезной фирмы пообещать первое место. Он это обещание воткнет в договор и потом без всяких прокуроров за горло возьмет.
Подойдет наличие логов на сервере. Как вы в них будете копаться - на сервере через шелл или скачаете себе на машину и FAR`ом просматривать - абсолютно все равно.
Webalizer тут не поможет. Нужен доступ к логам.
По дизайну не подскажу, а по раскрутке есть мысль. Копать стоит в сторону местных провайдеров. Сайт провайдера - это такое место, куда ходят все.
Очень хорошо, кстати, наладить отношения с локальными/домашними сетями. Внешний трафик у них обычно платный, а если положить сайт в бесплатном для них месте, юзеры будут там дневать и ночевать.
Ну и оффлайновый пиар необходим, конечно. Рекламных кампаний не надо - надо просто присутствовать в виде визитки, флаера, эмблемы на флаере и т.д.
Флеймить - в курилке.
Вот именно.
В действительности проблемы, связанные с индексацией, очень легко отлавливаются пристальным изучением логов. Если робот не берет страницы - значит, дело не в них. Если берет, но не индексирует (т.е. не добавляет в базу или не обновляет) - то либо он получает неправильный ответ сервера (что протоколируется), либо считает новый документ дублем имеющегося.
А в данной ситуации либо страницы стоят где-то далеко в очереди на индексацию, либо новых ссылок робот не видит вообще. Кстати, а старые страницы есть в базе? И что физически выдает сервер на запрос старых страниц?
Ну, правильно, надо же на чем-то ездить.
теоретически можно не ip, а домен ввести.
Это необязательно вызвано схемой обработки директорий. Робот Яндекса, встретив ссылки, ставит их в очередь - и дойти до них может через N-ое, иногда очень большое время.