Avatar, подумайте сами, вы сообщаете роботу о новой странице, он ее ест. Потом смотрит, какие на ней ссылки, ставит эти страницы в очередь. Через какое-то время их тоже ест. Робот - это тот же HTTP-клиент, что и броузер, только без наворотов, текстовый.
Если в директорию вы не положили файл index.html, результат зависит от настройки веб-сервера. Посмотрите броузером, зачем гадать на кофейной гуще.
А как часто стали мониторить и в каких количествах? Ведь ситуация обновляется ну раз в неделю. Или надо очень много разных запросов?
Неуклонно повышайте цитируемость, и воры отползут назад. Это они украсть не смогут.
это тот же самый хост:
# host www.google.com.ru
www.google.com.ru is a nickname for www.google.com
www.google.com has address 216.239.53.99
Sla, вы проверяйте, прежде чем писать насчет трафика.
Что мешает часть новых страниц добавить руками? На них навигация-то есть?
Может сайт до переделки долго не менялся? Тогда робот может редко ходить. Сколько страниц у сайта, когда робот заходил в последний раз?
Может главная страница на флеше?
Не так уж плохо он ищет. И не так уж редко базу обновляет. Когда-то Рамблер был гораздо мертвее (в смысле обновления). Куда спешить-то?
А подпись и правда подозрительная, к тому же с ошибкой.
"400 статей и ежедневные новости" - это отлично!
Уточнять, что именно спрашивают по Яндекс-директ, и именно эти словосочетания по возможности использовать в удобных случаях. Имею в виду из двух слов. Ничего хитрого. Это не только Яндексу понравится.
Установить принадлежность IP-адреса сайта
www.xxx.msk.ru можно удобной программкой GeekTools Whois.
