SAN,
Из Я:
robot.txt
<!--#if expr=" \"${HTTP_HOST}\" != \"www.главный_сайт.ru\" " -->
User-Agent: *
Disallow: /
<!--#else -->
Бла-бла-бла
<!--#endif -->
Остальные зеркала после этого отомрут со временем.
Правда, надо включить парсинг тхт-файлов
Cherny,
А где про Я-ботов написано?
Было тоже самое. Bot схапал все на четвертый или пятый заход. Есть подозрение что количество предварительных заходов может говорить о популярности ресурса - обратно пропорционально, либо он пришел по ссылке с другого сайта, занес тебя в очередь и ушел.
Не так что?
Да вот попробовал я посмотреть через Я/ЦЫ кто и чем ссылается, да вот таких ссылок не нашел... Не там искал?
Если это еще актуально - то я
+ каталоги (Y - яндекс.каталог, R - топ100, G - дмоз)
+ наполнение (уникальное)
+ ссылки на тебя
Меня позабавил паренек с камерой, который перед началом конференции сказал про комманду Яндекса: "Мы будем ловить их оговорки по Фрейду и записывать на пленку для дальнейшего анализа". Надеюсь у него скопилось достаточно материалов для анализа :)
Как уже было сказано: "Всем спасибо". Было хорошо.
Этот мутант, наконец, до меня добрался. Правда индексирует по логам странновато, кусками.
