Тут явно не обошлось без mod_rewrite
http://apachedev.ru/2006/07/31/mod_rewrite-preobrazovanie-dinamicheskih-url-v-staticheskie/
Разработчик, реальность 100%.
Причем, и в каталоге тоже:
yandsearch?serverurl=www. an-club.ru. ru&stype=image
Хватит валять дурака. Сайта http://an-club.ru.ru/ вообще не существует.
Вот ссылка для поиска картинок: http://images.yandex.ru/
Вот так правильно:
User-agent: *
Disallow:
User-agent: Yandex
Disallow: /
6666 абсолютно прав. Если роботы зайдут на ваш сайт по ссылкам с других ресурсов, то сайт будет проиндексирован практически мгновенно и появится в индексах в самые ближайшие апдейты ПС.
P.S. От Яндекса получите еще и бонус новичка на какое-то время, что, согласитесь, приятно. :)
P.P.S. Если есть желание, можно дополнительно зарегится вручную. Хуже не будет.
//
файл robots.txt в корневой папке сайта
User-Agent: *
# Список страниц для ОБЯЗАТЕЛЬНОГО удаления из индекса
Disallow: /page1
Disallow: /page2
# и т.д.
P.S. как обычно, пока писал, двое уже ответили, за что и получают + :)
Делайте так, как вам сказали, и будет вам счастье.
Что касается приведенной вами цитаты, то на той-же странице mastertalk есть и ответ:
и он - абсолютно верный.
Host: goldolif.ru
Ну так и напишите в оба роботса:
Так нету в каталоге ни того ни другого.
А основное зеркало какое? В роботс goldolif.narod.ru написано
Host: goldolif.narod.ru
