Всему свое место. Данный форум вообще-то посвящен поисковым системам, а не email грабберам. Откуда Вы знаете, может в соответствующих местах борьба с последними ведется не менее активно. ;)
Нормально. Robots exclusion protocol не чувствителен к регистру.
А как кто, позвольте спросить?
Кто тебе сказал? Он - для главной страницы сайта, судя по всему.
А поподробней можно? Если уж сказали "А"...
Теперь понял. Однако с точки зрения оптимизатора расположение на странице (страницах) играет огромную роль. К примеру, что толку быть в Inktomi первым по запросу, если LookSmart выдаст по нему несколько десятков результатов, и они оттеснят в выдаче MSN Search твой сайт на n-ю страницу?
А с этим никто и не спорил
У меня тоже сложилось впечатление, что робот D к robots.txt не обращается. Стало быть, Илья Сегалович не знает, что творят его роботы, если он на robots.txt грешил? Что за бардак творится в Яндексе?
Да что тут гадать. Илья, скажите, робот D обращается к robots.txt или нет. Кому, как не Вам знать?
Еще неизвестно, кто сдался. Агава-то ведь теперь работает на Яндекс - продает его контекстную рекламу.
А где ж еще? Ты знаешь альтернативные способы?
