Не надо пожалуйста передергивать мои слова. Это общий "кошелек", именно это я и хотел сказать.
А почему вы решили, что выдача яндекса - Ваш кошелек?
Как "мерзкий дорвейщик" :) соглашусь с этим мнением.
Домены считаются десятками, страницы на них десятками тысяч. Само собой, до отдельных запросов дела нет никакого, и если белый сайт не может обойти дор по запросу - значит у сеошника руки растут не из того места :)
Число delay - в миллисекундах или секундах? А то в бестолковом хелпе яхи даже не сказано, в каких единицах задержка.
У Яхи совсем совести нет? В наглую ходит по страницам форума, как ни в чем не бывало.
Здесь указано, что робот слушается User-agent: Slurp
У меня ситуация похожая. Русский форум, посетителей с Yahoo, само собой, нет практически на него. При этом бот сидит на форуме безвылазно. Позавчера закрыл от Slurp полностью через роботс - форум пропал из выдачи (site: ), но бот так и ходит, смотрит страницы, как будто 'Disallow: /' для него не указ. Это временно у него - закрыл недавно - или так и будет "шастать"?
