-=Илья=-, так wolf, как раз об этом и писал - об "агенте" D. Что-то я уже перестал понимать, о чем тут спорят.
Большие числа (индексы) - большие погрешности.
Можно попробовать поэкспериментировать и сделать в robots.txt отдельную секцию для Яндекса:
Хуже быть не должно, будет ли лучше - нужно пробовать.
А какой бот приходил (с какой буквой)? Как Вы узнали, что это "быстрый" робот?
"Новоприбывшие" пока отчаянно тормозят и не могут найти в интерфейсе приглашалки (может из-за того, что еще не сделан 1й платеж?).
Мне кажется, что омонимы несколько неинтересно использовать, так же как и имена собственные (существует мизерный шанс, что живет где-то Вася по фамилии (или прозвищу) Кондиционер - поди найти его).
Сходу как-то ничего не придумывается. Может обнародуете свой вариант для почину?
Точно. И не важно, кто на кого "наезжает".
1), 2) - ну тогда вообще непонятно ...
Не могли бы Вы уточнить источник этой информации?
О том, как должно быть в соответствии со стандартами, уже написал Владимир (лучше его стандарт на robots.txt на этом форуме, наверное, не знает никто), я же писал как может быть, т.к. одно дело стандарт, и совсем другое дело - поведение некоторых ботов (вспомните историю с D-ботом Яндекса).
