А разве робот Рамблера понимает Crawl-delay ? Я нигде этого не видел.
Гуманно можно на какое-то время вообще закрыться от робота Рамблера:
User-agent: StackRambler
Disallow: /
Если это поможет, то думать, что делать дальше. А первым делом нужно в логи смотреть и проверить User-agent, вдруг это и не робот совсем.
addurl@yandex-team.ru :).
Разумеется его нет. Все заведомо малорелевантное отбрасывается, чтобы быстрее разобраться с релевантным. Pruning - отсечение заведомо нерелевантных документов при поиске с целью ускорения выполнения запроса. http://company.yandex.ru/articles/article10.xml
"Поисковые системы для Интернета (и, вообще, все большие поисковые сиcтемы) могут ускорять свою работу при помощи техник эшелонирования и прюнинга. Первая техника состоит в разделении индекса на заведомо более релевантную и менее релевантную части. Поиск сначала выполняется в первой, а затем, если ничего не найдено, или найдено мало, поисковая система обращается ко второй части индекса. Pruning (от англ. отсечение, сокращение), состоит в том, чтобы динамически прекращать обработку запроса после накопления достаточного количества релевантной информации. Бывает еще статический pruning, когда на основании некоторых допущений индекс сокращается за счет таких документов, которые заведомо никогда не будут найдены."
1) и 2) - не важно. 4) - не понял.
Смотрите еще стоимость кликов в Директе.
Синтаксических ошибок нет, но вы так ничего конкретного и не спросили, см. выше!
P.S. Звездочку на всякий случай уберите в конце, она не нужна. Вдруг не все поймут.
На ваш вопрос ответить корректно невозможно, потому что он некорректно поставлен. Надо изучать ваш форум, какие у него типы страниц, надо знать, что вы хотите открыть, а что закрыть.
http://help.yandex.ru/webmaster/ - сюда не пробовали заглянуть? Неужели так трудно осилить?
И http://robotstxt.org.ru почитайте.
Если у вас есть конкретный вопрос - давайте.
А вопросы из серии "зацените сайт" или "зацените robots.txt" я буду стирать.
У вас титул не для пользователя, а для скармливания поисковой системе. Вы только о роботах думаете.
Например расширенный поиск. И обязательно зайдите сюда: .
За такие титулы надо руки отрывать. Это тока например.
"Тут примчались санитары, зафиксировали нас" (с) Высоцкий.
Например мне - нет дела. Но кто-нибудь неопытный может подумать, что это правильно и понесет реальные потери. Поэтому такая позиция - это провокация.
