Можно этот момент подробнее.
ZyBorg/1.0 банить не стоит.
Может WiseNut.com оживет когда-нибудь.
Так и закрывать:
Disallow: /page?id
:)
Предложите что-нибудь получше ;)
Таким сервисам, ИМХО, не стоит верить, слишком много факторов остается за бортом, да и у каждого робота свой "взгляд" на вещи. :)
Посмотреть на сайт глазами поисковика. :)
Для тех же целей можно воспользоваться Lynx
Вот, например:
http://www.delorie.com/web/
Прав.
Вот пример для этого случая:
To allow all robots complete access
User-agent: *
Disallow:
Or create an empty "/robots.txt" file.
Приведу простой пример: необходимо всем роботам запретить индексирование, а роботу рамблера -- разрешить. Выглядит как-то так:
User-agent: StackRambler
Disallow: /
Пустая директива Disallow разрешает индексирование всего. Об этом говорится в стандарте.
Для запрета индексирования всего надо ставить слеш:
В данном конкретном случае первые две строки можно опустить.
На автобусе часов пять будет до Керчи, причем следует учесть, что не так часто из Симферополя ходят эти автобусы.
Ближе к лету смогу узнать поточнее.
