Имена роботов

Зачем они нужны, и причем здесь robot.txt?

Полезно, когда делаешь дорвеи, заточенные под разные машины. Кладешь их на сайт, пишешь robots.txt. В нем расписываешь, какому агенту какой файл можно читать. В поле User-agent надо при этом указывать имя робота, которое и указано в списке.

Вообще, есть у меня классное руководство на английском по написанию такого файла. Дойдут руки, переведу, выложу.

А еще это полезно при применении технологии маскирования страниц (page cloaking).

Понятно. Я думал, что в этом файле просто указываешь страницы которые не стоит индексировать.

Вообще трудно представить зачем не надо индексить некоторые страницы.

Затем, что, если ты делаешь дорвеи, заточенные под разные SE, то они все равно, как правило, очень похожи. Если, например, Алтависта найдет кучу таких страниц, она сочтет это спамом и не будет ничего индексить вообще. Файлом robots.txt ты определяешь, какой робот что читает.

Нет, Женя, этиих имен недостаточно. Для клоакинга надо знать IP роботов, потому, что в этом случае работает CGI скрипт, который не читает имен роботов.

спасибо за науку

Кстати есть статья на эту тему вот прямая ссылка :

[This message has been edited by Gray (edited 28-10-2000).]

Фрост, ты меня уже задолбал ссылками на свой сайт. Я тебя звал не спамить на борде.

Если есть, что сказать - говори.

хммм я не спамил , а дал ссылку по теме.