максимальный размер robots.txt

Geleon,

Сколько напишете, столько и скушает!

а если я пару сот мегабайт напишу?

Думаю предел размера такой же как и для обычного html-документа. Не стоит его делать больше 150-200 Кб, ИМХО.

Чтобы сократить размер файла можно:

- указывать директорию, которую не следует индексировать, и, соответственно, не подлежащие индексированию файлы располагать именно в ней;

- создавать структуру сервера с учетом упрощения описания исключений в /robots.txt;

- указывать один способ индексирования для всех agent_id;

- указывать маски для директорий и файлов.

а что же там можно написать на столько? разве что Войну и Мир запихнуть :)

Вам в первую очередь хостер по голове настучит. :)

Шутка ли дело - каждому роботу, который на сайт залез - такой немерянный роботс отдавать.

однако интересно какой он по размеру у WMW который ботов банил...

http://wmw.ru/robots.txt

Вы про это? :)

не, я про это

http://www.webmasterworld.com/robots.txt

только там черного списка почему то нету, где то в другом месте прячут наверное

http://www.master-x.com/articles/printmode.html?id=279

WebMasterWorld

Я про то что фаил размером 500м может существено выправить динамику трафика исходяший к входяшему запретить скажем все катологи от /00000000/ до /99999999/