Индексирующий робот яндекса работает под управлением Windows 3.1?

А подстрока compatible вам ни о чём не говорит? Может робот просто хочет сказать что он разберётся даже с теми страничками что приспособлены для браузеров работающих под Win 3.1?

у меня 98ая, браузер мой разбирается со страничками под браузеры win3.1, но в логи она пишет что она 98ая.

На самом деле просто создатели робота решили, как бы это сказать, выделиться :) Быстрый поиск по user-agent нашел такую интересную статейку.

А у меня есть браузер, который без проблем может прикидываться роботом Яндекса.

Работают они под линуксом, а в строке user-agent это пишется, чтобы Russian Apache корректнее выдавал кодировку. (это со слов Сегаловича).

А если совсем точно то под Free BSD

Вот вот, под FreeBSD... :)

Между прочим, и Rambler под FreeBSD работает. Это намек всем разработчикам новых поисковых машин. ;)

LiM, Google например работает не из-под FreeBSD. ;) И глюков имеет гораздо меньше, чем Яндекс, или Рамблер, или какие другие любительские поисковики.

т.е., если ставить в агента win16, то кодировка будет выдаваться более корректно, чем если поставить туда win95 или тот же FreeBSD?

UEvgeny, почитайте документацию на Russian Apache и его алгоритм определения кодировки.