Не индексирует

А кто вам мешает добавить тех агентов, которые нужны?

например, для slurp'а -

'/^(slurp|aport|stackrambler|yandex|googlebot|scooter|win16)/i'

но лучше все-таки inktomi добавить :)

Я добавлял, он есть в списке

ну так приведите этот кусок кода - телепатов-то здесь нет.

а если добавляли, значит где-то не добавили что-то.

if (!preg_match('/^(aport|stackrambler|yandex|googlebot|scooter|win16|slurp|fast|grub|fluffy|msnie|crawl|wisenutbot|looksmart)/i', $_SERVER['HTTP_USER_AGENT']))

session_start();

msnie - это что такое?

beta-бот MSNa

1. Возможно все равно где то сессия стартует, например в месте где регистрируются переменные сессии вне этого условия.

или

2. Робот проверяет страницы из уже находящихся в его базе c идентификатором сессии, которые появились у него в базе еще до установки тобой условия. Такие страницы надо поудалять из базы поисковой системы. Как? это уже другой вопрос.

Где-то в другом месте ошибка.

Т.к. в данном куске кода для UserAgenta, в строчке которого есть 'Slurp' сессия стартовать не будет.

Сессия начинается также при удалении переменной из сессии, т.е. при unregister