Почему Yandex игнорирует robots.txt?

"Правда, в адресе есть еще идентификатор сессии, может быть это повлияло?"

Ну так.

-=Илья=-, причем тут идентификатор, если начальная строка указана ?

Ага, проиндексированная ссылка выглядит так:

адрес_сайта/add_news.php?PHPSESSID=111f542c5168e87bdfcf52893ac63d4c

так что я не думаю, что сессия тут как-то повлияла.

Но даже если и так, то возникает другой вопрос - почему Янд индексирует страницы с сессиями, если в коде указано, что для user agent Яндекса сессии не должны открываться?

Код такой:

$user_agent = $_SERVER["HTTP_USER_AGENT"];

if (!(eregi('yandex',$user_agent))) {

session_start();

}

А какой бот приходил (с какой буквой)? Как Вы узнали, что это "быстрый" робот?

Можно попробовать поэкспериментировать и сделать в robots.txt отдельную секцию для Яндекса:

Хуже быть не должно, будет ли лучше - нужно пробовать.

Приходил бот с буквой I.

А насчет "быстрого" робота - когда яндекс анонсировал его появление, они писали, что можно увидеть результаты его работы в выдаче проиндексированных страниц сайта следующим образом - рядом со ссылкой стоит время (какое кол-во часов назад данная страница проиндексирована). В общем, выглядит это так:

адрес_сайта/add_news.php?PHPSESSID=111f5cf893ac63d4c (48 КБ) · 10 часов назад

NULL, спасибо, я попробую.

А по поводу сессий кто-нибудь что-нибудь может сказать?? ни в одном форуме не могу найти ничего толкового... Знаю, что многие сталкивались с этой проблемой, поделитесь опытом, пожалуйста!

Не знаю, у меня пока проблем нет. Я правда через strstr проверяю :)

add_news.php судя по всему для Яндекса является конкретной страницей (здесь эта проблема в каком-то топике поднималась). Попробуйте написать add_news (тогда уж точно он должен запретить все, что начинается с add_news).

При том, что эта начальная строка указывает Яндексу конкретный файл. Я уже пробовал запретить так страницы пользователей на форуме от индексации (вид index.html?user&eshe-chto-to) - не помогало. Правильнее наверное будет запрещать "file.php?". Но от идентификаторов сессий всё равно надо избавляться.