Проблема с яндексом (+++)

Sonja, это я видел я именно по этим правилам и составлял его!

в чем моя ошибка?

Притом яндекс понял этот файл, когда пользуешься removeurl, то он же проверяет этот файл.

у Вас

--

Disallow: http://www.maxico.ru/cgi/

--

надо

--

Disallow: /cgi/

Sonja, точно:) спасибо большое:)

а вместо Disallow: http://www.maxico.ru/index.phtml?razdel

как я понимаю достаточно

Disallow: /index.phtml?razdel

да?

Вашего robots.txt ни один поисковик не понимал. Маршрут должен начинаться от "корневого" каталога сайта (/). А тут... не найдя каталога "http:" робот Вам сообщение об ошибке не пошлет. :) Можете считать, что до сегодняшнего дня robots.txt отсутствовал. От этого и пляшите.

VIC, ну он вообщем то и реально отсутствовал..

я его только вчера сделал, так как до этого у нас небыло проблем с поисковиками, рамблер всегда нормально нас индексировал и люди из рамблера всегда дружелюбно отвечали на вопросы, чего не скажешь про яндекс :(

Да, эта запись запрещает роботам индексировать все страницы в главной директории, начинающиеся с index.phtml?razdel

P.S. Старожилы, поправьте меня, если я не правильно ответила 🙄

wolf, ламерский вопрос можно ??

если у меня в хтаксессе стоит

ErrorDocument 404 http://www.site.ru/404.html это роботу код 200 или 404 даст ??

Не угадал :D Это 302

Альен, а что сделать, чтобы юзер видел какую нибудь пагу и не видел всякую ерунду, если то, что он запросил отсутствует ?

И еще - 302 в данном случае хорошо, плохо или без разницы ? (если я хочу чтобы бот выкинул из базы страницу, которой нет)