maximusr, правильный запрос выглядит так:
#url="www.site.com*"
Fitis, в статье про robots.txt есть ошибки. Попробуйте потестировать файлы с Вашими примерами с помощью сервиса Яндекса.
Google индексирует PHP.
Хотя PHP разный бывает, так что без ссылки на сайт или подробного описания проблемы трудно дать совет.
Cage, я это прекрасно знаю. Из цифры, которую выдает скрипт статистики совсем не значит, что именно столько же пользователей добавили сайт в избранное. Реальная цифра в несколько раз меньше.
arcades, каким образом ведется этот подсчет?
А robots.txt у Вас тоже составлен неправильно.
Просто так никто не добавляет параметры к скриптам, а если они откуда-то появляются и прогнозируются, то их надо обрабатывать.
В Вашем случае смотреть настройки сервера или дописывать скрипты. Скорее всего сервер настроен так, что по умолчанию отдает контент как простой текст. Смотрите параметр default_mimetype в настройках PHP.
Biker, я перечитал весь топик и посмотрел на Ваш сайт.
Здесь на форуме Вы уже поставили несколько ссылок на несуществующие страницы Вашего сайта, которые, возможно, уже взял робот Яндекса для последующей обработки. А страницы эти являются дублями главной.
А начинать Вам стоит с того, что скрипты Ваши, помимо других заголовков, выдают следующий:
Content-Type: text/plain; charset=windows-1251
Для робота Яндекса это означает, что данные, которые передает ему Ваш сервер являются текстом и ни о каких ссылках в этом тексте не может быть и речи. Вопрос удаления страниц Вашего сайта из базы видится совсем с другой стороны.
Вот так, вкратце.
Если страница запрещена для индексации, то это не значит, что она не существует. Необходимо, чтобы сервер или скрипт выдавали код ответа 404 Not Found
Jeremy, пробовал и так, и так. Особой разницы никакой, за исключением обработки слеша в первом случае. Робот Инктоми, как правило, дергает страницу без слеша (http://www.адрес.ru/1), даже если ссылок таких и в помине нет.
