Проблема с яндексом (+++)

Если страница запрещена для индексации, то это не значит, что она не существует. Необходимо, чтобы сервер или скрипт выдавали код ответа 404 Not Found

Cherny, а какой в этом смысл?

ведь делается это для того чтобы не засорять поисковик, если запретить для индексации такую страницу, то в яндекс она не попадёт.

или нет?

Biker, я перечитал весь топик и посмотрел на Ваш сайт.

Здесь на форуме Вы уже поставили несколько ссылок на несуществующие страницы Вашего сайта, которые, возможно, уже взял робот Яндекса для последующей обработки. А страницы эти являются дублями главной.

А начинать Вам стоит с того, что скрипты Ваши, помимо других заголовков, выдают следующий:

Content-Type: text/plain; charset=windows-1251

Для робота Яндекса это означает, что данные, которые передает ему Ваш сервер являются текстом и ни о каких ссылках в этом тексте не может быть и речи. Вопрос удаления страниц Вашего сайта из базы видится совсем с другой стороны.

Вот так, вкратце.

Да, когда по адресу несуществующей страницы грузится код главной с откликом 200 - это тоже плодит дубликаты в индексе поисковика.

Cherny, wolf, как я уже говорил что так можно наплодить дубли везде!

вот берём PHP скрипт qqq.php

скажем он показывает нам товар в магазине, и ему передаётся парамертр id - номер этого товара, значит страница у на будет иметь вид

qqq.php?id=3, а если мы возбмём и подставим ещё один параметр, например qqq.php?id=3&as=4, параметр as скриптом не используется и от него ничего не зависит, значит у нас появился дубль, как тогда быть

а если скрипт index.php выдаёт просто статически текст то передав ему параметр мы просто ничего не изменим, опять дубль...

как быть с это проблемой

Cherny,

Я так понял надо text/html

это было до вчерашнего дня, я вчера просто ошибся в header случайно не то прописал...

щас уже исправил...

Просто так никто не добавляет параметры к скриптам, а если они откуда-то появляются и прогнозируются, то их надо обрабатывать.

В Вашем случае смотреть настройки сервера или дописывать скрипты. Скорее всего сервер настроен так, что по умолчанию отдает контент как простой текст. Смотрите параметр default_mimetype в настройках PHP.

Cherny, скажем эти страницы я запретил в robots.txt

и восмользовался яндексовским removeurl.

Это я только что исправил...

вчера просто приписывал headers в php и немного ошибся.

теперь я так понимаю остаётся только ждать....

А robots.txt у Вас тоже составлен неправильно.

Cherny, почему?

в чём ошибка?

User-Agent: *

Disallow: http://www.maxico.ru/show_cart

Disallow: http://www.maxico.ru/index.phtml?razdel

Disallow: http://www.maxico.ru/cgi/

http://yandex.ru/info/webmaster2.html#robots