Яндекс и имитация директорий

То есть не индексирует? В логах есть успешные запросы роботом Яндекса этих страниц?

Нет, он туда вообще не ходит. Яндекс заходит на реально существующую страницу items.html, к примеру, а по ссылкам, находящихся там, вида "/items/hdd/maxtor.html" не ходит. Говоря про ответ сервера "HTTP/1.1 200 OK", я имел в виду тот ответ, который выдается при GET-запросе страницы.

Раньше адреса были без имитаций, т.е. "items.html?type=hdd&firm=maxtor" и всё было нормально. Как только ссылки переделали (год назад), Яндекс перестал индексировать страницы, а с других поисковиков траффик заметно вырос.

Это необязательно вызвано схемой обработки директорий. Робот Яндекса, встретив ссылки, ставит их в очередь - и дойти до них может через N-ое, иногда очень большое время.

Я на 99.99% уверен, что дело в имитации. За год было сделано несколько сайтов на доменах второго уровня, причем часть из них работает с имитацией директорий, часть - без. С первых Яндекс быстро индексирует и переиндексирует существующие страницы, а на виртуальные не заходит. Ну а с сайтами без имитации вообще никаких проблем нет: Яндекс за 2-3 недели индексирует несколько сотен страниц и дальше - без проблем. Уже появляются мысли делать для Яндекса отдельный поддомен сайта, но это глупо всё-таки.

аналогичная проблема ...

только у меня остались куча урлов в базе старых, близок к пределу лимита индексации ... старые урлы не пригодные многие, а яндекс не спешит их выкидывать из базы к сожалению ....

Если робот Яндекса не запрашивает страницы типа /items/hdd/maxtor.html, то до каких-то проблем, связанных с имитацией, даже дело не доходит.

Возможно, у вас на существующих страницах какие-то ошибки в коде, которые делают невозможной дальнейшую индексацию. Либо весь лимит индексации робот расходует на старые страницы.

Вот именно.

В действительности проблемы, связанные с индексацией, очень легко отлавливаются пристальным изучением логов. Если робот не берет страницы - значит, дело не в них. Если берет, но не индексирует (т.е. не добавляет в базу или не обновляет) - то либо он получает неправильный ответ сервера (что протоколируется), либо считает новый документ дублем имеющегося.

А в данной ситуации либо страницы стоят где-то далеко в очереди на индексацию, либо новых ссылок робот не видит вообще. Кстати, а старые страницы есть в базе? И что физически выдает сервер на запрос старых страниц?

а какой лимит(предел) индексации у Я. ? Первый раз слышу про такое

Причина ошибки нашлась. В этом форуме есть тема , где говорится про код 406. Я проверил запрос GET с параметром "Accept: text/html" - 406. Попробовал в Яндекс добавить непосредственно страницу с виртуальным адресом - тоже выдалось сообщение об ошибке 406. Говорят, что дело в настройках сервера, но нигде не пишут, что именно нужно исправить. Необходимо решить проблему, оставив механизм работы замены урлов через Multiviews. Буду очень благодарен, если кто-то в курсе.

Вроде бы помогает добавление директив

AddHandler application/x-httpd-php .php

AddType text/html php