Странности в индексации Яндексом

Много страниц на сайте? У Яндекса лимит в 500 штук, отдающих 200 OK, за один заход. Если к примеру, сайт большой и динамический без правильной обработки If-Modified-Since (т.е. любая страница всегда отдает 200 ОК), то до главной робот может годами не добраться.

wolf, Это лечится только исправлением динамики на статику?

"О ужас, о безумство, о капец!!! Когда же этому всему придёт конец?!" avt401111, ну зачем столько эмоций у вас в сообщениях? :) 2 с небольшим месяца прошло и нет в этом ничего необычного для Яндекса, вот я полгода жду на одном проекте.

2 Wolf - около 30000 страниц.

Если не секрет, как сделать правильную обработку If-Modified-Since. (Я не силен в программировании но может своим программерам хоть как поясню)

Я тут копнул чуть глубже и выяснил такую весчь.

Из-за кривых рук программеров получилось так, что один из поддоменов сайта (а именно forum.studentu.ru) стал почему-то очень любим Яндексом. Яндекс знает 18000 страниц с этого поддомена тогда как поддомен сам битый. Из-за этого получается, что другие поддомены воспринимаются как зеркала и не индексируются.

В общем, вилы :(

Какие шаги лучше предпринять?

Эмоциональный я, наверное, человек :)

Сайт не из профайла. Сайт, о котором говорится - www.studentu.ru

Обсуждалось уже не раз. Поищите

Самое интересное заключается в том, что даже при правильно обработки if-modified-since яндекс может не оставить старую страницу у себя в базе, а удалить её ;) т.е кроме даты изменения он смотрит на содержимое страницы и если оно изменилось, а скрипт принудительно отдает 304, то - может случится так, что яндекс грохнет просто вашу страницу как странную ;)

Это мое личное наблюдение, которое я проверяю до настоящего момёнта, ввиду того, что подобные явления имели место быть.

Почитал я все, что пишут на форуме в эту тему - голова вспухла.

Помимо ряда мелких вопросов возник один главный.

Если сделать при помощи mod_rewrite динамические страницы статическими, то моя проблема исчезнет? Или нет?

Ну при чем тут одно к другому? Страниц же все равно 30К, хоть динамических, хоть статических.

Если Вы имеете ввиду URLы, то тогда нет ваша проблема не исчезнет.. потому что кроме этой проблемы есть масса других:

например, сервер в любом случае будет выдавать заголовок "X-Powered by PHP", от него Вы не избавитесь никак, кто бы чего ни говорил!!! Многие считают что этот заголовок можно отключить прописав php_flag expose_php off в файле .htaccess. Но это полный бред! Потому что если повнимательнее почитать ман (см. здесь http://www.php.net/manual/ru/configuration.directives.php), то директива expose_php относится к PHP_INI_SYSTEM (Changeable), т.е. её значение может быть задано только файлах в php.ini или httpd.conf (см. здесь http://www.php.net/manual/ru/configuration.changes.php). А про .htaccess тут ни слова!!! Если кто не верит, то пропишите и проверьте сами!

Есть ещё некоторые проблемы, но пока и этой хватит :)

Я на самом деле присматриваю для себя один выход из этой ж*пы, заключающийся в написании движка, который бы не генерил страницы в брюзер, а генерил бы инфу и создавал бы сами статичные html-страницы на сервере с этой самой инфой :)

Геморрой? А что делать?!