Зависимость индексирования от работы PHP-скрипта

Да все, что угодно. :)

Пределы криворукости не установлены: от некорректно отдаваемых заголовков до кривизны формируемых страниц. В каждом случае на проблемы надо смотреть индивидуально.

Может быть что страница генерируется медленно, робот потыкается несколько секунд (точно не знаю сколько) и отвалит, а скрипт не успеет еще страницу оформить. Вот одна из причин.

На мой наиболее распространненая проблема в ссылках. Бывает что адресу www.site1.ru/article/ соотвествует несколько страниц.

Скорее уж наоборот. Одной странице соответствует несколько адресов.

Главное, чтоб заголовки были нормальные. И дату, чтоб выдавали.

Действительно, причины могут быть разные. Основные, как я понимаю, состоят в следующем:

1) Кривые адреса. Это не проблема php, а проблема кривых рук (как всегда :) ). Пример: с одних страниц идут ссылки вида

site.ru/index.php?system=qwe&subsistem=asd, а с других -

site.ru/index.php?subsistem=asd&system=qwe

В результате, всё как бы работает нормально, но начинается возьня с дублями, и т.д. Я это к тому, что пусть лучше поисковик увидит 3000 реальных страниц вашего сайта, чем 10000 страниц, включая дубли. Во втором случае уйдёт больше времени хотя бы даже на простое индексирование роботами. Так что, надо освоить rewrite_mod и делать нормальные адреса, тогда всё будет хорошо.

2) Заголовки. Всякая ерунда с отдаванием даты документа, обработка запроса "когда документ последний раз менялся". Приличные сайты на такой вопрос быстро отчевают правду, что экономит время роботов на повторном скачивании и обработке уже проиндексированных страниц. В результате, ваш сайт активнее индексируется. Вообще, адекватные даты - очень важная вещь для резвой индексации проектов (сужу по своему опыту).

3) Скорость работы скрипта (я видел каталог продукции, который секунд по 5 генерировал страницы со списком товаров - дело было в том, что сортировку в нём почему-то сделали методом, извините, пузырька, а строк было уж очень много). Понятно, что роботы не любят тормозные сайты.

4) Неумные защиты от скачивания. Иногда поставит какой-нибудь умник свою ограничивалку чужих аппетитов, чтобы защитить свои документы от тривиального скачивания, например, Teleport'ом PRO. А потом эта же прога режит ботов поисковиков. Я видел, как сайт в течение 3-х месяцев потихоньку потерял в базе яндекса все страницы (сначала было за 50000, а к концу осталось около 10). А потом за консультацией обратились ко мне. В результате, админа больно пнули, прогу научили не обижать ботов, а за пару месяцев база Яндекса по этому сайту обратно заполнилась. Кстати, наблюдение: по остальным поисковиками такой проблемы у этого сайта не было. Значит, Яндекс особенно капризен в конфликтах с "антифлудерами".

espada,

Есть такая стандартная кривизна PHP.

Он очень любит SessionID, который передает в куках. Если куки отключены, то он в строку запроса добавляет &SessionID=ххххххххх или подобное. Робот яндекса, да и не тольок его, не поддерживает куки. А т.к. ИД сессии уникален для каждого коннекта, то адреса страниц все время меняются.... Получается что робот не может найти те страницы, которые находил при предидущем проходе, и начинает все сначала. А если страниц много, то шансов всему сайту быть проиндексированному, просто нет....

Повторюсь, что уже писал.

Походите по сайту(особенно PHP) с отключенными куками, увидете много интересного....

PS пхп, это не просто скрип, исполняемый на сервере, это язык программирования(утрированно), и к нему нужно подходить, имея опыт именно в программировании, а уж потом в верстке хтмл. Иначе появляются бока.

T.R.O.N, я думал, что это уже давно в прошлом...

сайт индексируется отлично, сессии создаём на всех, получается Яндекс жуёт куки или просто игнорирует сессии, где правильно настроен сервак, т.е. на закидывание session_id в куки.

HitMan_ru,

Если, при отсутсвии куков, пхп работает без SessionID, то все ок

На самом деле, Яндекс очень даже неплохо жует страницы на пхп. Сам наблюдал на своем примере, когда у нас половина продукции искалась как index.php?id=xxxx, а другая половина как xxxх.html, хотя в индексе были как те, так и другие. Проблемы возникают, если программист думает не тем местом. Это и задержки в выдаче страницы, и различные warning, и parse error и т.д. С sessin_id тоже правильно подметили, но это уже больше к сисадмину :)

Вывод - забудьте о поисковиках и работайте для пользователя, тогда и ПС будут рады переваривать Ваш сайт :)