Динамические страницы и индексация

Пиши так:

@header("HTTP/1.0 200 OK");

@header("HTTP/1.1 200 OK");

@header("Status: 200");

@header("Last-Modified: ".gmdate("D, M d Y H:i:s",filemtime(basename($PHP_SELF)))." GMT");

Это чтобы наверняка.

Тут, ЕМНИП, уже выдвигалось предположение, что робот I (картиночный) выдаёт заголовок типа

Accept: image/*

Естественно при запросе документа типа text/plain (например robots.txt) и text/html (содержимое каталога) сервер отвечает ему кодом 406.

Accept: image/*

Как человек, выдвигавший то предположение, вынужден указать на неточность пересказа - тогда речь шла не про робота I, а про робота P, который и является "картиночным".

Робот I, наоборот, занимается индексированием только текстовой информации. Если бы он выдавал некорректный заголовок, Яндекс давно бы остался с пустой поисковой базой...

Тут дело не в роботе и его заголовках, а в том, что сервер не хочет по какой-то причине отдавать роботу содержимое страницы. Либо это какая-то аномалия в настройке Apache, либо неправильно написанный скрипт...

Относительно же совета с 4-мя заголовками замечу, что они чрезмерно избыточны. Достаточно любой из первых 3-х строк (лучше - 2-ю) и последней строки.

есть ли способ "послушать" какие заголовки передает робот/браузер серверу ?

в связке Apache/PHP --- getallheaders()

Да, с роботами я тупил. :D

Но если заглянуть в rfc2616

то станет понятно, что робот Яндекса вполне может отдавать заголовок типа Accept-Charset или Accept-Language...

Надо бы из скрипта тогда отавать ещё Content-type с правильным языком и кодировкой.

А как "послушать" что сервер передает, где то это в форуме было,

только не нашел я. Кто знает, подскажите.

Убрал заголовки, все осталось по прежнему,

в общем беда.

Пришел Гугль и вот

"GET /portal/Ecamera/ HTTP/1.0" 406 434 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

опять ошибка 406.

Хочу рассказать про механизм имитации,

некоторые поисковые системы не могут индексировать динамические страницы с адресом вида www.имя.ru/portal.php?id=12&kat=1524. Поэтому был разработан скрипт который преобразовывает динамические адреса вида “www.имя.ru/portal.php?kat=ephoto&id=2”, в статический адрес вида “www.имя.ru/portal/ephoto/2/”.

Для реализации данной задачи, необходимо прописать в установках директории (httpd.conf или .htaccess) строку "Options Multiviews" или, если директива Options уже есть, добавить MultiViews к ней. Тогда если пользователь набирает " www.имя.ru/portal/ephoto/2 ", сервер будет искать файл с именем "portal" и с любым расширением и исполнять его.

Файл portal.php обрабатывает переменную $REQUEST_URI и, если нужная информация найдена, выдает команду

Header ("HTTP/1.0 200 Ok");

Header("Last-Modified: ".gmdate("D, M d Y H:i:s",filemtime(basename($PHP_SELF)))." GMT");

В чем может быть проблема.

Переписал, на модуль RewriteEngine.

Вот что получилось.

Ну думаю это врядли поможет.

RewriteEngine On

RewriteRule ^(.*).htm$ /portal/$1

<FilesMatch "(portal)$">

ForceType application/x-httpd-php

</FilesMatch>

Думаю проблема с заголовками.

ну и навертели... MultiViews для таких использовать --- примерно как молотком шурупы заворачивать. Он используется для выбора наиболее подходящего представления одного документа.

Гипотеза об ошибке такая: браузер, как правило выдаёт заголовок

Accept: разная/хрень, q=1.0; */*, q=0.1

Поисковику */* не нужно, потому он просит только

Accept: разная/хрень

Введённый в заблуждение MultiViews'ом сервер видит файл типа application/x-httpd-php и в первом случае отдаёт результаты его работы, а во втором --- ошибку 406, т.к. документ поисковику явно не подходит.

Второе решение, хм, тоже через тыльную часть сделано. Я бы предложил так:

RewriteEngine On

RewriteBase /portal/

RewriteRule ^([a-z]+)/([0-9]+)/?$ /portal.php?id=$2&kat=$1 [L]

RewriteRule ^([a-z]+)/?$ /portal.php?kat=$1 [L]

Спасибо за ответ Sad Spirit,

так все таки ошибка из за директивы MultiViews...

А эта будет работать?

RewriteEngine On

RewriteRule ^(.*).htm$ /portal/$1

<FilesMatch "(portal)$">

ForceType application/x-httpd-php

</FilesMatch>

Просто пока счас таким образом работает.

Будет время, переделаю под твое решение.