Индексация динамических страниц

По-моему, проблема не в том как и на чем сгенерена страница, а в имени файла. Некоторые поисковики (Апорт, например) не понимают имена файлов, содержащие символы "?", "&" и т.п. Если URL типа www.mysite.com/something.php3?id=1 представить в виде www.mysite.com/something/1 или что-то в этом роде, то, я думаю, проблем с индексацией не должно быть.

Динамическая страница отличается еще и тем, что в заголовке HTTP не прописывает поле Last-Modified. А самое главное - что при обработке 404 ошибки нужно уверить броузера/робота, что все в порядке. Но это, в принципе, лечится элементарно, вот две строчки на PHP, которые, будучи вызваны в самом начале скрипта, позволяют забыть об этой проблеме напрочь:

==================

Header("HTTP/1.0 200 OK");

Header("Last-Modified: ".gmdate("D, M d Y H:i:s",filemtime(basename($PHP_SELF)))." GMT");

==================

Sorry, если объясняю автору топика самоочевидные вещи, но, может быть, кому-нибудь пригодится. Первая строчка говорит "все в порядке, я нормальная страница", а вторая - прописывает дату модификации, основываясь на дате последнего изменения исполняемого скрипта.

Yandex, Rambler, Aport, Google и Punto лопают данную конструкцию "на ура", я так понимаю, что с остальными поисковиками будет то же самое, но просто не проверял Хитрый строковый параметр функции gmdate - формат даты в соответствии с RFC 2616 (HTTP 1.1), спецификация форматов дат в HTTP 1.0 та же самая. Короче, все работает пучком Успехов!

если уже заговорили об инедксации динамических страниц и чайниковских вопросах..

не знает ли кто из присутствующих, как обстоят дела с ASP-страницами?

на запрос о кол-ве проинексированых страниц

www.блабла/default.asp

Яндекс - выдаёт её и её же

Апорт - её и ещё 128 страниц c сервера

Вопрос:

1.какие различия существуют при индексации ASP и просто HTML?Ходит ли бот по ссылкам?

2.Что можно понять по тому, как Апорт ранжирует список проинд. страниц с сервера?

3.Как проверить, что проиндексировано в Rambler?

К сожалению, я не смог найти ответы на эти вопросы на страницах форума...

PS

Вопрос вдогонку:

Существуют ли какие нибудь показания к использованию

сss вместо прямого использования тегов H1-6,B и т.д ( все анонсы тематиеских новостей), в тексте, в смысле влияния на индексацию?

повторюсь:не имел намерений вываливаться в офтопик, но открывать отдельную тему по этим вопросам как-то не удобно, а здесь всё-таки идёт речь об индексации

А как быть с форумами? Вот например у меня форум на ikonboard, страницы генерятся на лету, (адрес форума у меня в профайле) никак не могу дождаться когда яндекс проиндексирует страницы форума, да и сделает ли он это вообще?

Если кого-то интересует, то форум он проиндексировал . А я уж думал, что так в безвестности и помирать придется .

неужели вопросы настолько чайниковские?

Намекните...?

1.какие различия существуют при индексации ASP и просто HTML?

Ну, основных (значимых) различий два:

а) Наличие аргументов в URLе после знака вопроса, страницы с аргументами из "большой тройки" лопает только Yandex.

б) В HTTP-заголовке динамической страницы не уазывается дата.

Для того, чтобы все индексировалось хорошо, есть простой метод: сделать ЧПУ (ЧеловекоПонятные Урлы) с помощью обработки 404 ошибки. Скрипт анализирует запрашиваемый урл (который, соответственно, не содержит знака вопроса и аргументов), и выдает, что требуется. Например:

======БЫЛО=======

http://www.site.ru/catalog.asp?arg1=value1&arg2=value2

Это не очень хорошо, потому что не все поисковики слопают.

======НАДО=======

http://www.site.ru/catalog_value1_value2.html

Страницы такой, естественно, нет, а есть обработчик http://www.site.ru/missing.html, который из запрашиваемого адреса получает value1 и value2, и выдает результат работы скрипта http://www.site.ru/catalog.asp?arg1=value1&arg2=value2

А до того, как начать работать, выдает 2 описанных выше HTTP-заголовка - код "ОК" и дату. Конкретная форма записи команд зависит от используемого тобой языка.

Ходит ли бот по ссылкам?

Канэчно, дарагой! Ходыт. Эще как.

2.Что можно понять по тому, как Апорт ранжирует список проинд. страниц с сервера?

?? Если имеется в виду "остальные найденные на сайте страницы", то по релевантности к запросу. Yandex и Rambler это тоже касается. Ну да оно и логично.

3.Как проверить, что проиндексировано в Rambler?

а) Набрать запрос, по которому твой сайт гарантированно находится в первой десятке (например, редкую цитату с сайта)

б) Нажать на ссылку "Все документы с сайта", а на ней г.Rambler тебе все скажет

Успехов!

To TSV:

Спасибо,жить стало значительно легче

Интересуюсь на будущее: если понадобится найти скрипт, добавляющий дату в HEAD,а вешь( если скрипт - это вещь это, как я понимаю, довольно распространённая, так вот -смогу ли я обратиться стакой просьбой?

Дык это ведь даже не скрипт, и не вещь, а пара строчек: сводится все к тому, чтобы отправить 2 HTTP заголовка, прежде чем начать вдавать собственно HTML. "Скрипт" (целиком) приведен в моем ответе выше в этом топике. Как делать на VB, не знаю, никогда не сталкивался. Все PHP да PHP.

Ну да это и не важно.

Важно: отправить в HTTP-заголовке, воспользовавшись для этого специальной функцией (в PHP - Header) две простых строчки:

=================

HTTP/1.0 200 OK

Last-Modified: Sat, Jul 21 2001 18:58:26 GMT

=================

Дата приводится, понятное дело, только для описания формата. Нужно только учесть, что она должна быть ПО ГРИНВИЧУ.