полная переиндексация со статики на динамику

1) Сделать все страницы доступными по статическим адресам.

2) Крайне желательно реализовать корректную обработку if-modified-since (выдачу 304).

3) Через какое-то время (2-3 месяца, например) через robots.txt закрыть динамику.

т.е. что бы сервер не отдавал ошибку 304?

P.S. Сорри, если вопрос не корректен, я в этом чайник, но понять надо, что бы передать дальше :))

Наоборот, чтобы отдавал 304 там, где это уместно.

svelnik, так вам со статики надо перейти на динамику или с динамики на статику? имхо, вопрос про одно, а ответ про другое.

Закрыть надо старую статику... :)

Interitus,

Кстати, а какой тут алгоритм сделать?

Мысли в слух.

Что делает поисковик если определенная страница выдается с кодом 304? Он проверяет, проиндексирована ли она, и если она проиндексирована, то он ее уже не будет переиндексировать. Если такой страницы у него в базе нет, то он ее проиндексирует. Так? Тогда можно всем товарам в он-лайн магазине выдавать 304.

Это правильно?

Страницам со списоком товаров, который постоянно меняется 304 не нужна, поскольку хочется, чтобы он постоянно переиндексировался. Так?

А если я например улучшил отображение страницы с товаром и хочу чтобы они опять переиндексировались я убираю фрагмент кода который выдает 304 для одной группы товаров, жду когда они переиндексировались, потом меняю группу и так далее. Как такой подход? Это правильно?

Опа, а я и не заметил, что спрашивают как наоборот сделать. :) ИМХО все же в вопросе ошибка, а надо именно как надо. ;)

Нет! Это неправильно! 304 можно выдавать только если агент дает заголовок if-modified-since (если в базе ее нет, он не будет давать этот заголовок). Лучшее решение такое: отслеживать обращения конкретных роботов к каждой странице (напр. странице каждого наименования товара), писать в базу дату/время такого обращения, и при следующем обращении с if-modified-since выдавать 304 если нет необходимости обновить страницу в базе поисковика. Если улучшил код каких-то страниц - просто в своей базе меняешь дату/время на текущее и при следующем запросе даешь новую.

Ссылки на примеры где-то на форуме уже были, ну и можно в гугле поискать.

Интеритус,

Понятно. Тема для меня весьма актуальна, поэтому хотелось бы задать несколько вопросов.

заголовок заголовок if-modified-since дают только поисковые боты?

как получить заголовок, который отправляет этот бот, чтобы в последующем проверить есть ли там строчка if-modified-since?

и уж совсем дикий вопрос. Как отправить правильный ответ header(); чтобы робот успокоился и перешел к индексации более других страниц.

Нет, его может давать браузер, имеющий страницу в кеше, и настройку обновления "Автоматически", также некоторые особо умные прокси могут таким образом пытаться экономить трафик.

Вот нарыл ссылку, почитай внимательно http://www.zend.com/zend/spotlight/dynamic-pages.php

объясняю ситуацию:

сайт в приципе написан был на php, но php использовался только для вставок заголовка/подвала страниц, т.е. мета, заголовок, контент у каждой страницы были свои,а не выбранные по запросу, соот-нно страницы выглядели как обычные только с расширением .php т.е. не было страниц с видом .php?page=1&page2=2

Сейчас сайт переписан на динамику, но с помощью mod_rewrite ссылки имеют вид site.ru/tovar/firma

Задача: как переиндексировать правильно, сайт заменяется моментом, т.е. стирают старый сайт и заливают новый с .htaccess.

P.S. где можно почитать про код 304? т.е. зачем он собственно нужен и как его надо обрабатывать?