Как быть с неактуальными внутренними ссылками?

Может быть, проще переделать логику работы движка, чтобы этих временных страниц не возникало?

ppch, ситуация, которую вы описываете не в коем случае не должна возникать. Что значит умершие ссылки? У вас как: урл типа умирает и этот контент потом по другому урл доступен? Если так - то все неправильно, срочно переделывайте свой движок.

ПС не любят когда на сайте много 404....

Если будет слишком много, то вполне могут....

И на чём работает сайт? Самописная CMS что ли какая-то???

Ну почему же? Это вполне нормальная ситуация, когда данные группируются сразу по нескольким признакам или категориям. Набор категорий поменялся -- данные перегруппировались. При этом в индексе ПС остались ссылки на неактуальные наборы данных, которых уже нет в новой классификации.

Ситуация эта нормальная и возникать она будет, т.к. это естесственно. А так как сайт для людей, то ничего принципиального в угоду ПС я менять не буду.

Проблема в том, как лучше подружиться с ПС.

У меня есть такие варианты:

1. Закрыть в robots.txt все ссылки, содержащие категории. Оставить для индексации только конечные данные. Минус в том, что тогда пропадет много ценного поискового текста.

2. Перенаправлять умершие ссылки на похожие или их аналоги. Вопрос: будут ли тогда исключаться умершие ссылки из индекса ПС и заменяться на те, куда я их перенаправляю? Если да, то это хорошо. Минус в том, что пользователь может быть слегка удивлен, увидив не совсем то, что искал.

3. Отдавать 404 на умершую ссылку, при этом сообщая, что классификация изменилась и предлагая набор похожих ссылок в новой классификации. Минус в том, что ПС может наказать за большое количество 404.

4. То же что в предыдущем пункте, но без 404. Тогда индекс ПС будет забиваться неактуальными данными, чего бы тоже не хотелось.

Ничего подходящего не нашли, пришлось писать свой движок.

Update:

Пришел в голову еще один варинт:

5. Я могу закэшировать выдачу по неактуальным ссылкам, и выдавать пользователю кэшированный html. Правда фильтры на странице перестанут работать. Думаю со временем такие ссылки будут пропадать из индекса ПС, ведь на них нет внутренних ссылок. Надо еще думать.

Думаю самый оптимальный вариант.

Без ПС люди не найдут ваш сайт...

Что у вас за сайт такой? Типа какой-то базы данных что ли? Что за тематика?

Страниц много?

Спасибо. Буду еще думать. Мне все больше нравится вариант с кэшированием неактуальных ссылок.

Выдаваться они будут, но постепенно должны выкидываться из индекса ПС, т.к. на них не будет внутренних ссылок и из sitemap.xml я их выкину конечно.

Это еще не совсем сайт, пока только движок тестируем (дизайна совсем нет).

Справочник услуг, тематика автомобильная (но может быть любая).

Страниц сейчас около 250, в порядке тестирования. Будет порядка 1500 и больше по мере наполнения.

ppch, по-моему, вы лишаете себя многих сеошных прелестей, типа внутренней перелинковки, дополнительных точек входа (кроме главной) и т.п.

Интернет-магазины оставляют страницы с проданным товаром (которого уже не будет никогда), чтобы людей заманивать, а вы от всего этого отказываетесь.

Кстати очень хороший пример со страницами с продананным товаром.

Но так как я не могу просто оставить такие ссылки, т.к. контент для них генерится программно, то я буду использовать кэширование.

При обновлении данных на сайте html-содержимое всех страниц будет сохраняться в базу вместе с ссылками.

Если ссылка перестала быть доступной в связи с перегруппировкой данных на сайте -- будет выдаваться содержимое кэша. Может еще выведу надпись типа "эта страница может быть устаревшей".

Нормальное решение?

Думаю ваш сайт будет схож с досками объявлений....

Неужели не одна CMS для досок объявлений не подошла?

У нас классификатор услуг генерится автоматически, на основе словаря с применением элементов лингвистики. Много других особенностей. Ни одна CMS и близко не подошла.

Да и не хотелось в чужом коде ковыряться.