Проблемы структуры и частого изменения контента. Робот не успевает.

Я бы посоветовал делать стабильные адреса:

www.сайт.ru/категория_а/1/ - здесь записи 01-10

www.сайт.ru/категория_а/2/ - здесь записи 11-20

www.сайт.ru/категория_а/3/ - здесь записи 21-30

И с главной страницы ставить ссылку на последний блок, чтобы человеку были видны свежие новости. В сети есть много образцов так сделанных новостных лент - смотрите на успешные проекты.

Тут я бы посоветовал, удаляя новость, не терять её номер.

Я это обычно делаю так: новости не удаляются, а получают флаг "скрытая". Т.е. в списке из десяти новостей останется только 9, если одну скрыли - это не страшно. А если поисковик её проиндексировал и привёл на неё человека, то тот получит вменяемый текст, что данной новости уже нету, читайте нашу новостную ленту, вот вам список из последних 10 новостей.

Т.е. не выдаём 404 ошибку, а говорим, что рады любому посетителю, хоть нужного ему текста сейчас и нету.

подобная же проблема встречается на досках объявлений, если выдавать объявления списком, разбитым по количеству на страницы

старый контент при появлении новых объявлений съезжает вниз

мне видятся такие пути решения:

1. то что вы сами написали

www.сайт.ru/дата1/1/

www.сайт.ru/дата1/2/

www.сайт.ru/дата2/1/... и т.д.

раз это новости или объявления, значит привязка к дате должны быть

2. создание у каждой новости или объявления совей отдельной страницы, которые тоже будут индексироваться поисковиками

3. старые новости (отдельные страницы) НЕ удалять, а делать их невидимыми в основном списке для посетителей, а если человек перешел из поисковика на конкретную страницу новости, пусть и "удаленной", то почему бы ему ее не выдать, пусть она и старая, но возможно для него актуальная

4. отработать страницы, которые могут исчезать на предмет выдачи "вменяемого текста", об этом писал Iso

Я обычно делаю для таких целей в базе уникальное поле fixid и при добавлении записи создаю скриптом уникальную строчку для него (обычно это дата и время записи с точностью до секунд, написанные без пробелов). Этот fixid сохраняется за данной записью навсегда и по нему на нее всегда можно сослаться. А когда записи выдаются списком, можно под каждой из них маленькими буквами дать ссылку на ее постоянный адрес - и робот его проиндексирует.

Insane, я бы посоветовала делать как на всех крупных новостных сайтах, например Вебпланета:

webplanet.ru/news/internet/2005/12/30/mail_ya.html

раздел -> число -> название.

Это хорошо не только для робота, но и для человека, я могу поставить закладку, вернуться через полгода, а статья будет на месте

С наступающем!

Vetra, а что делать, если речь идет не о новостях, а о записях, которые живут всего пару недель?

Insane, то же самое :) Сложно могу представить записи, которые актульны пару дней и не новости.. может намекнете?

Либо вообще складывать все это в отдельную папку и закрывать от роботов.

Думаю, стоит перестать надеяться, что они смогут как-то полезно работать и приносить траффик из поисковиков. А почему не сделать для них архив?