На какую ЦМС лучше уйти с Битрикса?

а 404 попадают в поиск

представляете что будет с другими ответами :)

они 200ый возвращают :)

http://www.bertal.ru/index.php?a747953/news.404.ru#h

Алексей Добролюбов, а на первом месте кто? ;)

видимо сперва было 200, страница проиндексировалась, потом добавили в роботс Disallow: /tser.html и страница застряла в гугле :)

там ни когда не было ответа отличного от 404 и в роботсе она была запрещена всегда, ещё до создания ;)

P.S. это мой сайт

Ну это исключение или косяк какой-то, не может ПС индексировать страницы, которых нет :)

не, это ссылки :)

Леша, привет. А ты уверен, что все юзер-агенты при этом нормально отобразят страницу, позволят добавить в букмарки и т.д.? Их много, очень много, и некоторые гораздо умнее, чем им следовало быть :) А скажи, что ты думаешь про rel=canonical?

Полностью соответствует чему?

Людей, использующих этот "мусор", гораздо больше, чем злых конкурентов, загоняющих в индекс несуществующие страницы. Если оно не будет работать, это гораздо больший минус продукту. Но я как бы не спорю, что в индекс такие страницы попадать не должны.

Спасибо, но я скорее имел ввиду возможности в разрезе SEO.

Спасибо, хороший пример. Но здесь 4xx заголовок отдается над соответствующим телом страницы, где написано "все плохо", и это правильно, имхо. Я как-то запомнил, что отдавать 4xx заголовок над нормальным контентом чревато неприятностями, увы сходу не вспомню, почему именно :)

Привет.

Эту общую проблему CMS чаще усугубляют, чем лечат.

Когда за дубли берутся поисковики, то... им в первую очередь надо освободить свою базу, а не обеспечить на 100% безошибочную фильтрацию... если они в 5% случаев ошибутся, то у них проблем не возникает, а у владельцев сайтов всякое возможно. Ну и не могут ПС на второстепенные задачи тратить слишком много своих ресурсов, поэтому упрощают эту борьбу.

Такой, который не даёт ПС повода для индексации всего лишнего.

Это для ПС разные урлы.

Сначала ПС (имея ограничение на количество обращений к конкретному серваку) скачает эти дубли, потом поймёт, что это дубли. Скорость индексации/переиндексации снижается.

Единственно возможному правильному.

Нужно взаимно однозначное соответсвие между единицами контента и урлами.

1. Ну хотя бы не создавать тупых проблем для ПС. И там писал уже.

2. Помогать разруливать проблемы, являющиеся как бы свойством сайта. Например футеры/шапки/менюшки можно рисовать на клиенте, не показывая ботам... ну вот если на страницах неповторимого контета мало, например.

3. Оставлять много свободы по изменению всего... включая урлы (предоставляя выбор ласт-модифайда и ответа при обращении по старому урлу), типа Райцин писал давно, или свежие проделки Бурундука.

Если этому всему CMS не соответствуют, то проще возиться со статикой.

богоносец, ага, спасибо!

Я давно не изучал механику скачивания контента поисковиками. Они сперва делают HEAD-запрос, и если в заголовках не 200, это типа не влияет на счетчик обращений к серваку? В таком случае можно отдавать 301 редирект на HEAD-запросы (ориентируясь на $_SERVER['REQUEST_METHOD']) и 200 + rel=canonical на GET (слать не-200 при видимом контенте мне как-то совсем не хочется, может я и не прав).

В любом случае мне кажется, что страницы c rel=canonical должны фильтроваться еще до попадания в индекс. Надо поэкспериментировать.

То есть дать админу сайта (сеошнику, разработчику?) возможность управления индексацией отдельных блоков? Мысль интересная, но что-то мне подсказывает: те, кто знают, зачем это нужно, сообразят и как это сделать. А кто не знает - сами себе испортят жизнь (например, закроют от индексации не дублирующуюся навигацию). Можно чуть больше практических примеров по этому пункту?

Да, задание произвольных урлов - дело важное, я согласен. Сейчас даже скорее не из-за кластеров, а тупо из-за кивурдов и урловой релевантности :)

Выбор ручной или автоматический? С автоматическим могут быть проблемы. Например, сделали мы, чтоб на странице "новости" отдавался last-modified по дате последней новости (и эта же дата учитывалась в if-modified-since). Вроде логично... но вот сайт забросили и поставили там сапу, и никогда продажные ссылки в индекс не попадут. А потом будут говорить, что это не-сео-френдли-цмс виновата :)