Привет.
Эту общую проблему CMS чаще усугубляют, чем лечат.
Когда за дубли берутся поисковики, то... им в первую очередь надо освободить свою базу, а не обеспечить на 100% безошибочную фильтрацию... если они в 5% случаев ошибутся, то у них проблем не возникает, а у владельцев сайтов всякое возможно. Ну и не могут ПС на второстепенные задачи тратить слишком много своих ресурсов, поэтому упрощают эту борьбу.
Такой, который не даёт ПС повода для индексации всего лишнего.
Это для ПС разные урлы.
Сначала ПС (имея ограничение на количество обращений к конкретному серваку) скачает эти дубли, потом поймёт, что это дубли. Скорость индексации/переиндексации снижается.
Единственно возможному правильному.
Нужно взаимно однозначное соответсвие между единицами контента и урлами.
1. Ну хотя бы не создавать тупых проблем для ПС. И там писал уже.
2. Помогать разруливать проблемы, являющиеся как бы свойством сайта. Например футеры/шапки/менюшки можно рисовать на клиенте, не показывая ботам... ну вот если на страницах неповторимого контета мало, например.
3. Оставлять много свободы по изменению всего... включая урлы (предоставляя выбор ласт-модифайда и ответа при обращении по старому урлу), типа Райцин писал давно, или свежие проделки Бурундука.
Если этому всему CMS не соответствуют, то проще возиться со статикой.
Ну это означает смену урлов для ПС.
Чтобы так не скакало, надо удалить файл index.html из корня и в =настройки дизайна= сделать шаблон страницы из содержимого index.html ... с добавками типа
<script type='text/javascript'> document.write('<a href="http://www.ucoz.ru/" title="Бесплатно!"><img style="margin:0;padding:0;border:0;" alt="uCoz" src="http://s200.ucoz.net/img/cp/4.gif" width="80" height="15"/></a>'); </script> <script type='text/javascript'> <!-- document.write(' $Powered-By$ '); // ну он сам точнее подскажет при сохранении шаблона --> </script>
А с папками не знаю.
И в robots.txt тоже, наверное.
Ну и от популярности чего-либо зависит... какого-либо метода, например xslt (это же типа статика) выполнять не хотят, даже в предпросмотре, для erum.ru в выдаче: Просмотр недоступен.
Исполняют... может быть не на всех сайтах // см в подвале примера. Откуда undefined? И почему продолжение сниппета с самого начала страницы?
Ну вот превьюшки в выдаче рисует с полным исполнением JS, но XSL никак.
Не надеяться на то, что создатели CMS ставят задачу сделать сайты удобными для ПС (которым обычно остаётся много работы по отфильровыванию дублей, но делают они это как-нибудь и без лишних затрат, из-за чего и бывают проблемы). Они стараются сделать облегчалку создания сайтов. Тут создатель СМС не стеснялся позиционировать себя как идейного противника удобства сайта для ПС.
У серваков (созданных ещё до появления ПС) есть некоторые особенности, пересекающиеся со стандартом на урл... и вот пример проблемы из-за сервака, которую двиг не лечит, хотя мог бы... но это же сколько надо было бы проверок сделать перед ответом!
Ну в адресную строку forum-collection.narod.ru
получим адрес forum-collection.narod.ru/index.html
Папки... ну на других сайтах не видит в них (index.html) 403 Forbidden
Ну из поиска повыпадают.
Так заспамят JS-ссылками...
Чем дальше ПС откладывали учёт JS и пр. так и не ставшее популярным xslt, тем больше они найдут мусора при включении этого всего в ранжирование.
Если среди разработчиков ПС разумные остались, то даже при включении (по умолчанию) этого всего... оставили бы боту возможность не-учёта результата JS/XSL при явном указании в роботсе.
За это спасибо тем, кто ссылок таких не ставил... и ПС, умеющих как-нибудь фильтровать дубли, возможность которых CMS обычно лишь создаёт.
Из-за этой мути ранжирующие системы поисковыми не стали!
301 на /index.html
А в папках не видит index...
т.е. хостер решил растерять посещалку ещё до обвешивания рекламой.
Скорее над тем, что пользователям СМС положено знать про это SEO
Ну вот прямо за минуту (т.е. вероятность этого всего слишком уж высока)
http://www.netcat.ru/developes//archiTect/
http://www.netcat.ru//developes////arcHiTect/
200 OK
http://www.netcat.ru/?robot
