Опять про дубли страниц в Джумле

D
На сайте с 28.06.2008
Offline
1114
1280

В джумле обнаружил неприятный косяк. Например на сайте есть две категории:

http://www.site.ru/schools/

http://www.site.ru/liczei/

В первой категории есть конкретная школа, ее адрес такой http://www.site.ru/schools/745-co-1480

Теперь берем, тупо подставляем конец ссылки /745-co-1480 ко всем имеющимся категориям на сайте и получаем столько дублей страниц.

http://www.site.ru/liczei /745-co-1480 и т.д. (хотя по идее должен быть ответ 404)

Это как то можно вылечить?

-Leshiy-
На сайте с 22.01.2007
Offline
165
#1
Dram:
В джумле обнаружил неприятный косяк. Например на сайте есть две категории:

http://www.site.ru/schools/

http://www.site.ru/liczei/

В первой категории есть конкретная школа, ее адрес такой http://www.site.ru/schools/745-co-1480

Теперь берем, тупо подставляем конец ссылки /745-co-1480 ко всем имеющимся категориям на сайте и получаем столько дублей страниц.
http://www.site.ru/liczei /745-co-1480 и т.д. (хотя по идее должен быть ответ 404)

Это как то можно вылечить?

Компонент sh404SEF генерит такой дубль, но вместо контента выводит сообщение о том, что такой страницы не существует:

404: Не найдено

Извините, но содержимое, которое Вы запросили не найдено

Сам Яндекс поступает точно также:

http://narod.yandex.ru/жопа.html

http://narod.yandex.ru/большая_жопа.html

Як такие страницы не индексирует.

Чтобы страницы индексировались поставьте Х-Мар или СЕФ Сервис Мап.

Х-Мар может делать много карт сайта, но все ссылки выводятся на одной странице, XML-карта - все ссылки на одной странице, что при овер 9000 страницах может вызвать отказ генерации карты.

СЕФ Сервис Мап разбивает карту сайта на страницы по 20/40/80/100 ссылок. XML-карту бьёт по 1000-страничным кускам. На больших сайтах рекомендуется опцию "Cache type" выставлять - Filesystem

sear4er
На сайте с 04.03.2010
Offline
756
#2

Dram, А чем вам это мешает ? Если робот по ним не ходит (по дублям) то всё в порядке, если ходит, то работайте с JoomSEF или SH404SEF.

Профессиональный SEO аудит с гарантией результата (форум). ( /ru/forum/824674 ) EVOLUTION SEO - Оптимизация, продвижение сайтов, вывод из под фильтров (личный сайт). ( https://evoseo.ru ) Бесплатные SEO консультации. ( https://evoseo.ru/seo-consultaciya/ )
empowered
На сайте с 16.10.2009
Offline
88
#3

Если опубликованы ссылки навигации в конце статьи, или есть не родной какой-нибудь модуль или компонент, то эти дуюли могут скормиться роботу и тогда АГС накроет сайт.

У меня так было - Яша на 7900 страницах подавился.

Решение: ссылки навигации запрещать

модули и вообще хотябы главную страницу руками првоерять

сервисами онлайн генерации xml sitemap-ов пользоваться, если много страниц показывает или виснет - бить тревогу

мониторить вебмастер и бить тревогу если что

П.С. Хотелось бы еще советов по теме от опытных Joomlaводов.

-Leshiy-
На сайте с 22.01.2007
Offline
165
#4
empowered:
Если опубликованы ссылки навигации в конце статьи, или есть не родной какой-нибудь модуль или компонент, то эти дуюли могут скормиться роботу и тогда АГС накроет сайт.

Вы про ссылки, которое образуются при разбиении статьи на несколько страниц?

xlife
На сайте с 10.08.2009
Offline
47
#5

Скажите пожалуйста, чем может быть вызвано попадание дубля одного материала в разные категории

использую компоненты:

ari quiz

jcomments

linkR

xmap

D
На сайте с 28.06.2008
Offline
1114
#6
-Leshiy-:
Компонент sh404SEF генерит такой дубль, но вместо контента выводит сообщение о том, что такой страницы не существует:
404: Не найдено
Извините, но содержимое, которое Вы запросили не найдено

Не пойдет, сайт старый, + не хочу гемора с этим компонентов, пробовал уже.

-Leshiy-:
Чтобы страницы индексировались поставьте Х-Мар или СЕФ Сервис Мап.
Х-Мар

Стоит, карта сайта скормлена роботам, там этих дублей нет

sear4er:
Dram, А чем вам это мешает ? Если робот по ним не ходит (по дублям) то всё в порядке, если ходит, то работайте с JoomSEF или SH404SEF.

Проблемы бы не было, если бы Платон на мой вопрос, почему одна страница не участвует в поиске не написал, что у Вас куча дублей нужной страницы и привел ссылки на них. Как они их нашли?

empowered
На сайте с 16.10.2009
Offline
88
#7
-Leshiy-:
Вы про ссылки, которое образуются при разбиении статьи на несколько страниц?

Неа, я про ссылки - предыдущая - следующая, мне показалось что иногда они могут глючить и плодить ссылки на дубли.

-Leshiy-
На сайте с 22.01.2007
Offline
165
#8
empowered:
Неа, я про ссылки - предыдущая - следующая, мне показалось что иногда они могут глючить и плодить ссылки на дубли.

При делении статьи/материала на несколько страниц тоже образуются "предыдущая" и "следующая". Они нормально понимаются Яком.

-Leshiy- добавил 10.04.2010 в 12:08

Dram:
Не пойдет, сайт старый, + не хочу гемора с этим компонентов, пробовал уже.

Зато работает.

Стоит, карта сайта скормлена роботам, там этих дублей нет

У меня сайтец есть, карта сайта выдаёт меньше сотни, в индексе около 100 страниц (некоторые материалы многостраничные, а карты сайта прочие страницы не учитывают, а вот сам Як их прекрасно индексирует). При этом загруженно 22 тыс. страниц, и исключено роботом больше 3,5 тыс.

Проблемы бы не было, если бы Платон на мой вопрос, почему одна страница не участвует в поиске не написал, что у Вас куча дублей нужной страницы и привел ссылки на них. Как они их нашли?

У Вас, скорее всего, стоит не самый лучший ЧПУ-компонент. Стандартный СЕФ в Жомле - кривой до опупения.

Допустим у Вас есть на сайте два меню - школы и лицеи, и в каждом есть пункт меню страницы "745-co-1480". Стандартный СЕФ строит в урл по принципу - сайт.ру/меню1/подменю меню1/подменю подменю меню1/подменю подменю подменю меню1/страница.хтмл

sh404SEF строит урлы по другому - сайт.ру/раздел/категория/статья.хтмл, если есть плагин интеграции с sh404SEF. Интеграторы могут быть кривыми или вообще не работать. На последнюю версию не ложится интегратор ДжумГалери, точнее говоря ложится, но нужно знать соотвествующее заклинание.

Если такого плагина нет, то sh404SEF строит вот такие вот не совсем красивые урлы - сайт.ру/component/option,com_flippingbook/Itemid,95/id,1/view,category/. А может и вообще не строить.

Также, компонент может переправлять не ЧПУ в ЧПУ.

Главное при работе с sh404SEF (впрочем как и с Джумлой вообще):

1. запастись валерьянкой

2. убрать тяжёлые предметы подальше

3. не забывать обновлять кэш Джумлы и очищать списки ссылок (либо через кнопку, либо через выкл/вкл компонента - первый вариант не всегда работает)

4. На период настройки лучше вообще выключить кэш.

Удачи.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий