При настройке robots.txt возникли ошибки

А по маске никак что ли? Что за страницы?

Это из-за " ; " в урл. И не ошибка это, а предупреждение - то есть, по идее, нормально все должно обрабатываться. Если все правильно составлено.

Сайт на Joomla.

При создании публикаций в виде блога (без разрыва страниц), таким образом, я сделал из одной статьи две страницы 2УВ. Ссылки получились вот такие:

Это если переходить с навигации сайта

Первая часть статьи:

http://www.домен.com/2010-12-01-18-11-16

<< Начало < Предыдущая 1 2 Следующая > Последняя >>

Страница 1 из 2

Вторая часть статьи:

http://www.домен.com/2010-12-01-18-11-16?start=1

Также есть «карта сайта» для людей, где выбираю туже статью, но теперь она открывается по другому адресу:

Первая часть статьи:

http://www. домен.com/2010-12-01-18-11-16/128-2010-12-01-17-28-15

Вторая часть статьи:

http://www. домен.com/2010-12-01-18-11-16/129-2010-12-01-18-20-27

И того получается, что одна публикация доступна по двум адресам,

http://www.домен.com/2010-12-01-18-11-16

и

http://www. домен.com/2010-12-01-18-11-16/128-2010-12-01-17-28-15

т.е. страницы дублируются и так у всех опубликованных статьях на сайте.

Вот их, ссылки 3УВ, я и запретил к индексации в «robots.txt»

Anderew добавил 14.12.2010 в 18:51

Пример я привёл. Вроде, всё правильно.

Если в Яндексе это не ошибки, тогда всё хорошо.

У Joomla дубли - это ее страшная болезнь, не советовал бы с ней связываться, а раз уж связались, то настройте ЧПУ. На счет составления роботс могу только помочь, показав свой - тоже для джумлы

User-agent: Yandex

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /upload/

Disallow: /xmlrpc/

Disallow: /index2.php?option=com_content&task=emailform

Disallow: /*?sl*

Disallow: /index.php?*

Disallow: *.pdf$

Disallow: /name.php?action=print

Disallow: /trackback

Disallow: /*rss.html

Disallow: /*atom.html

Crawl-delay: 2

Host: iguania.ru

Sitemap: http://www.iguania.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /upload/

Disallow: /xmlrpc/

Disallow: /index2.php?option=com_content&task=emailform

Disallow: /*?sl*

Disallow: /index.php?*

Disallow: *.pdf$

Disallow: /name.php?action=print

Disallow: /trackback

Disallow: /*rss.html

Disallow: /*atom.html

Crawl-delay: 2

Host: iguania.ru

Sitemap: http://www.iguania.ru/index.php?option=com_xmap&sitemap=1&view=xml&no_html=1

Да, везде есть свои сложности, я не только с Joomla работал и работаю. На данный момент ситуация такая в Joomla. Что уж тут поделаешь? От сложностей никогда не стоит убегать, они всё-равно вас настигнут, с чем бы вы не столкнулись, за что бы ни взялись.

На счёт ЧПУ - это идея. Но, пока что меня интересует решение создавшейся задачи.

А почему между блоками нет пустой строки?

А почему директива Host: во втором блоке?

Не читали Help.yandex.ru ?

Может надо сначала самому разобраться в элементарных вещах?

P.S.

Не можете.

Kost, потому что если мозгов нет, они думают, что чем больше файл robots.txt, тем круче.

По моему, выложить на серче свой, криво составленный роботс, стало чем-то вроде писькометра, аля, "А смотрите, я вообще ничего не понимаю, но у меня есть свой сайт!11разраз"

По-моему вы не в адыквате!

А вы, между прочим, молодой человек, по-моему, кроме того, чтобы поумничать больше ни на что не способны, а были бы способны, то объяснили бы что не так, ведь ветка то форума эта для новичков, и свой бы правильный robots.txt показали... А так вы просто пустослов. Извините, если чем обидел.

Переделал свой файлик, может задававшему вопрос он чем-то поможет. Если нет, то уж извините: на что способен на данный момент, то и показываю

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /component/*

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

Если настроили ЧПУ, то поможет избежать дублей еще такая строка

Disallow: /index.php?*

iguania, звездочки в конце строки Disallow: не нужны, они там и так подразумеваются.