Вопрос по robots.txt

Да в том то и дело добавляю в вебмастере, после перехожу по ссылке идёт правильно, но после проверки самим гуглом пишет ошибку

URL, запрещенный файлом robots.txt При попытке получения доступа к вашему файлу Sitemap возникла ошибка. Убедитесь в том, что Sitemap соответствует нашим правилам и к нему можно получить доступ в указанном местоположении, а затем выполните повторную отправку.

Так она у тебя закрыта действительно.

Ну а как тогда яндекс зашёл?

Я так понял закрыты компоненты от индексации, А как правильно открыть только его?

Magnificent-Seo добавил 15.02.2011 в 16:39

Подскажите как прописать в роботс, чтобы открыть только саму карту сайта?

В смысле закрыта? Подскажите как это исправить, точнее открыть?

.....

Disallow: /price-sheet/

Disallow: /the-contact-information/

Disallow: /index.php?option

Host: xn--32-mlclohlho.xn--p1ai

Sitemap: http://xn--32-mlclohlho.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml

kimberlit т.е. можно убрать строку Disallow: /index.php?option и всё?

И у меня тут же ещё вопрос, а как же тогда яша скушал карту сайта если она закрыта?

Magnificent-Seo добавил 19.02.2011 в 22:12

Или вот слышал, что с помощью Allow: Можно же так открывать? к примеру Allow: /test/images/ #папка images в папке test открыт.

Всё разобрался с роботс, получилось вот так, оцените:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Allow: /images/img/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /registration/

Disallow: /export/

Disallow: /download/

Disallow: /price-sheet/

Disallow: /the-contact-information/

Host: xn--32-mlclohlho.xn--p1ai

Sitemap: http://xn--32-mlclohlho.xn--p1ai/index.php?option=com_xmap&sitemap=1&view=xml

Вот только вопросик снова возник вопрос: 1. Надо ли писать отдельно под посковик? 2. Какой домен сделать основным с www или без?

К русскому домену писать www ? :)

Нет ну с доменом .рф то не надо www(хотя тоже спорно, при запросе полимер.32 и пуникода показатели разные), я просто параллельно над доменом .ру работаю и поинтересовался во-общем.

Подскажите, как правильно закрыть подобного плана повторные ссылки:

dyatkovortp.ru(точка)index.php

dyatkovortp(точка)ru/index.php?cat=4

dyatkovortp(точка)ru/index.php?cat=2

dyatkovortp.ru(точка)index.php?option=com_content&view=article&id=55&Itemid=68

К примеру, так будет правильно?

Disallow: /index.php?cat*

Disallow: /index.php?option*