Вопрос по robots.txt

Disallow: /catalog/$

1. * ставится, так как адрес каталога может быть не только site.by/catalog/, но и site.by/что-то еще/catalog/1.htm. В случае Disallow: */catalog/1.htm закроются все страницы, содержащие в своем url /catalog/. А в случае Disallow: /catalog/ страница site.by/что-то еще/catalog/1.htm будет проиндексирована.

2. Да

3. Согласен с semenov

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Sitemap: http://bma.ua/index.php?option=com_xmap&sitemap=1&view=xml

подскажите чтоб лучше индексировалось может убрать:

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

8e3yn4ik, разве что-то не индексируется? robots.txt корректный, правда нужно прописать еще и директиву Host.

И советую удалить папку /installation/, на большинстве движков это нужно делать, т.к. в некоторых случаях можно снова инициализировать процесс установки.

8e3yn4ik, Джумла? Картинки по умолчанию вроде кладутся в директорию /images/, которая у Вас закрыта от индексации. Лучше открыть, ИМХО.

да джумла, открыл /images/ , а еще Disallow: /templates/ там же хранятся шаблоны, мб тоже нужно открыть?

User-agent: *

Disallow: /administrator/

Disallow: /components/

Disallow: /cache/

Disallow: /includes/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /*component

Disallow: /*pechat.html

Disallow: /*?

Crawl-delay: 0.5

Host: www.site.ru

sitemap: http://www.site.ru/sitemapxml

User-agent: Yandex

Disallow: /administrator/

Disallow: /components/

Disallow: /cache/

Disallow: /includes/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /*component

Disallow: /*pechat.html

Disallow: /Tablica/*

Disallow: /*Pechat.html

Disallow: /index2.php?option=com_content

Disallow: /*feed/atom/

Disallow: /*rss.html

Disallow: /*atom.html

Disallow: /*feed/rss/

Disallow: /*?

Clean-param: frontPageAdsCount&lang&Itemid&option&view&limit&month&year&cat_id&fuck&FontSize

Crawl-delay: 0.5

Host: www.site.ru

sitemap: http://www.site.ru/sitemapxml

niceteam добавил 09.11.2010 в 10:47

вот мой роботс для joomla, может кому пригодится.

демс, как чужой роботс может кому-то пригодится, разделы у всех разные и нада под каждый свой писать

8e3yn4ik, В Host проверьте как проиндексирован сайт с www или без.

ну и согласен с niceteam - сделать для Яндекса отдельные параметры User-agent: Yandex

На одинаковых CMS служебные страницы, которые индексировать не надо - одинаковы ;)

albion добавил 10.11.2010 в 12:34

niceteam, директиву хост, вроде как понимает только Яндекс.