robots.txt

1. А Sitemap по нормальному нельзя было загрузить? bma.ua/sitemap.xml в корень сайта

2. На мой взгляд очень громоздкий.

3. Зачем Яндексу отдельную директиву дали, если итак все повторяется.

4. Вы пишете в хосте www. а в sitemap без www. Вы уж определитесь что у Вас главное зеркало.

P.S. Краткость - сестра таланта. Если можете не нагромождать лишнего - не надо.

Вы скорей всего хотите, чтоб ваш сайт учавствовал в поиске по картинкам, поэтому перед

Добавьте

А что делают эти команды?

ну тогда так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Allow: /images/stories
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Clean-param: font-size&view&limit&month&year&cat_id&fuck&FontSize
Crawl-delay: 0.5
Host: bma.ua

Sitemap: http://bma.ua/index.php?option=com_xmap&sitemap=1&view=xml

по поводу Sitemap, как перекинуть его в bma.ua/sitemap.xml

А,ЧПУ на сайте чем управляется? Родное или стороннее расширение?

Что делают эти строки? мне тоже интересно

http://help.yandex.ru/webmaster/?id=996567 - ну хоть раз можно прочитать целиком...

Директива Crawl-delay.

Директива Crawl-delay

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Директива Clean-param

Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы 'Clean-param'. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

8e3yn4ik добавил 11.11.2010 в 18:12

а более подробнее че это и де посмотреть?)

Загрузите в корень сайта через ftp.

Куда уж Вам robots.txt изучать, если Вы не знаете как файл на сервер залить.

как заливать знаю. Тотал командер есть... незнаю где файл sitemap.xml находится)))

попробуйте другой браузер, перед этим проверьте грузится ли в ваш браузер и работает ли хостинг. Так же файл\страница может отдаваться за запрос, но код ответа отличен от http 200, в моём случае было http 500/ Хотя страницы прорисовывались. А иначе вам с апорт яши.