Файл robots.txt как правильно запретить индексировать

Смени CMS :)

Указал для Я и для Googlebot в файле robots.txt следующие данные:

User-agent: Yandex

Disallow: /index.php

Host: www.mysite.ru

и

User-agent: Googlebot

Disallow: /index.php

Host: www.mysite.ru

Чтобы исключить дубли с выдачи как Яндекса, так и Гугла.

Вопрос: Правильно ли были сделаны настройки в файле robots.txt?

Настораживает, то что Файлы Sitemap в панели вебмастера гугл показывает 700 URL отправлены, а URL в интернет-индексе всего 9 страниц. Хотя сайт полностью присутствует в выдачи.

А где сказано что для гугла надо и можно ставить host?

ТС, я вижу у вас движок Joomla. Настройте ЧПУ и проблем с дублями не возникнет. Только Host пропишите в роботс. И закроете компонент комментариев, если он сам не создает при установке запись. Не помню просто...

Добавлено.

Умник, который мне репу - 3к заделал, отпишись мне в ЛС, я покажу свой сайт на Джумле с правильно настроенным ЧПУ где нет НИ ОДНОГО дубля.

turovnet, да, Joomla.

Настройте ЧПУ и проблем с дублями не возникнет.

Вроде как все настроено. А вот проблема: Ссылка: mysity.ru/zavtrak/pechenka/shokolad а дубли вида mysite.ru/index.php?option=com_content&view=article&id=1&Itemid=1&lang=es и mysite.ru/index.php?option=com_content&view=article&id=1&Itemid=1&lang=en и я вот пытаюсь закрыть от индексации ссылки начинающие с /index.php

Talisman13, копировал и не удалил запись host

premium., так вроде или настроено?

turovnet, Да стоит ЧПУ настройка, скрин прилагается:

В файле htaccess.txt удалил строку Options +FollowSymLinks

А что тут

совсем плохо написано ?

Вот тут есть что-то про дублирование страниц clean-param для яндекса

У меня так

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /trackback

Disallow: /component/search/

Disallow: /component/mailto/

Disallow: /component/user/

Disallow: /index2.php

Disallow: /index.php

Disallow: /*?format=pdf

Disallow: /*?format=feed&type

Host: site.ru

Если чпу не включено то index.php закрывать нельзя. Компоненты вы можете закрыть все Disallow: /component/, но некоторые иногда нужно индексировать, например галерею или форум. Страницы поиска я закрываю, ведь там только дубли страниц.