вопрос по robots.txt

E
На сайте с 10.07.2010
Offline
24
600

Гугл проиндексировал 2 аналогичных страницы, home-создается автоматически джумлой

tea-lover.by/ Cached

tea-lover.by/home - Cached

скажите, пожалуйста, как в robots.txt, запретить для индексации гуглом и яндексом страницу

tea-lover.by/home

и страницу

tea-lover.by/kontakty

какие команды нужно добавить?

заранее спасибо за помощь!

M1
На сайте с 13.02.2007
Offline
123
#1

Для исправления проблемы с главной страницей Вам необходимо сделать 301-й редирект с "/home" на корень сайта "/".

Для закрытия контактов добавьте в robots.txt следующие строки:

User-agent: *

Disallow: /kontakty

E
На сайте с 10.07.2010
Offline
24
#2

большое спасибо, все получилось!

M1
На сайте с 13.02.2007
Offline
123
#3

eramar, не совсем всё ;)

Ваш файл robots:

User-agent: *
Disallow: /kontakty
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: tea-lover.by
Sitemap: [noparse]http://tea-lover.by/index.php?option=com_xmap&sitemap=1&view=xml[/noparse]

Поскольку файл использует инструкции для разных роботов (первый блок инструкций - для всех, второй - для яндекса), необходимо внести строку в оба блока, т.к. каждый бот учитывает только свой либо только общий блок, и яндекс не учтёт содержимое инструкции из "User-agent: *"

В итоге Ваш файл должен выглядеть следующим образом:

User-agent: *
Disallow: /kontakty
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /kontakty
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Host: tea-lover.by
Sitemap: [noparse]http://tea-lover.by/index.php?option=com_xmap&sitemap=1&view=xml[/noparse]

Подробнее о файле robots.txt и его структуре читайте в хелпе яндекса.

Trean
На сайте с 28.10.2009
Offline
78
#4
Mr 13:

Поскольку файл использует инструкции для разных роботов (первый блок инструкций - для всех, второй - для яндекса)

А в чем смысл отделения Яндекса? Там же одни и теже директивы записаны. Удалить то что сейчас о Яндексе и будет нормально. Хотя, опять же, зачем закрвать контакты...

Беру заказы на продвижение, также предлагаю качественные консультации и аудиты сайтов (обращаться в ЛС).
R
На сайте с 04.10.2010
Offline
27
#5
Mr 13:
Для исправления проблемы с главной страницей Вам необходимо сделать 301-й редирект с "/home" на корень сайта "/".

И зачем?

Надо просто также закрыть в роботе и все.

Trean
На сайте с 28.10.2009
Offline
78
#6
ryno:
И зачем?

Надо просто также закрыть в роботе и все.

Нет, надо 301 :)

E
На сайте с 10.07.2010
Offline
24
#7

скажите..я сделал редирект с /home на главную, гугл выкинул из индекса главную, а оставил "/home"

Если я покупаю ссылки и савлю их на"/" эффект будет? или теперь нужно ставить ссылки на "сайт.бай/home"?

M1
На сайте с 13.02.2007
Offline
123
#8
eramar:
скажите..я сделал редирект с /home на главную, гугл выкинул из индекса главную, а оставил "/home"
Если я покупаю ссылки и савлю их на"/" эффект будет? или теперь нужно ставить ссылки на "сайт.бай/home"?

eramar, гугл со временем проиндексирует как положено - главную, а /home выкинет. Ссылки для продвижения главной закупайте на корень "/".

ryno:
И зачем?

Надо просто также закрыть в роботе и все.

Дубли необходимо склеивать в единый основной вариант. Всегда.

Trean:
А в чем смысл отделения Яндекса? Там же одни и теже директивы записаны. Удалить то что сейчас о Яндексе и будет нормально.

В принципе смысла практически нет, но раз robots был уже составлен таким образом я решил посоветовать просто добавить нужную строку в оба раздела, ведь это так же абсолютно корректный вариант.

Trean:
Хотя, опять же, зачем закрвать контакты...

Сие есть желание владельца сайта, вопрос не ко мне ;)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий