Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Файл robots.txt как правильно запретить индексировать

12
I
На сайте с 18.05.2010
Offline
3
ivankin
#11

Смени CMS :)

P
На сайте с 18.07.2010
Offline
8
premium.
#12

Указал для Я и для Googlebot в файле robots.txt следующие данные:

User-agent: Yandex

Disallow: /index.php

Host: www.mysite.ru

и

User-agent: Googlebot

Disallow: /index.php

Host: www.mysite.ru

Чтобы исключить дубли с выдачи как Яндекса, так и Гугла.

Вопрос: Правильно ли были сделаны настройки в файле robots.txt?

Настораживает, то что Файлы Sitemap в панели вебмастера гугл показывает 700 URL отправлены, а URL в интернет-индексе всего 9 страниц. Хотя сайт полностью присутствует в выдачи.

Учиться никогда не поздно
Talisman13
На сайте с 20.01.2007
Offline
211
Talisman13
#13
premium.:
User-agent: Googlebot
Disallow: /index.php
Host: www.mysite.ru

А где сказано что для гугла надо и можно ставить host?

turovnet
На сайте с 21.04.2010
Offline
23
turovnet
#14

ТС, я вижу у вас движок Joomla. Настройте ЧПУ и проблем с дублями не возникнет. Только Host пропишите в роботс. И закроете компонент комментариев, если он сам не создает при установке запись. Не помню просто...

Добавлено.

Умник, который мне репу - 3к заделал, отпишись мне в ЛС, я покажу свой сайт на Джумле с правильно настроенным ЧПУ где нет НИ ОДНОГО дубля.

Размещаем пресс-релизы отелей бесплатно, подробнее
Не работает мобильный интернет Google Updates - апдейты Если разрешить индексацию всего
P
На сайте с 18.07.2010
Offline
8
premium.
#15

turovnet, да, Joomla.

Настройте ЧПУ и проблем с дублями не возникнет.

Вроде как все настроено. А вот проблема: Ссылка: mysity.ru/zavtrak/pechenka/shokolad а дубли вида mysite.ru/index.php?option=com_content&view=article&id=1&Itemid=1&lang=es и mysite.ru/index.php?option=com_content&view=article&id=1&Itemid=1&lang=en и я вот пытаюсь закрыть от индексации ссылки начинающие с /index.php

Talisman13, копировал и не удалил запись host

turovnet
На сайте с 21.04.2010
Offline
23
turovnet
#16

premium., так вроде или настроено?

P
На сайте с 18.07.2010
Offline
8
premium.
#17

turovnet, Да стоит ЧПУ настройка, скрин прилагается:

В файле htaccess.txt удалил строку Options +FollowSymLinks

N
На сайте с 08.08.2006
Offline
133
Nicola
#18

А что тут

http://help.yandex.ru/webmaster/?id=996567

совсем плохо написано ?

Аналитик
A8
На сайте с 14.10.2010
Offline
1
ash88
#19

Вот тут есть что-то про дублирование страниц clean-param для яндекса

"Вещи, которыми ты владеешь, овладевают тобой" (c)
P
На сайте с 27.02.2009
Offline
52
polikom
#20

У меня так

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /trackback

Disallow: /component/search/

Disallow: /component/mailto/

Disallow: /component/user/

Disallow: /index2.php

Disallow: /index.php

Disallow: /*?format=pdf

Disallow: /*?format=feed&type

Host: site.ru

Если чпу не включено то index.php закрывать нельзя. Компоненты вы можете закрыть все Disallow: /component/, но некоторые иногда нужно индексировать, например галерею или форум. Страницы поиска я закрываю, ведь там только дубли страниц.

Грибоводство (http://gribnoybiz.ru/)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий