Роботс

D
На сайте с 10.02.2012
Offline
101
403

Не могу настроить оботс, а точнее, мне нужно запретить к индексации комментарии, они выходят в гугле в виде feed. Как я смотрел все нормально по роботсу, но в индекс влетели страницы. Вордпресс.

мой роботс

User-agent: *

Disallow: /cgi-bin

Disallow: /tmp/

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /feed

Disallow: */feed

Disallow: /*?*

Disallow: /*?

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /search/*/feed

Disallow: /search/*/*

Disallow: /tag/

Allow: /wp-content/uploads/

User-agent: Googlebot-Image

Disallow:

Allow: /*

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /feed

Disallow: */feed

Disallow: /*?*

Disallow: /*?

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /search/*/feed

Disallow: /search/*/*

Disallow: /tag/

Allow: /wp-content/uploads/

Host: мойсайт

Sitemap: http://мойсайт/sitemap.xml.gz

User-agent: YandexBlog

Disallow:

Allow: /*

YC
На сайте с 15.01.2013
Offline
5
#1

А как насчёт метатега роботс на страницах с комментами? Если комменты это отдельный шаблон, то можно без труда прописать

Консультант ТопЭксперт. Рекомендую: Полный курс СЕО (http://www.topexpert.pro/seo-kurs.html), Курс СЕО-драйв (http://www.topexpert.pro/seo-kurs-s.html), Школа СЕО аналитики (http://www.topexpert.pro/seo-analytics-school.html)
lockki
На сайте с 03.08.2010
Offline
124
#2

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /*trackback

Disallow: /*feed/

Disallow: /*?s=

Disallow: /tag/

Disallow: /2012/

Disallow: /2013/

Allow: /wp-content/uploads

Sitemap: http://вашсайт/sitemap.xml

S
На сайте с 06.08.2008
Offline
130
#3

Зайдите в кабинет вебмастера и удалите проиндексированные страницы.

D
На сайте с 10.02.2012
Offline
101
#4
spiderbuber:
Зайдите в кабинет вебмастера и удалите проиндексированные страницы.

их вышло с 350+ страниц

---------- Добавлено 28.01.2013 в 10:00 ----------

lockki:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /*trackback
Disallow: /*feed/
Disallow: /*?s=
Disallow: /tag/
Disallow: /2012/
Disallow: /2013/
Allow: /wp-content/uploads
Sitemap: http://вашсайт/sitemap.xml

это добавить в мой роботс?

---------- Добавлено 28.01.2013 в 10:04 ----------

yellow_cat:
А как насчёт метатега роботс на страницах с комментами? Если комменты это отдельный шаблон, то можно без труда прописать

В файле comment.php? Можете написать куда примерно суют эти теги?

cheredov
На сайте с 07.04.2011
Offline
125
#5

dijes, Покажите страницу с комментариями.

Иван Чередов (http://ivan.cheredov.com/about/)
D
На сайте с 10.02.2012
Offline
101
#6
cheredov:
dijes, Покажите страницу с комментариями.

Всм прямую ссылку на сайт или код с php файла?

lockki
На сайте с 03.08.2010
Offline
124
#7

Просто замените свой робот, на тот что я написал.

продублируйте для яндекса его и впишите хост.

также я категории не закрыл, т.к. они у меня оформленные.

---------- Добавлено 28.01.2013 в 20:42 ----------

все остальное говно закрыто, ни одного дубля на сайте не будет.

D
На сайте с 10.02.2012
Offline
101
#8

Поменял, посмотрим. Спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий