Помогите по robots.txt для яндекса

12
Sashka-terrorist
На сайте с 05.07.2010
Offline
7
2122

Доброго времени суток! Подскажите пожалуйста что мне делать: у меня яндекс почему то вместо основного контента сайта на вордпрес индексирует закрытый от индексации фид( И получилось вместо 900 новостей:

Документ запрещен в файле robots.txt 911 :(

вот что у меня в файле robots.txt:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */feed/atom

Disallow: */comments

Host: site.ru

Собственно яндекс проиндексировал только категории а все новости пишет что запрещен к индексации, а там линки вида: site.ru/news/feed/

За рание благодарен за помощь!

Цахес
На сайте с 15.03.2007
Offline
205
#1
Sashka-terrorist:
Собственно яндекс проиндексировал только категории а все новости пишет что запрещен к индексации, а там линки вида: site.ru/news/feed/

Индексация всех страниц начинающихся с /news/feed/ запрещена правилом Disallow: */feed

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
Sashka-terrorist
На сайте с 05.07.2010
Offline
7
#2

ну правильно так яндекс почему то дальше вот этих /news/feed/ и не заходит, тоесть у меня получаютса все новости запрещены в файле robots.txt

Так что мне надо удалить */feed - в таком случае он будет индексировать фид а не контент на сайте :(

palladin_jedi
На сайте с 13.07.2010
Offline
71
#3

Напиши Allow: /news/feed/

Disallow: */feed

Сайт о web-разработке и прочем (http://seazo.net)||Продвижение статьями под Google (http://short.seazo.net/ght4zf) Бесплатные консультации рефералам Sape (http://www.sape.ru/r.SWfwWOblBo.php) PHP и JS скрипты на заказ, создание сайтов с нуля и на CMS.
Цахес
На сайте с 15.03.2007
Offline
205
#4

А какие адреса у новостей, примеры?

Sashka-terrorist
На сайте с 05.07.2010
Offline
7
#5
palladin_jedi:
Напиши Allow: /news/feed/
Disallow: */feed

Поскажите поподробней как это записать, я в этом деле новичек потому и спрашываю :)

Цахес:
А какие адреса у новостей, примеры?

пример адреса новости: site.ru/striptiz-na-trave/

Цахес
На сайте с 15.03.2007
Offline
205
#6
Sashka-terrorist:
яндекс почему то дальше вот этих /news/feed/ и не заходит, тоесть у меня получаютса все новости запрещены в файле robots.txt
Sashka-terrorist:
пример адреса новости: site.ru/striptiz-na-trave/

Урлы такого вида не запрещены в robots.txt.

-
На сайте с 04.11.2009
Offline
89
#7

у меня похожее было на вордпресс, я платонам отписал, они сказали, что все гуд, и на следующий ап всё-таки стало на места.

может надо просто время или это уже давно так?

К
На сайте с 20.11.2010
Offline
1
#8

Я дописал для ненужных страниц в робот.тхт следующие

Disallow: /*;wap2

Disallow: /*;imode
Disallow: /*printpage*
Disallow: /*&pop=*
Disallow: /*emailform*

Ребята, скажите, нет ли угрозы нормальной части сайта?

И можно ли проверить сразу каким-то способом, перестали ли такие страницы индексироваться?

Или надо ждать и смотреть по поиску?

Спасибо!

K
На сайте с 31.01.2001
Offline
737
#9
Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
S
На сайте с 28.10.2005
Offline
315
#10

Корнелий, не ставьте звездочку в конце директивы, не пугайте людей и ботов 😂

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий