Проблемы с robots.txt 1 страница в индексе, подскажите в чем ошибка.

LA
На сайте с 26.12.2010
Offline
12
847

Сайту месяц, контент уникальный, пустых страниц нет.

В индексе постоянно одна страница, загружает при этом все

и в вебмастере все время написано:

"

Сайт не участвует в поиске, так как ранее наш робот получил полный запрет на его индексирование в Вашем файле robots.txt. В настоящий момент запрет отсутствует, сайт уже начал индексироваться и должен появиться в поиске после 1–2 обновлений поисковых баз, после этого сообщение обновится.

Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt ."

где в robots я напортачил?

User-agent: *

Disallow: /browsers/

Disallow: /text-editors/

Disallow: /graphic-editors/

Disallow: /file-managers/

Disallow: /talking/

Disallow: /contacts.html

Здесь закрыты в основном странички категорий, на которых краткие версии новостей, закрыл чтобы не было дублей.

Может проблема в том что адреса полных новостей начинаются с /browsers/, /text-editors/ и так далее и я закрываю вместе с категорями и сами новости?

kimberlit
На сайте с 13.03.2007
Offline
370
#1
Last-August:
Может проблема в том что адреса полных новостей начинаются с /browsers/, /text-editors/ и так далее и я закрываю вместе с категорями и сами новости?

Почему бы не открыть хэлп Яндекса и не почитать? Там текста минут на 10. Самому же польза будет.

callidus
На сайте с 18.07.2011
Offline
348
#2

Last-August, если вы говорите, что у вас статьи начинаются с /browsers/ то вы явно указали заперт в файле robots.txt на индексацию контента. :)

Моментальный сбор семантического ядра и частотности за копейки https://clck.ru/3KYdWE.
LA
На сайте с 26.12.2010
Offline
12
#3
callidus:
Last-August, если вы говорите, что у вас статьи начинаются с /browsers/ то вы явно указали заперт в файле robots.txt на индексацию контента. :)

как тогда мне закрыть категории но при этом оставить открытыми статьи? ведь за дубли Яндекс тоже по головке не погладит

VE
На сайте с 17.08.2006
Offline
76
#4

Для категорий воспользоваться старым-добрым meta name="Robots" content="noindex, follow"

chimik
На сайте с 15.07.2010
Offline
91
#5
Last-August:
ведь за дубли Яндекс тоже по головке не погладит

За такие дубли думаю ничего не будет, не плодите много бессмысленных МЕТОК, или их и закрывайте от индексации

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий