Документ запрещен в файле robots.txt

K1
На сайте с 23.09.2012
Offline
50
433

Подымаю ранее тему по данному вопросу, так как внятного ответа не было в теме.

/ru/forum/651390 и

/ru/forum/651366

Создал пару сайтов саттелитов, по 200 страниц, 1й чуть больше месяца, второму около месяца, добавил в яндекс вебмастер подтвердил права. После недели ожидания индексации всего 1 страница в поиске находится что у первого что у второго. Тексты не уникальные, но и не тупой копипаст, уникализированны, как можно загнать оставшиеся странцы в индекс?

в яндекс вебмастере пишет такую штуку

Загружено роботом 156

Исключено роботом 154 (Документ запрещен в файле robots.txt)

Как бороться с данной проблемой?

Robots у меня стандартный:

User-agent: Yandex

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Host: http:// мой сайт.ru/

User-agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Sitemap: http:// мой сатй.ru/sitemap.xml

брал по примеру, закрыл системные файлы, после этой надписи убил на одном сайте его вообще на другом оставил, посмотрю что из этого выйдет.

Если кто сталкивался с подобной проблемой или знает как ее решить буду признателен.

KL
На сайте с 13.11.2010
Offline
16
#1

У меня проблема с индексацией рубрик. Точнее, они закрыты от индексации в роботс, но яндекс почему-то их все равно видит и любит больше, чем страницы.

Everything will come

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий