Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Файл robots как бы блокирует все URL

G
На сайте с 19.08.2012
Offline
53
Goshex
439

Гугл считает, что файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

Сайт на CMS DLE. Вот мое стандартное оформление роботса (раньше таких косяков не было):

User-agent: *
Disallow: /user/
Disallow: /tags/
Disallow: /page/
Disallow: */page/*
Disallow: /backup/
Disallow: /language/
Disallow: /admin.php
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=login
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Подскажите, в чем проблема? Файл роботс перековырял как мог, сайтмап перезагружал в гугл вебмастер, все бесполезно.

K4
На сайте с 13.11.2014
Offline
7
kactu4
#1

а может вы не там копаете? И у Вас действительно в сайтмапе есть урлы которые этот роботс закрывает? :)

G
На сайте с 19.08.2012
Offline
53
Goshex
#2

Да, забыл добавить. Сайт новый и роботс как бы блокирует все добавленные в сайтмап урл.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий