Google webmaster не распознаёт sitemap, ругаясь на robots.txt

F1
На сайте с 28.11.2012
Offline
8
1592

Есть магазин на опенкарт. В магазине включены ЧПУ вида domain.com/kategoriya/tovar.html

Средствами движка сгенерирована карта сайта, в которой кроме этих самых ссылок с ЧПУ (на товары и категории) больше ничего нет, никаких технических страниц типа корзины, профиля юзера.

Создан robots.txt вида


User-agent: *
Disallow: /*&filter_description=
Disallow: /*&filter_name=
Disallow: /*&filter_sub_category=
Disallow: /*&limit=
Disallow: /*&order=
Disallow: /*&sort
Disallow: /*&tracking=
Disallow: /*?av
Disallow: /*?filter_description=
Disallow: /*?filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*?keyword
Disallow: /*?manufacturer
Disallow: /*?order
Disallow: /*?page=1
Disallow: /*?route=account/
Disallow: /*?route=affiliate/
Disallow: /*?route=checkout/
Disallow: /*?route=product/search
Disallow: /*?sort
Disallow: /*?tracking=
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=product/search
Disallow: /admin/
Disallow: /catalog/
Disallow: /download/
Disallow: /system
Disallow: /index.php?route=common/home
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search

Host: domain.com
Sitemap: http://domain.com/index.php?route=feed/google_sitemap

Когда кормишь карту сайта Google Webmaster, он её проверяет и выдаёт вот такое: "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.", причем блокируются как раз ссылки вида domain.com/kategoriya/tovar.html. Если удалить robots.txt то ситуация такая же, тоже ругается с той же ошибкой.

Также был сделан 301 редирект на сайт без www и в Google Webmaster в настройках указан основной сайт без www.

Фрагмент карты сайта

<url>
<loc>http://domain.com/holodilniki-naprimer/</loc>
<lastmod>2012-11-16</lastmod>
<changefreq>weekly</changefreq>
<priority>0.7</priority>
</url>
<url>
<loc>http://domain.com/akciya.html</loc>
<changefreq>weekly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>http://domain.com/about_us.html</loc>
<changefreq>weekly</changefreq>
<priority>0.5</priority>
</url>
<url>

Фрагмент htaccess

Options +FollowSymlinks
Options -Indexes
# Prevent Direct Access to files
<FilesMatch "\.(tpl|ini|log)">
Order deny,allow
Deny from all
</FilesMatch>
RewriteEngine On
RewriteBase /
RewriteRule ^sitemap.xml$ index.php?route=feed/google_sitemap [L]
RewriteRule ^googlebase.xml$ index.php?route=feed/google_base [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !.*\.(ico|gif|jpg|jpeg|png|js|css)
RewriteRule ^([^?]*) index.php?_route_=$1 [L,QSA]
RewriteCond %{HTTP_HOST} ^www.domain.com$ [NC]
RewriteRule ^(.*)$ http://domain.com/$1 [R=301,L]

Как заставить гугл нормально обрабатывать карту сайта?

F1
На сайте с 28.11.2012
Offline
8
#1

плиз хелп...

F1
На сайте с 28.11.2012
Offline
8
#2

неужели никто не знает?

F1
На сайте с 28.11.2012
Offline
8
#3

неужели никто не знает?

дани мапов
На сайте с 06.09.2012
Offline
204
#4
fgfg100:

Когда кормишь карту сайта Google Webmaster, он её проверяет и выдаёт вот такое: "Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt."

Как заставить гугл нормально обрабатывать карту сайта?

Это же не критическая ошибка, а просто предупреждение, не стоит беспокоится.

Написание и доработка скриптов (PHP, MySQL, JavaScript, jQuery) (/ru/forum/811046)
F1
На сайте с 28.11.2012
Offline
8
#5
дани мапов:
Это же не критическая ошибка, а просто предупреждение, не стоит беспокоится.

Та не, гугл вебмастер написал, что добавлено 100 страниц и в индексе только 10, остальные - не добавлены, получается, по вышеуказанной причине

дани мапов
На сайте с 06.09.2012
Offline
204
#6

Вы посмотрите внимательней, там сообщения делятся на "ошибки" и "предупреждения". Если бы сообщение было бы из категории "ошибки", тогда другое дело.

F1
На сайте с 28.11.2012
Offline
8
#7
дани мапов:
Вы посмотрите внимательней, там сообщения делятся на "ошибки" и "предупреждения". Если бы сообщение было бы из категории "ошибки", тогда другое дело.

Почему тогда не проиндексились все страницы? Только 10 из 100? В карте сайта есть ссылки на все страницы, и они не должны запрещаться robots.txt

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий