Форум Поисковые системы Google

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.tx, что делат

Feniks000
На сайте с 24.08.2013
Offline
58
Feniks000
9085

Я добавил sitemap.xml в "Вебмастер Google".

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt

Что делать??

CMS - DLE 

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Sitemap: http://домен.ru/sitemap.xml



User-agent: Yandex

Host: домен.ru

[ATTACH]132055[/ATTACH]

png 132055.png
K
На сайте с 20.06.2013
Offline
45
kurgi
#1

Читать help:

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#asterisk-dollar

https://steeldrain.ru/trapy-iz-nerzhavejushhej-stali/
RL
На сайте с 19.06.2013
Offline
19
roman_lenko
#2

На самом деле, ничего делать не нужно — бот проигнорирует страницы, которые закрыты в robots.txt, а остальные — просканирует.

Конечно, можно поизвращаться, типа, поудалять вручную закрытые разделы, или попытаться модуль генерации sitemap перенастроить, но, думаю, это излишне.

вопрос по сайту Генерация sitemap.xml User-agent: Yandex vs User-agent:
ivanw
На сайте с 28.10.2013
Offline
30
ivanw
#3

У меня та же картина была, по -моему это баг гугла как вебмастер обновился, попробуй заново robots.tx загрузить

E
На сайте с 21.09.2009
Offline
283
easywind
#4

Feniks000, а посмотритека список из ВМТ - сканирование - ошибки сканирования и вкладка "доступ запрещен". Нет там чего? И если есть, можно урл проверить в "заблокированные урл".

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий