Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Ошибки в обработки sitemap.xml в гугловом вебмастере

P
На сайте с 09.10.2015
Offline
0
paccoxin
424

Ребята, никак не могу понять в чем причина.

Вот мой robots.txt 


# Generated by DomDarom.com



User-agent: *

Disallow: /results



Sitemap: http://domdarom.com/sitemap.xml

Собственно sitemap.xml можно посмотреть по ссылке из robots.txt

Никак не могу понять, почему гугловый вебмастер мне пишет вот такое https://yadi.sk/i/wFgmrynwjdKDM

Говорит, что более 2000 урлов запрещено в robots.txt. Не могу понять, вроде в robots.txt я не запрещаю их.

Помогите разобраться.

GoRSS
На сайте с 29.07.2013
Offline
138
GoRSS
#1

Гугл сообщает вам, что 2078 страниц запрещены к индексации. Судя по sitemap.xml, именно из столько страниц сайт и состоит.

На этом же скрине видно пример урла, например "http://..../moskovskaya-obl....". В урле нет упоминания result.

О чем это говорит? Судя по всему, в неЧПУ (стандартном) адресе у вас используется get-переменная ?result=, и в соответствии с инструкцией robots.txt, все эти адреса запрещены.

Если вы имели ввиду папку result, то допишите в конце слеш Disallow: /results/, а лучшее вообще переименовать папку, если возможно.

Ну и вот подтверждение того, что GET-переменная result существует. Как её нашел Гугл, хз. Но однозначно что весь сайт запрещен к индексации.

Пока уберите эту инструкцию из robots.txt и разбирайтесь.

https://commersoft.ru - софт: Google Indexing [индексация в Гугле по API] - Webcontrol [мониторинг сайтов и доменов]
Запртил от индексации Ошибка на robotstxt.org.ru или Помогите советом по индексации!
good lion
На сайте с 09.02.2012
Offline
49
good lion
#2

И хост в robots.txt пропишите: Host: domdarom.com

Аудит, оптимизация, продвижение сайтов (/ru/forum/912252)
P
На сайте с 09.10.2015
Offline
0
paccoxin
#3

Хм, интересная версия про переменную result я это проверю.

Отпишусь о результатах!

---------- Добавлено 11.10.2015 в 16:26 ----------

paccoxin:
Хм, интересная версия про переменную result я это проверю.

Отпишусь о результатах!

Сделал такой robots.txt 


# Generated by DomDarom.com



User-agent: *

Disallow: /results/



Host: domdarom.com

Sitemap: http://domdarom.com/sitemap.xml

Вроде теперь в гугловой панельке вебмастера мне ошибок не пишет, посмотрим сколько проиндексируется. В любом случае если что-то не проиндексируется, то проблема будет уже не в robots.txt

Спасибо большое всем за советы!

Старый сайт материалы для Краснодар SEO 2014 Задавайте вопросы про Drupal

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий