Принудительная индексация sitemap

AG
На сайте с 24.01.2019
Offline
6
716

Столкнулся с проблемой, что гугл и яндекс считают сайтмэп запрещенной к индексации в файле роботс.

Сайт на вордпрессе и карта генерируется гугловским плагином.

Никак не мог понять, почему она запрещена к индексации...

Только что дошло, что по факту карта хоть и доступна всем по адресу site.ru/sitemap.xml, но лежиь в папке с гугловским плагином.

А так как в роботсе прописанно:

Dissalow: /wp-

То все данные плагинов запрещены к индексации...

Отсюда И возникает вопрос, нужно ли прописывать в роботсе отдельное Allow с полным путем к карте сайта?

Или же это привет к индексации кучи "левых" страниц созданных в сайтмэпе?

S
На сайте с 30.09.2016
Offline
459
#1
AudioGeek:
Только что дошло, что по факту карта хоть и доступна всем по адресу site.ru/sitemap.xml, но лежиь в папке с гугловским плагином.

А это как? 😕

AudioGeek:
"левых" страниц созданных в сайтмэпе?
А это зачем? 😕

---------- Добавлено 22.03.2019 в 01:20 ----------

AudioGeek, я, кажется, смутно понимаю что Вы имели в виду под "лежит" и "доступна". Если сервер выдаёт карту по запросу site.ru/sitemap.xml, то по барабану, где лежит скрипт, который её генерирует. Разбирайтесь, где Вы запретили её индексацию.
Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
AG
На сайте с 24.01.2019
Offline
6
#2

Аа, стоп, они ругаются не на xml а на html версию карты сайта...

Прошу прощения, что ввел в заблуждение :-(

---------- Добавлено 22.03.2019 в 03:26 ----------

Отрубил в плагине генерацию html версию карты сайта.

Нужны ли они вообще?

---------- Добавлено 22.03.2019 в 03:27 ----------

Похоже пора уже начинать ночью спать, а не в сайте капаться )))

angel57
На сайте с 01.04.2014
Offline
124
#3
AudioGeek:
Аа, стоп, они ругаются не на xml а на html версию карты сайта...
Прошу прощения, что ввел в заблуждение :-(

---------- Добавлено 22.03.2019 в 03:26 ----------

Отрубил в плагине генерацию html версию карты сайта.
Нужны ли они вообще?

---------- Добавлено 22.03.2019 в 03:27 ----------

Похоже пора уже начинать ночью спать, а не в сайте капаться )))

html карта сайта обычно закрыта от индексации тегом robots=noindex в подобных плагинах (по описанию думаю пользуетесь плагином Google (XML) Sitemaps Generator Plugin for WordPress by Arne Brachhold, верно?)

html карта на XML карту никакого влияния не оказывает и индексации не мешает, по крайней мере не было такого ни разу у меня. а есть проблемы с индексацией-то? если нету то не все ли равно что там вебмастер ошибку выдает какую-то)

---------- Добавлено 22.03.2019 в 04:16 ----------

https://support.google.com/webmasters/answer/93710?hl=ru вот так бывает запрещено. но вебмастер яндекса не догоняет и пишет что запрещено в роботсе. если есть сомнения то проверить можно тут https://webmaster.yandex.ru/tools/robotstxt/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий