индексация sitemap

12
B
На сайте с 04.04.2014
Offline
106
866

Вопрос по sitemap.xml. Допустим я сделал карту сайта и добавил ее через панели вебмастеров в Яндекс и Гугл. Но меня немного смущает, что если просматривать проиндексированные страницы сайта в Гугле, то она там тоже присутствует. То есть Гугл показывает ее как страницу в выдаче. Это нормально? Можно ли ее закрыть от индексации, при этом оставив добавленной в панелях вебмастеров? Или тогда роботы не будут иметь к ней доступа?

Алексей Касьянов
На сайте с 18.07.2014
Offline
52
#1

А чем вас так пугает проиндексированная карта сайта?

Пишу тексты
B
На сайте с 04.04.2014
Offline
106
#2

Не пугает, а смущает просто. Страница без контента в поисковой выдаче это нормально?

Алексей Касьянов
На сайте с 18.07.2014
Offline
52
#3

Bjoerndalen, абсолютно нормально

посмотрите сайты из топа, все станет понятно.

Jaf4
На сайте с 03.08.2009
Offline
804
#4
Bjoerndalen:
Вопрос по sitemap.xml.
===============
То есть Гугл показывает ее как страницу в выдаче. Это нормально?

что-то новенькое..

а можете скрин или ссылку с запросом? Я, если честно, не верю в это.

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
B
На сайте с 04.04.2014
Offline
106
#5

Jaf4
На сайте с 03.08.2009
Offline
804
#6

на скрине указан файл sitemap1.xml, такое имя вполне может быть и встречается, когда карта разбита на несколько файлов, каждый из которых описан в основном.

Возник вопрос, а есть у этого сайта файл sitemap.xml? Что написано в роботс по поводу карты сайта?

B
На сайте с 04.04.2014
Offline
106
#7

Файла sitemap.xml нету, только sitemap1.xml. Карта сайта не разбита на несколько.

В роботс схема такая:

User-agent: Yandex

Disallow: ...

Disallow: ...

Disallow: ...

Host: сайт

Sitemap: httр://сайт/sitemap1.xml

User-agent: *

Disallow: ...

Disallow: ...

Disallow: ...

Значит ли это что карта сайта в роботс указана только для Яндекса? Хотя в принципе это не важно, т.к. и в Яндексе и в Гугле она добавлена в панели вебмастера.

богоносец
На сайте с 30.01.2007
Offline
756
#8
Jaf4:
Я, если честно, не верю в это.

www.google.ru/search?q=daily+inurl%3Asitemap.xml

и в ответе сервака Content-Type: application/xml

т.е. это именно XML

а не Content-Type: text/html в yandex.ru/support/webmaster/indexing-options/sitemap.xml

Jaf4:
Что написано в роботс по поводу карты сайта?

Когда-то давно написал

Disallow: /sitemap

google webmaster tools ругался на недоступность сайтмапа, эксперимент с запретом в роботсе на этом закончился.

Jaf4
На сайте с 03.08.2009
Offline
804
#9
Bjoerndalen:
Файла sitemap.xml нету, только sitemap1.xml. Карта сайта не разбита на несколько.
В роботс схема такая:

User-agent: Yandex
Disallow: ...
Disallow: ...
Disallow: ...
Host: сайт

Sitemap: httр://сайт/sitemap1.xml

User-agent: *
Disallow: ...
Disallow: ...
Disallow: ...

Значит ли это что карта сайта в роботс указана только для Яндекса? Хотя в принципе это не важно, т.к. и в Яндексе и в Гугле она добавлена в панели вебмастера.

да, роботс составлен неправильно

B
На сайте с 04.04.2014
Offline
106
#10

И как будет правильно составить роботс? Прописать карту сайта и после User-agent: Yandex и после User-agent: * ?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий