Страница проиндексирована, но ее нет в файле Sitemap

12
T
На сайте с 04.07.2013
Offline
92
5985

Подскажите пжлст - как это исправить? Например, такой статус у этой ссылки. В Search Console в разделе Файл индекса Sitemap ошибки отсутствуют, но есть предупреждения двух типов:

  • Время ответа для некоторых URL в файле Sitemap слишком велико. Это может свидетельствовать о проблеме с сервером или с содержанием страницы (14)
  • Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt (110)

В последнем случае в качестве примеров приведены ссылки на картинки в wp-content/themes/, как я понимаю так и должно быть. Тогда что не так?

S
На сайте с 30.09.2016
Offline
469
#1

Что надо-то? Если Вас интересует, должны ли быть ошибки, - то можно ответить, что ошибки надо по возможности исправлять.

Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.
T
На сайте с 04.07.2013
Offline
92
#2

Ошибки я привел на всякий случай, судя по примерам они не имеют отношения к моей проблеме. А проблема в том, что "страница проиндексирована, но её нет в файле Sitemap" - хотелось бы знать как это исправить. И как вообще возможно, что Google индексирует новую запись быстрее, чем сам сайт?

Lazy Badger
На сайте с 14.06.2017
Offline
228
#3

время ответа исправляется, сюрпрайз, уменьшением времени ответа страницы. Смотреть в нормальном браузере, где есть что-то типа "Webmaster tools" - "Network": какие элементы страницы тормозят, искать - почему

Со вторым путктом все еще проще - "или крестик снимите, или трусы наденьте": в Sitemap должны быть только открытые публично ресурсы. Ссылки в карте сайта должны вести только на страницы, которые доступны к индексации. И никаких "картинок", закрытых в robots

Производство жести методом непрерывного отжига
T
На сайте с 04.07.2013
Offline
92
#4

При чем здесь картинки? Вынужден повторить, что упомянул эти два предупреждения на всякий случай - а здесь и сейчас меня интересует почему НЕ ВСЕ записи (не картинки, а записи. т.е. публикации!) попадают в Sitemap (в результате чего их нет в выдаче поисковика). В настройках Yoast SEO по записям такие настройки:

  • Показать Записи в результатах поиска? - ДА
  • Дата в предпросмотре фрагмента - СКРЫТЬ
  • Блок Yoast SEO - ПОКАЗАТЬ

Те. все записи для индексации доступны - но почему-то не все они попадают в Sitemap.

---------- Добавлено 25.09.2018 в 17:12 ----------

Кстати у меня этот Sitemap в архиве (sitemap.xml.gz) и последний раз редактировался в 2014 году. Может его у меня попросту нет?

---------- Добавлено 25.09.2018 в 17:24 ----------

В Search Console вижу /page-sitemap.xml, /post-sitemap1.xml ..., /post-sitemap4.xml, но большая часть элементов из них проиндексирована - похоже дата архива от редактирования его содержимого не меняется. Нельзя ли как-нибудь в Search Console отфильтровать те элементы, которые не были проиндексированы? И потом проиндексировать их вручную?

S
На сайте с 30.09.2016
Offline
469
#5
t1gran:
меня интересует почему НЕ ВСЕ записи (не картинки, а записи. т.е. публикации!) попадают в Sitemap
...
Кстати у меня этот Sitemap в архиве (sitemap.xml.gz) и последний раз редактировался в 2014 году.

Самообслуживание? Сам спросил, сам ответил.

---------- Добавлено 25.09.2018 в 16:38 ----------

t1gran:
В Search Console вижу /page-sitemap.xml, /post-sitemap1.xml ..., /post-sitemap4.xml
Похоже, Вам надо разобраться с тем, что Вы отдаёте поисковикам.
T
На сайте с 04.07.2013
Offline
92
#6

Это не ответ, а факт, который не имеет отношения к проблеме - ниже показал, что файлы sitemap внутри архива все-таки редактируются.

---------- Добавлено 25.09.2018 в 17:42 ----------

Sitealert:
Похоже, Вам надо разобраться с тем, что Вы отдаёте поисковикам.

В настройках Yoast SEO я отдаю поисковикам ВСЕ записи - но почему-то НЕКОТОРЫЕ из них не попадают в Sitemap - и поэтому не попадают в выдачу поисковика.

S
На сайте с 30.09.2016
Offline
469
#7
t1gran:
Это не ответ, а факт, который не имеет отношения к проблеме - ниже показал, что файлы sitemap внутри архива все-таки редактируются.

Это только Вы так думаете. Поисковик может иметь своё мнение. 😂

В вашем роботсе 2 строки

Sitemap: http://gadgets-news.ru/sitemap.xml.gz

Sitemap: http://gadgets-news.ru/sitemap.xml

В архивном файле sitemap.xml.gz - только старьё. В файле sitemap.xml - новая информация. И я не знаю, что по этому поводу думает робот. Как минимум, Вам надо удалить первую строку.

T
На сайте с 04.07.2013
Offline
92
#8

С чего вы взяли, что старье - разве Sitemap не может быть разбит на части и храниться в архиве? В robots.txt логичнее как раз удалить вторую строчку - в ней ссылка на стандартный, неразбитый на части и неархивированный Sitemap, которого у меня нет. А следуя вашему совету я уберу ссылку на единственный Sitemap, который у меня имеется.

S
На сайте с 30.09.2016
Offline
469
#9
t1gran:
С чего вы взяли

С того, что я посмотрел эти файлы.

---------- Добавлено 25.09.2018 в 17:08 ----------

t1gran:
В robots.txt логичнее как раз удалить вторую строчку - в ней ссылка на стандартный, неразбитый на части и неархивированный Sitemap, которого у меня нет. А следуя вашему совету я уберу ссылку на единственный Sitemap, который у меня имеется.
Кончайте уже ахинею нести.
T
На сайте с 04.07.2013
Offline
92
#10

В таком случае куда подевался /sitemap.xml ? Почему, если он вдруг взял и исчез, у меня нет никаких явных ошибок в этом разделе в Search Console? Почему благополучно попадают в выдачу другие новые записи?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий