Страницы выпадают из индекса Google, из-за закрытия в robots.txt, хотя они там открыты

12
K
На сайте с 30.09.2019
Offline
4
#11
imasiter:
Исправьте
Disallow: *?q=
на
Disallow: /*?q=

Подскажите, зачем?

---------- Добавлено 20.12.2019 в 11:08 ----------

KianoT:
kofanevgeniy, вам нужно прочитать информацию по языковым настройками сайта: https://support.google.com/webmasters/answer/6144055?hl=ru# и правильно настроить мета-теги, которые будут указывать ботам какие языковые версии нужно сканировать + rel="canonical"

Потом отправляйте на повторное сканирование.

Не пойму, а что у нас не правильно сделано? Вроде мета тег версии языка стоит

---------- Добавлено 20.12.2019 в 11:09 ----------

KianoT:
Diversant, да, вижу. В любом случае там бота надо направлять на нужную языковую версию, иначе так и будет сканить en.

Если не нужен англоязычный раздел, то полностью закрывать директивой в robots.txt, убрав слэш в конце Disallow: /en - закрывает весь раздел + мета-теги чтобы в индекс не попадали.

И ещё стоит sitemap.xml сделать нормальным, сейчас там он разбит и не все страницы указаны https://lestate.ru/sitemap.xml

А раздел EN же закрыт в robots.

По сайтмап, подскажите? Сейчас есть две карты сайта, внутри каждой есть еще ссылки на другие.

Одна - статичная. Вторая - генерируется каждый день.

KianoT
На сайте с 04.04.2012
Offline
95
#12
kofanevgeniy:


Не пойму, а что у нас не правильно сделано? Вроде мета тег версии языка стоит

Для поискового бота не достаточно указать lang="ru", если на домене, физически, есть раздел с другой языковой версией сайта, на которую есть прямые ссылки и который можно открыть в браузере, например https://lestate.ru/en/catalog/odezhda/. Вам нужно использовать дополнительный мета теги с атрибутами rel=alternate и hreflang - https://support.google.com/webmasters/answer/6144055

В таком случае думаю Google сможет переиндексировать как вам нужно и url в robots.txt больше не попадут в список ошибок, как на ваших скринах

---------- Добавлено 27.12.2019 в 12:23 ----------

kofanevgeniy:
Подскажите, зачем?
По сайтмап, подскажите? Сейчас есть две карты сайта, внутри каждой есть еще ссылки на другие.
Одна - статичная. Вторая - генерируется каждый день.

У вас они не полные, не заметил ссылок на внутренние разделы сайта с продукцией и смотрите на наличие ошибок в консоли вебмастера

В битрикс вроде должны быть плагины с генерацией карты, когда появляются новые страницы на сайте

---------- Добавлено 27.12.2019 в 12:24 ----------

kofanevgeniy:
Подскажите, зачем?

Так по фен шую)) указывает категорию

Vladimir SEO
На сайте с 19.10.2011
Offline
1957
#13

Зачем вообще английская версия сайта если она закрыта в роботсе, удалите ее

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
KianoT
На сайте с 04.04.2012
Offline
95
#14

xVOVAx, так да, тоже так считаю

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий