Страницы выпадают из индекса Google, из-за закрытия в robots.txt, хотя они там открыты

Исправьте

Disallow: *?q=

на

Disallow: /*?q=

Потому что он перенаправляется на английскую версию, которая закрыта от роботов.

Соответственно и выкидывает.

Когда гуглбот приходит, его перекидывает на английскую версию каталога.

Фиксите.

Diversant:
Потому что он канонической версией выбирает, английскую версию, которая закрыта от роботов.

Соответственно и выкидывает.

Когда гуглбот приходит, его перекидывает на английскую версию каталога.

Фиксите.

Спасибо, за помощь, но я не совсем понимаю что общего между микроразметкой и каноникалом? К тому же каноникал не прописан на странице, например: https://lestate.ru/catalog/adidas/ которая тоже выпала из выдачи.

Ну каноникал там не причем, возможно раньше и были дубли открыты с одинаковым содержимым. (такой вывод был сделан потому, что проиндексирована была страницу с "en" и показывалось содержимое, потом возможно их закрыли в роботсе и страницы стали выпадать еще быстрее)

Ничего общего и нету просто когда проверяешь микроразметку например тут - гугл игнорирует роботс.тхт.

А вот если проверяешь например мобайл френдли тут - он учитывает файл роботс.тхт и поэтому скажет что страницы запрещена к индексированию.

Сопоставляя два теста и видя куда идет гугл бот - делаем вывод, бот ломится на версию страницы с "en" которые закрыты к индексации.

Спасибо огромное за помощь.

kofanevgeniy, вам нужно прочитать информацию по языковым настройками сайта: https://support.google.com/webmasters/answer/6144055?hl=ru# и правильно настроить мета-теги, которые будут указывать ботам какие языковые версии нужно сканировать + rel="canonical"

Потом отправляйте на повторное сканирование.

Так у него нету языковых версий, создали новые урлы но без перевода

Diversant, да, вижу. В любом случае там бота надо направлять на нужную языковую версию, иначе так и будет сканить en.

Если не нужен англоязычный раздел, то полностью закрывать директивой в robots.txt, убрав слэш в конце Disallow: /en - закрывает весь раздел + мета-теги чтобы в индекс не попадали.

И ещё стоит sitemap.xml сделать нормальным, сейчас там он разбит и не все страницы указаны https://lestate.ru/sitemap.xml

Здравствуйте снова, возможно я спешу, но не понимаю почему такая разница в индексе двух поисковиков

https://gyazo.com/4e47fac4d562864c7994e2f12d401e59

Изменили robots.txt , теперь выглядит так:

User-Agent: *

Disallow: */index.php

Disallow: /ajax/

Disallow: /bitrix/

Disallow: /*show_include_exec_time=

Disallow: /*show_page_exec_time=

Disallow: /*show_sql_stat=

Disallow: /*bitrix_include_areas=

Disallow: /*clear_cache=

Disallow: /*clear_cache_session=

Disallow: /*ADD_TO_COMPARE_LIST

Disallow: /*ORDER_BY

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*print_course=

Disallow: /*?action=

Disallow: /*&action=

Disallow: /*register=

Disallow: /*forgot_password=

Disallow: /*change_password=

Disallow: /*login=

Disallow: /*logout=

Disallow: /*auth=

Disallow: /*backurl=

Disallow: /*back_url=

Disallow: /*BACKURL=

Disallow: /*BACK_URL=

Disallow: /*back_url_admin=

Disallow: /*?utm_source=

Disallow: /*?bxajaxid=

Disallow: /*&bxajaxid=

Disallow: /*?view_result=

Disallow: /*&view_result=

Disallow: *?q=

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

Sitemap: https://lestate.ru/sitemap.xml

Sitemap: https://lestate.ru/sitemap_catalog.xml

User-Agent: Yandex

Disallow: */index.php

Disallow: /ajax/

Disallow: /bitrix/

Disallow: /*show_include_exec_time=

Disallow: /*show_page_exec_time=

Disallow: /*show_sql_stat=

Disallow: /*bitrix_include_areas=

Disallow: /*clear_cache=

Disallow: /*clear_cache_session=

Disallow: /*ADD_TO_COMPARE_LIST

Disallow: /*ORDER_BY

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*print_course=

Disallow: /*?action=

Disallow: /*&action=

Disallow: /*register=

Disallow: /*forgot_password=

Disallow: /*change_password=

Disallow: /*login=

Disallow: /*logout=

Disallow: /*auth=

Disallow: /*backurl=

Disallow: /*back_url=

Disallow: /*BACKURL=

Disallow: /*BACK_URL=

Disallow: /*back_url_admin=

Disallow: /*?utm_source=

Disallow: /*?bxajaxid=

Disallow: /*&bxajaxid=

Disallow: /*?view_result=

Disallow: /*&view_result=

Disallow: *?q=

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

User-Agent: Googlebot

Disallow: */index.php

Disallow: /ajax/

Disallow: /bitrix/

Disallow: /*show_include_exec_time=

Disallow: /*show_page_exec_time=

Disallow: /*show_sql_stat=

Disallow: /*bitrix_include_areas=

Disallow: /*clear_cache=

Disallow: /*clear_cache_session=

Disallow: /*ADD_TO_COMPARE_LIST

Disallow: /*ORDER_BY

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*print_course=

Disallow: /*?action=

Disallow: /*&action=

Disallow: /*register=

Disallow: /*forgot_password=

Disallow: /*change_password=

Disallow: /*login=

Disallow: /*logout=

Disallow: /*auth=

Disallow: /*backurl=

Disallow: /*back_url=

Disallow: /*BACKURL=

Disallow: /*BACK_URL=

Disallow: /*back_url_admin=

Disallow: /*?utm_source=

Disallow: /*?bxajaxid=

Disallow: /*&bxajaxid=

Disallow: /*?view_result=

Disallow: /*&view_result=

Disallow: *?q=

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

но сдвигов нет по гуглу и в яндексе страниц раз в пять больше, хотя пауком просканили и вот что получили.

https://prnt.sc/qd1cyw

Проверил страницы, которые выпали из выдачи гугла и в итоге, они открыты для индексации.

https://prnt.sc/qd1e30

МОЖЕТ Я СПЕШУ И ГУГЛУ ПРОСТО НУЖНО ВРЕМЯ ДЛЯ ПЕРЕИНДЕКСАЦИИ? )

Гугл в последнее время очень хреново индексирует страницы, особенно новые. Буквально в начале этой недели на новом сайте проиндексировал все страницы +2250 страниц, потом выкинул из выдачи, сейчас 92 страницы. Думаю надо подождать. Вернет обратно 100%