imasiter: Исправьте
Disallow: *?q=
на
Disallow: /*?q=
Подскажите, зачем?
---------- Добавлено 20.12.2019 в 11:08 ----------
KianoT: kofanevgeniy, вам нужно прочитать информацию по языковым настройками сайта: https://support.google.com/webmasters/answer/6144055?hl=ru# и правильно настроить мета-теги, которые будут указывать ботам какие языковые версии нужно сканировать + rel="canonical"
Потом отправляйте на повторное сканирование.
Не пойму, а что у нас не правильно сделано? Вроде мета тег версии языка стоит
---------- Добавлено 20.12.2019 в 11:09 ----------
KianoT: Diversant, да, вижу. В любом случае там бота надо направлять на нужную языковую версию, иначе так и будет сканить en.
Если не нужен англоязычный раздел, то полностью закрывать директивой в robots.txt, убрав слэш в конце Disallow: /en - закрывает весь раздел + мета-теги чтобы в индекс не попадали.
И ещё стоит sitemap.xml сделать нормальным, сейчас там он разбит и не все страницы указаны https://lestate.ru/sitemap.xml
А раздел EN же закрыт в robots.
По сайтмап, подскажите? Сейчас есть две карты сайта, внутри каждой есть еще ссылки на другие.
Одна - статичная. Вторая - генерируется каждый день.
Diversant: Ну каноникал там не причем, возможно раньше и были дубли открыты с одинаковым содержимым. (такой вывод был сделан потому, что проиндексирована была страницу с "en" и показывалось содержимое, потом возможно их закрыли в роботсе и страницы стали выпадать еще быстрее)
Ничего общего и нету просто когда проверяешь микроразметку например тут - гугл игнорирует роботс.тхт.
А вот если проверяешь например мобайл френдли тут - он учитывает файл роботс.тхт и поэтому скажет что страницы запрещена к индексированию.
Сопоставляя два теста и видя куда идет гугл бот - делаем вывод, бот ломится на версию страницы с "en" которые закрыты к индексации.
Diversant: Потому что он канонической версией выбирает, английскую версию, которая закрыта от роботов.
Соответственно и выкидывает.
Когда гуглбот приходит, его перекидывает на английскую версию каталога.
Фиксите.
Спасибо, за помощь, но я не совсем понимаю что общего между микроразметкой и каноникалом? К тому же каноникал не прописан на странице, например: https://lestate.ru/catalog/adidas/ которая тоже выпала из выдачи.
Привет всем! И все же не понятно как это реализовать, через турбо страницы или через быстрые ссылки или может микроразметку, кто сталкивался с этим и удачно внедрил, подскажите плиз. ОЧЕНЬ НУЖНО.
Приведите пример урла, который запрещен.
Вы спрашиваете одно и тоже. Я все скрины приложил в начале поста.
Вот пример УРЛ который якобы запрещен к индексации - https://gyazo.com/c44796c367344457df642500c352392d
И что в итоге не так?
10000 страниц запрещены к индексации в robots, но никакого запрета на эти страницы нет.
Это почти половина всех страниц сайта.
Вы пишете он выпал. Поясните что имеете ввиду.
А я скрины прикрепил. Из 75000 страниц, только 10000 индексируются. 50000 - закрыты тегом noindex (это норм) и еще 10000 якобы запрещены в robots.
Результатов: примерно 10 900
поясните? не понял
Исправьте
Disallow: *?q=
на
Disallow: /*?q=
Подскажите, зачем?
---------- Добавлено 20.12.2019 в 11:08 ----------
kofanevgeniy, вам нужно прочитать информацию по языковым настройками сайта: https://support.google.com/webmasters/answer/6144055?hl=ru# и правильно настроить мета-теги, которые будут указывать ботам какие языковые версии нужно сканировать + rel="canonical"
Потом отправляйте на повторное сканирование.
Не пойму, а что у нас не правильно сделано? Вроде мета тег версии языка стоит
---------- Добавлено 20.12.2019 в 11:09 ----------
Diversant, да, вижу. В любом случае там бота надо направлять на нужную языковую версию, иначе так и будет сканить en.
Если не нужен англоязычный раздел, то полностью закрывать директивой в robots.txt, убрав слэш в конце Disallow: /en - закрывает весь раздел + мета-теги чтобы в индекс не попадали.
И ещё стоит sitemap.xml сделать нормальным, сейчас там он разбит и не все страницы указаны https://lestate.ru/sitemap.xml
А раздел EN же закрыт в robots.
По сайтмап, подскажите? Сейчас есть две карты сайта, внутри каждой есть еще ссылки на другие.
Одна - статичная. Вторая - генерируется каждый день.
Здравствуйте снова, возможно я спешу, но не понимаю почему такая разница в индексе двух поисковиков
https://gyazo.com/4e47fac4d562864c7994e2f12d401e59
Изменили robots.txt , теперь выглядит так:
User-Agent: *
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Sitemap: https://lestate.ru/sitemap.xml
Sitemap: https://lestate.ru/sitemap_catalog.xml
User-Agent: Yandex
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
User-Agent: Googlebot
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
но сдвигов нет по гуглу и в яндексе страниц раз в пять больше, хотя пауком просканили и вот что получили.
https://prnt.sc/qd1cyw
Проверил страницы, которые выпали из выдачи гугла и в итоге, они открыты для индексации.
https://prnt.sc/qd1e30
МОЖЕТ Я СПЕШУ И ГУГЛУ ПРОСТО НУЖНО ВРЕМЯ ДЛЯ ПЕРЕИНДЕКСАЦИИ? )
Ну каноникал там не причем, возможно раньше и были дубли открыты с одинаковым содержимым. (такой вывод был сделан потому, что проиндексирована была страницу с "en" и показывалось содержимое, потом возможно их закрыли в роботсе и страницы стали выпадать еще быстрее)
Ничего общего и нету просто когда проверяешь микроразметку например тут - гугл игнорирует роботс.тхт.
А вот если проверяешь например мобайл френдли тут - он учитывает файл роботс.тхт и поэтому скажет что страницы запрещена к индексированию.
Сопоставляя два теста и видя куда идет гугл бот - делаем вывод, бот ломится на версию страницы с "en" которые закрыты к индексации.
Спасибо огромное за помощь.
Потому что он канонической версией выбирает, английскую версию, которая закрыта от роботов.
Соответственно и выкидывает.
Когда гуглбот приходит, его перекидывает на английскую версию каталога.
Фиксите.
Спасибо, за помощь, но я не совсем понимаю что общего между микроразметкой и каноникалом? К тому же каноникал не прописан на странице, например: https://lestate.ru/catalog/adidas/ которая тоже выпала из выдачи.
Подскажите что это такое и как его сделать для своего сайта?
https://yadi.sk/i/xCQXLVyaIaeuSg
Привет всем! И все же не понятно как это реализовать, через турбо страницы или через быстрые ссылки или может микроразметку, кто сталкивался с этим и удачно внедрил, подскажите плиз. ОЧЕНЬ НУЖНО.