- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет всем, очень нужна помощь, непонятно по какой причине начали выпадать из индекса страницы, которые не закрыты в robots.txt.
Последний раз серьезно правили robots в маю. последняя правка было добавление строки Disallow: *?q= и все.
Может кто сталкивался с таким косяком?
Скрины из GSC
https://prnt.sc/qbj0a5
https://prnt.sc/qbj0pl
https://prnt.sc/qbj2tz
Вот robots.txt на данный момент
User-Agent: *
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Disallow: /en/catalog/
Disallow: /en/news/
Disallow: /en/stocks/
Disallow: /en/information/brands/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Sitemap: https://lestate.ru/sitemap.xml
Sitemap: https://lestate.ru/sitemap_catalog.xml
User-Agent: Yandex
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Disallow: /en/catalog/
Disallow: /en/news/
Disallow: /en/stocks/
Disallow: /en/information/brands/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Clean-param: utm_source&utm_medium&utm_term&utm_content&utm_campaign&yclid&gclid&_openstat&from /
User-Agent: Googlebot
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Disallow: /en/catalog/
Disallow: /en/news/
Disallow: /en/stocks/
Disallow: /en/information/brands/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Исправьте
Disallow: *?q=
на
Disallow: /*?q=
Потому что он перенаправляется на английскую версию, которая закрыта от роботов.
Соответственно и выкидывает.
Когда гуглбот приходит, его перекидывает на английскую версию каталога.
Фиксите.
Потому что он канонической версией выбирает, английскую версию, которая закрыта от роботов.
Соответственно и выкидывает.
Когда гуглбот приходит, его перекидывает на английскую версию каталога.
Фиксите.
Спасибо, за помощь, но я не совсем понимаю что общего между микроразметкой и каноникалом? К тому же каноникал не прописан на странице, например: https://lestate.ru/catalog/adidas/ которая тоже выпала из выдачи.
Спасибо, за помощь, но я не совсем понимаю что общего между микроразметкой и каноникалом? К тому же каноникал не прописан на странице, например: https://lestate.ru/catalog/adidas/ которая тоже выпала из выдачи.
Ну каноникал там не причем, возможно раньше и были дубли открыты с одинаковым содержимым. (такой вывод был сделан потому, что проиндексирована была страницу с "en" и показывалось содержимое, потом возможно их закрыли в роботсе и страницы стали выпадать еще быстрее)
Ничего общего и нету просто когда проверяешь микроразметку например тут - гугл игнорирует роботс.тхт.
А вот если проверяешь например мобайл френдли тут - он учитывает файл роботс.тхт и поэтому скажет что страницы запрещена к индексированию.
Сопоставляя два теста и видя куда идет гугл бот - делаем вывод, бот ломится на версию страницы с "en" которые закрыты к индексации.
Ну каноникал там не причем, возможно раньше и были дубли открыты с одинаковым содержимым. (такой вывод был сделан потому, что проиндексирована была страницу с "en" и показывалось содержимое, потом возможно их закрыли в роботсе и страницы стали выпадать еще быстрее)
Ничего общего и нету просто когда проверяешь микроразметку например тут - гугл игнорирует роботс.тхт.
А вот если проверяешь например мобайл френдли тут - он учитывает файл роботс.тхт и поэтому скажет что страницы запрещена к индексированию.
Сопоставляя два теста и видя куда идет гугл бот - делаем вывод, бот ломится на версию страницы с "en" которые закрыты к индексации.
Спасибо огромное за помощь.
kofanevgeniy, вам нужно прочитать информацию по языковым настройками сайта: https://support.google.com/webmasters/answer/6144055?hl=ru# и правильно настроить мета-теги, которые будут указывать ботам какие языковые версии нужно сканировать + rel="canonical"
Потом отправляйте на повторное сканирование.
kofanevgeniy, вам нужно прочитать информацию по языковым настройками сайта: https://support.google.com/webmasters/answer/6144055?hl=ru# и правильно настроить мета-теги, которые будут указывать ботам какие языковые версии нужно сканировать + rel="canonical"
Потом отправляйте на повторное сканирование.
Так у него нету языковых версий, создали новые урлы но без перевода
Diversant, да, вижу. В любом случае там бота надо направлять на нужную языковую версию, иначе так и будет сканить en.
Если не нужен англоязычный раздел, то полностью закрывать директивой в robots.txt, убрав слэш в конце Disallow: /en - закрывает весь раздел + мета-теги чтобы в индекс не попадали.
И ещё стоит sitemap.xml сделать нормальным, сейчас там он разбит и не все страницы указаны https://lestate.ru/sitemap.xml
Здравствуйте снова, возможно я спешу, но не понимаю почему такая разница в индексе двух поисковиков
https://gyazo.com/4e47fac4d562864c7994e2f12d401e59
Изменили robots.txt , теперь выглядит так:
User-Agent: *
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Sitemap: https://lestate.ru/sitemap.xml
Sitemap: https://lestate.ru/sitemap_catalog.xml
User-Agent: Yandex
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
User-Agent: Googlebot
Disallow: */index.php
Disallow: /ajax/
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: *?q=
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
но сдвигов нет по гуглу и в яндексе страниц раз в пять больше, хотя пауком просканили и вот что получили.
https://prnt.sc/qd1cyw
Проверил страницы, которые выпали из выдачи гугла и в итоге, они открыты для индексации.
https://prnt.sc/qd1e30
МОЖЕТ Я СПЕШУ И ГУГЛУ ПРОСТО НУЖНО ВРЕМЯ ДЛЯ ПЕРЕИНДЕКСАЦИИ? )
Гугл в последнее время очень хреново индексирует страницы, особенно новые. Буквально в начале этой недели на новом сайте проиндексировал все страницы +2250 страниц, потом выкинул из выдачи, сейчас 92 страницы. Думаю надо подождать. Вернет обратно 100%