kofanevgeniy

Рейтинг
4
Регистрация
30.09.2019
-= Serafim =-:
Приведите пример урла, который запрещен.

Вы спрашиваете одно и тоже. Я все скрины приложил в начале поста.

Вот пример УРЛ который якобы запрещен к индексации - https://gyazo.com/c44796c367344457df642500c352392d

-= Serafim =-:
И что в итоге не так?

10000 страниц запрещены к индексации в robots, но никакого запрета на эти страницы нет.

Это почти половина всех страниц сайта.

-= Serafim =-:
Вы пишете он выпал. Поясните что имеете ввиду.

А я скрины прикрепил. Из 75000 страниц, только 10000 индексируются. 50000 - закрыты тегом noindex (это норм) и еще 10000 якобы запрещены в robots.

-= Serafim =-:
Результатов: примерно 10 900

поясните? не понял

imasiter:
Исправьте
Disallow: *?q=
на
Disallow: /*?q=

Подскажите, зачем?

---------- Добавлено 20.12.2019 в 11:08 ----------

KianoT:
kofanevgeniy, вам нужно прочитать информацию по языковым настройками сайта: https://support.google.com/webmasters/answer/6144055?hl=ru# и правильно настроить мета-теги, которые будут указывать ботам какие языковые версии нужно сканировать + rel="canonical"

Потом отправляйте на повторное сканирование.

Не пойму, а что у нас не правильно сделано? Вроде мета тег версии языка стоит

---------- Добавлено 20.12.2019 в 11:09 ----------

KianoT:
Diversant, да, вижу. В любом случае там бота надо направлять на нужную языковую версию, иначе так и будет сканить en.

Если не нужен англоязычный раздел, то полностью закрывать директивой в robots.txt, убрав слэш в конце Disallow: /en - закрывает весь раздел + мета-теги чтобы в индекс не попадали.

И ещё стоит sitemap.xml сделать нормальным, сейчас там он разбит и не все страницы указаны https://lestate.ru/sitemap.xml

А раздел EN же закрыт в robots.

По сайтмап, подскажите? Сейчас есть две карты сайта, внутри каждой есть еще ссылки на другие.

Одна - статичная. Вторая - генерируется каждый день.

Здравствуйте снова, возможно я спешу, но не понимаю почему такая разница в индексе двух поисковиков

https://gyazo.com/4e47fac4d562864c7994e2f12d401e59

Изменили robots.txt , теперь выглядит так:

User-Agent: *

Disallow: */index.php

Disallow: /ajax/

Disallow: /bitrix/

Disallow: /*show_include_exec_time=

Disallow: /*show_page_exec_time=

Disallow: /*show_sql_stat=

Disallow: /*bitrix_include_areas=

Disallow: /*clear_cache=

Disallow: /*clear_cache_session=

Disallow: /*ADD_TO_COMPARE_LIST

Disallow: /*ORDER_BY

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*print_course=

Disallow: /*?action=

Disallow: /*&action=

Disallow: /*register=

Disallow: /*forgot_password=

Disallow: /*change_password=

Disallow: /*login=

Disallow: /*logout=

Disallow: /*auth=

Disallow: /*backurl=

Disallow: /*back_url=

Disallow: /*BACKURL=

Disallow: /*BACK_URL=

Disallow: /*back_url_admin=

Disallow: /*?utm_source=

Disallow: /*?bxajaxid=

Disallow: /*&bxajaxid=

Disallow: /*?view_result=

Disallow: /*&view_result=

Disallow: *?q=

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

Sitemap: https://lestate.ru/sitemap.xml

Sitemap: https://lestate.ru/sitemap_catalog.xml

User-Agent: Yandex

Disallow: */index.php

Disallow: /ajax/

Disallow: /bitrix/

Disallow: /*show_include_exec_time=

Disallow: /*show_page_exec_time=

Disallow: /*show_sql_stat=

Disallow: /*bitrix_include_areas=

Disallow: /*clear_cache=

Disallow: /*clear_cache_session=

Disallow: /*ADD_TO_COMPARE_LIST

Disallow: /*ORDER_BY

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*print_course=

Disallow: /*?action=

Disallow: /*&action=

Disallow: /*register=

Disallow: /*forgot_password=

Disallow: /*change_password=

Disallow: /*login=

Disallow: /*logout=

Disallow: /*auth=

Disallow: /*backurl=

Disallow: /*back_url=

Disallow: /*BACKURL=

Disallow: /*BACK_URL=

Disallow: /*back_url_admin=

Disallow: /*?utm_source=

Disallow: /*?bxajaxid=

Disallow: /*&bxajaxid=

Disallow: /*?view_result=

Disallow: /*&view_result=

Disallow: *?q=

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

User-Agent: Googlebot

Disallow: */index.php

Disallow: /ajax/

Disallow: /bitrix/

Disallow: /*show_include_exec_time=

Disallow: /*show_page_exec_time=

Disallow: /*show_sql_stat=

Disallow: /*bitrix_include_areas=

Disallow: /*clear_cache=

Disallow: /*clear_cache_session=

Disallow: /*ADD_TO_COMPARE_LIST

Disallow: /*ORDER_BY

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*print_course=

Disallow: /*?action=

Disallow: /*&action=

Disallow: /*register=

Disallow: /*forgot_password=

Disallow: /*change_password=

Disallow: /*login=

Disallow: /*logout=

Disallow: /*auth=

Disallow: /*backurl=

Disallow: /*back_url=

Disallow: /*BACKURL=

Disallow: /*BACK_URL=

Disallow: /*back_url_admin=

Disallow: /*?utm_source=

Disallow: /*?bxajaxid=

Disallow: /*&bxajaxid=

Disallow: /*?view_result=

Disallow: /*&view_result=

Disallow: *?q=

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

но сдвигов нет по гуглу и в яндексе страниц раз в пять больше, хотя пауком просканили и вот что получили.

https://prnt.sc/qd1cyw

Проверил страницы, которые выпали из выдачи гугла и в итоге, они открыты для индексации.

https://prnt.sc/qd1e30

МОЖЕТ Я СПЕШУ И ГУГЛУ ПРОСТО НУЖНО ВРЕМЯ ДЛЯ ПЕРЕИНДЕКСАЦИИ? )

Diversant:
Ну каноникал там не причем, возможно раньше и были дубли открыты с одинаковым содержимым. (такой вывод был сделан потому, что проиндексирована была страницу с "en" и показывалось содержимое, потом возможно их закрыли в роботсе и страницы стали выпадать еще быстрее)

Ничего общего и нету просто когда проверяешь микроразметку например тут - гугл игнорирует роботс.тхт.

А вот если проверяешь например мобайл френдли тут - он учитывает файл роботс.тхт и поэтому скажет что страницы запрещена к индексированию.

Сопоставляя два теста и видя куда идет гугл бот - делаем вывод, бот ломится на версию страницы с "en" которые закрыты к индексации.

Спасибо огромное за помощь.

Diversant:
Потому что он канонической версией выбирает, английскую версию, которая закрыта от роботов.

Соответственно и выкидывает.

Когда гуглбот приходит, его перекидывает на английскую версию каталога.

Фиксите.

Спасибо, за помощь, но я не совсем понимаю что общего между микроразметкой и каноникалом? К тому же каноникал не прописан на странице, например: https://lestate.ru/catalog/adidas/ которая тоже выпала из выдачи.

smirnoff702:
Подскажите что это такое и как его сделать для своего сайта?
https://yadi.sk/i/xCQXLVyaIaeuSg

Привет всем! И все же не понятно как это реализовать, через турбо страницы или через быстрые ссылки или может микроразметку, кто сталкивался с этим и удачно внедрил, подскажите плиз. ОЧЕНЬ НУЖНО.