Яндекс на Wordpress индексирует страницы со знакомо вопроса

123
Виктор Петров
На сайте с 05.01.2020
Offline
240
#11
Vladimir #:
Сайт должен отдавать только страницы которые есть на сайте
Все остальное это костыли, которые вы прикручиваете все больше и больше.

А лишние редиректы - не костыли?
Надо искать причину проблемы и её устранять, точно понимая - почему, что и зачем. Вот просто на все урлы с параметрами взять и повесить редиректы - так себе идейка.

A
На сайте с 26.05.2021
Offline
73
#12

Пользуюсь плагином уже 2 года: No External LInks. Любую страницу, картинку, сылку, можно открыть и закрыть от индекса.  В роботе файле через СЕО плагины оставляем открытые для индекса - статьи, страницы, по необходимости картинки, категории и метки. В карте сайта также все по желанию добавляем в карту сайта - картинки, статьи, страницы, метки. 


пример роботса текста

User-agent: Yandex
Disallow: /wp-json/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: /*/trackback/
Disallow: /*/feed/
Disallow: /*/comments/
Disallow: /*/comment/
Allow: /category/
Allow: /tag/
Disallow: /*/attachment/*
Disallow: /author/
Disallow: /*/print/
Disallow: /*?print=*
Allow: /wp-content/uploads/
Host: сайт.ru

User-agent: Googlebot
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: /*/trackback/
Disallow: /*/feed/
Disallow: /*/comments/
Disallow: /*/comment/
Allow: /tag/
Disallow: /*/attachment/*
Disallow: /author/
Allow: /category/
Disallow: /*/print/
Disallow: /*?print=*
Allow: /wp-content/uploads/

User-agent: Mail.Ru
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: /*/trackback/
Disallow: /*/feed/
Disallow: /*/comments/
Disallow: /*/comment/
Allow: /tag/
Disallow: /*/attachment/*
Disallow: /author/
Disallow: /*/print/
Disallow: /*?print=*
Allow: /wp-content/uploads/

Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: /*/trackback/
Disallow: /*/feed/
Disallow: /*/comments/
Disallow: /*/comment/
Allow: /tag/
Disallow: /*/attachment/*
Disallow: /author/
Allow: /category/
Disallow: /*/print/
Disallow: /*?print=*
Allow: /wp-content/uploads/

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Sitemap: https://сайт/sitemap.xml
Виктор Петров
На сайте с 05.01.2020
Offline
240
#13
Ankudos #:
пример роботса текста

Это очень кривой роботс.
Все настройки индексации можно сделать в любом SEO-плагине - в целом и постранично. Взять хоть Rank Math. Но роботс - это про сканирование, не про индексацию.
К слову, вы проверяли, как рендерятся ваши странички вообще - и адаптив в частности? Вангую, очень криво.

Mik Foxi
На сайте с 02.03.2011
Offline
1130
#14
alaev #:

А зачем нам ?utm_source и ?clid  ???

действительно, напридумывают эти яндексы всяких меток и подставляют втихоря. резать все на корню!

Универсальный антибот, антиспам, веб файрвол, защита от накрутки поведенческих № 1 в рунете: https://antibot.cloud/
genjnat
На сайте с 08.10.2008
Offline
230
#15
Vladimir #:
Вы до сих пор верите в каконикал?

Я ничему не верю, кроме того что вижу. А вижу, гугл каноникал вполне себе учитывает. Яндекс 50/50, но если в каноникал тоже  генерится кривой урл - то ваш совен = редирект на неканонические страницы...

Выше уже написали, нужно исправлять проблему, а не следствия. Типа редиректами или запретом в роботе. Внутренний ссылочный, вроде еще не отменили. А он будет на запрещенных страницах. Тоже с внешним, с ПФ...

A
На сайте с 26.05.2021
Offline
73
#16
Виктор Петров #:

Это очень кривой роботс.
Все настройки индексации можно сделать в любом SEO-плагине - в целом и постранично. Взять хоть Rank Math. Но роботс - это про сканирование, не про индексацию.
К слову, вы проверяли, как рендерятся ваши странички вообще - и адаптив в частности? Вангую, очень криво.

2й год им пользуюсь, страницы в поисковике яндекса уже минут через 10, робот не ругается, в индексе все, что нужно. Страницы, записи, категории метки открыл, когда их количество на статью привесило более 10 на метку. Все отлично! Ничего кривого нет. Ну может для майла - он мне особо и нет нужен. Гугл и Яндекс нормально индексируют. Дублей нет!

Хлам весь закрытый, важное открыто. Отдельные ссылки или картинки и страницы через плагин закрываю. При необходимости на время или постоянно.

Виктор Петров
На сайте с 05.01.2020
Offline
240
#17
Ankudos #:
2й год им пользуюсь, страницы в поисковике яндекса уже минут через 10, робот не ругается, в индексе все, что нужно. Страницы, записи, категории метки открыл, когда их количество на статью привесило более 10 на метку. Все отлично! ничего кривого нт. Ну может для майла - он мне особо и не нужен. Гугл и Яндекс нормлаьно индексируют. Дублей нет!

Понятно, что в индекс попадает, в конце концов, парсится в первую очередь текстовый контент.
А вы проверяли, что у вас там с мобилопригодностью? Наличием мусора в индексе? Контентными дублями? Полным объёмом того, что должно влиять на текстовую релевантность?
Вы можете терять в ранжировании и не понимать, в чём причина. А она вполне может состоять в ошибках сканирования и по итогам - ранжирования.
Разумеется, это не 100% правило для любого сайта, многое определяет и шаблон. Но как вебмастер и оптимизатор вы должны исключить любые негативные факторы и убедиться, что проблем они не составляют и не составят на перспективу.
Allow хотя бы соберите в единый блок и разместите после Disallow, чтобы директивы не отменялись. Кроме того, лишние пустые блоки - это обрыв в списке директив, и считывается роботом как новый блок для неуказанного бота.
Да и Host уже стоит снести, его Яндекс больше не учитывает.

Vladimir
На сайте с 07.06.2004
Offline
562
#18
Виктор Петров #:

А лишние редиректы - не костыли?
Надо искать причину проблемы и её устранять, точно понимая - почему, что и зачем. Вот просто на все урлы с параметрами взять и повесить редиректы - так себе идейка.

Ну какие проблемы все урлы с параметрами отдавайте кушать Яндексу
Он с удовольствием кушает особенно такие ?utm_source, ставя их в индекс, а на следующий день удаляет - ой извините запрещено в роботс.
Но основная страница, уже выкинута из индекса.  ( Каконикал - год назад Яндекс отказался от использования - пора знать уже )

- Какие причины и что искать? В  WP  их нет  во внутреннем  ссылочном,  их нет в карте сайта. ( можете запросить у ТС ).
Где искать? В кривом Яндексе, и писать им письма, чтобы исправили....

Причины в основном внешний спам, который Яндекс жрет все подряд, в том числе и ?utm_source.
-  авито создает ссылочный спам, вы тоже внутри будете искать? Или вы первый раз об этом слышите?
- /?option=com_k2&view=itemlist&... спамщики поиск дыр в джумле, тоже внутри сайта?
- /?url=site.com -   спам ссылочного, это тоже внутри сайта ищете?

Таких вариантов спама сотни на одну страницу сайта.
- Кому нравиться продолжаем пользоваться каноникал и роботс. Слово дубли страниц не для вас.
А темы плохая индексация сайта, вам как раз туда.

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
A
На сайте с 26.05.2021
Offline
73
#19
Виктор Петров #:

Понятно, что в индекс попадает, в конце концов, парсится в первую очередь текстовый контент.
А вы проверяли, что у вас там с мобилопригодностью? Наличием мусора в индексе? Контентными дублями? Полным объёмом того, что должно влиять на текстовую релевантность?
Вы можете терять в ранжировании и не понимать, в чём причина. А она вполне может состоять в ошибках сканирования и по итогам - ранжирования.
Разумеется, это не 100% правило для любого сайта, многое определяет и шаблон. Но как вебмастер и оптимизатор вы должны исключить любые негативные факторы и убедиться, что проблем они не составляют и не составят на перспективу.
Allow хотя бы соберите в единый блок и разместите после Disallow, чтобы директивы не отменялись. Кроме того, лишние пустые блоки - это обрыв в списке директив, и считывается роботом как новый блок для неуказанного бота.
Да и Host уже стоит снести, его Яндекс больше не учитывает.

Все норм и по мобильным и ПК. Дублей нет, нет картинок дублей текстовых страниц. все работает так, как мне нужно. В поиске гугл и яндекс только страницы, записи, категории и метки. Остальное закрыл. Ну картинки еще в поиске. Дублей нет ни каких! Никаких ошибок нет ни в яндексе ни в гугле.

3 сайта на разных шаблонах, все стабильно работает. Для меня норм такой вариант, ничего менять не хотел и не буду. 

png opera_nja72i_2022-03-31_160625_yandex.ru.png
Виктор Петров
На сайте с 05.01.2020
Offline
240
#20
Vladimir #:
Ну какие проблемы все урлы с параметрами отдавайте кушать Яндексу

Для управления сканированием есть robots.txt.

Vladimir #:
Он с удовольствием кушает особенно такие ?utm_source, ставя их в индекс, а на следующий день удаляет - ой извините запрещено в роботс.

Сорян, не сталкивался. Но мне интересно, а рекламные кампании вы как отслеживаете? В рамках адвайты? И почему основная страница УЖЕ выкинута из индекса? Настолько всё плохо?

Vladimir #:
Какие причины и что искать? В  WP  их нет  во внутреннем  ссылочном,  их нет в карте сайта. ( можете запросить у ТС ).

Ну вот у меня другая информация. WP залили кривой ап. Половина плагинов работает через Жэ. 3Жэ.
Но лечить поциэнта методом "резать к чёртовой матери" я бы поостерегся. В нормальном случае сначала смотрят, диагностируют, а потом дают советы.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий