AMP-версии страниц в выдаче Яндекса, игнорирование canonical

Alex Agent
На сайте с 07.04.2011
Offline
304
7074

Столкнулся со следующей ситуацией. На сайте включена поддержка Accelerated Mobile Pages (AMP), реализована через соответствующий плагин для CMS Wordpress.

После недавнего апдейта обнаружил, что в выдаче по целому ряду вопросов в Яндексе висят вместо основных страниц - их AMP-версии, причем с десктопа.

Понятное дело, что технология AMP Яндексом не поддерживается, однако в теге <link rel="canonical" href="***"> прописан адрес основной страницы, и этот тег Яша официально поддерживает с 2011 года (https://yandex.ru/blog/webmaster/10371).

Вопрос: какое решение будет оптимально для борьбы с Яшей в таком случае, чтобы в выдаче были основные версии страниц? Пока думаю в сторону запрета индексации AMP-версий на уровне robots.txt для User-agent Yandex:

User-agent: Yandex

Disallow: */amp

Всему свое время. Все сами принесут и все сделают. Быстрый и выгодный перевод денег Россия ↔ Украина онлайн (http://smartwm.ru/referral/cea1f09842be).
Alex Agent
На сайте с 07.04.2011
Offline
304
#1

Получил ответ от Платонов:

Робот считает ссылку с атрибутом rel="canonical" не строгой директивой, а предлагаемым вариантом, который может не учитываться. Если Вы хотите, чтобы наш робот не посещал такие страницы, Вы можете запретить их индексирование при помощи мета-тега noindex (https://yandex.ru/support/webmaster/controlling-robot/html.xml#meta ), либо в файле robots.txt специально для User-Agent: Yandex. Например, директивой:
Disallow: /*AMP
В таком случае робот будет знать, что индексировать такие страницы не нужно и не будет их посещать. Обратите внимание, что в таком случае все остальные указания также необходимо добавлять специально для User-Agent: Yandex, поскольку общие указания в таком случае будут им игнорироваться. Подробнее о файле robots.txt Вы можете прочитать на странице нашей Помощи: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml . Рекомендую Вам также воспользоваться инструментом проверки файла robots.txt: http://webmaster.yandex.ru/robots.xml . Непосредственно в инструменте Вы можете корректировать указания и проверять, запрещены или разрешены необходимые Вам страницы к индексированию.

Короче, rel="canonical" - атрибут для робота не обязательный, и пока Яндекс не научится поддерживать AMP, нужно делать запрет индексации на уровне robots.txt, как я и предположил сначала.

Вопрос можно считать закрытым.

bruder
На сайте с 03.02.2015
Offline
199
#2

Яша даже дубли товаров в ИМ индексирует, которые с canonical, естественно. Правда лишь около 1%.

Глянул точную цифру: 1.8%. На эти дубли ссылки имеются.

Alex Agent
На сайте с 07.04.2011
Offline
304
#3

Прошла пара апов, Яша проглотил новый robots.txt, но пока просто выбросил сайт по этим запросам из индекса. Чистого эксперимента не получится, так как до кучи прилетели санкции за манипуляции с мобильным трафиком (спасибо Тизернету за скрытые опции).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий