Яндекс.Вебмастер

Если адрес сайта напишите, может появится возможность что-то вам сказать.

Как решит загадку!?

Неделю назад добавили страницы с брендами в интернет-магазин. С тех пор Яндекс чудачит.

Многие страницы ИМ признаются дублями одной из страниц с брендом. Хотя контент абсолютно разный. rel canonical у всех страниц разный и уникальный. ситуация такая. Яндекс признает дублем страницу, отправляю ее на переобход, она появляется в поиске на 2 дня, потом она снова признается дублем, но уже другой страницы.

Из-за чего может быть такое поведение Яндекса.

P.S. Гугл не чудачит.

Знакомо. Как выглядит в кэше страница, на которую клеятся дубли?

При благоприятном раскладе - что-то отвалилось во время краулинга, бот от всех страниц / части страниц получал какую-то заглушку с ответом 200 и без noindex в мете или икс-роботс-тэге.

При неблагоприятном (сценарий как у нас) - беда на стороне Яндекса. У нас был месяц разъяренных переписок. С цирком и тихим ужасом. Даже когда мы 301 попытались выкинуть из индекса страницу, к которой клеились другие (якобы дубли), она еще в течение 2 недель (!!!) откручивалась в выдаче. Без шуток.

А вот несколько дней назад страница, что сейчас признана основной, сама была признана дублем!

В выдаче Яндекса тоже не понятный сниппет.

Amari, а вы уверены что каноническая страница указана только с помощью rel="canonical"

очень часто в шаблонах ещё зашивают разметку og:url

P.S. достаточно часто страницы почти не отличаются, т.е. % изменений очень мал

Ответ прост - https://yandex.ru/blog/platon/dubli-kak-ikh-izbezhat-voprosy-i-otvety

og:url есть на некоторых страницах. Но, урл в них идентичен урлу в rel canonical. Т.е. ссылка на верную страницу.

Простой ответ, не так прост.

Дело в том, что, если страница признана дублем, то ее по определению нет в поиске. Яндекс ее тут же выкидывает.

А предугадать, какие страницы будут признаны дублями - не реально. Я не понимаю логики, которой руководствуются роботы, признавая абсолютно разные страницы дублями на моем сайте.

Например, несколько дней назад, страница, которая сама была дублем, сейчас определяется, как основная! Также были примеры, когда страница признается дублем одной страницы, отправляю ее на переобход, она появляется в поиске, через пару дней - она уже стала дублем абсолютно другой страницы.

Проверив кэш страниц, которые в поиске все же присутствуют и те, что признаются исходными для дублей, заметила, что некоторые из них имеют кэш IP был заблокирован после 2 неудачных попыток авторизации. Но, сайт работал исправно, все это время.

503 ответ попробую настроить, но вроде сайт всегда был доступен. Хостинг и сервер хорошо работают.

Что тут не понятного - ваш сервер блокирует айпишник Яндекса и выдаёт ему одинаковый текст на белом фоне, что Яндекс расценивает как дублирование и оставляет в выдаче только одну страницу. Надо разбираться, чем вашему серверу не угодил робот Яндекса. Может, он слишком яростно сайт сканирует, тогда надо в вебмастере уменьшить скорость сканирования (увеличить величину задержки).

Огромное спасибо. Про то, что сервер может невлюбить Яндекс я и не подумала.