Ну с такой же вероятностью вебмастер может сделать cms, где в качестве разметки будут всякие noindex использоваться. Отсутствовать тайтлы и прочие нужные теги. Да и видит же яндекс что дубли. Например попробуйте разные сайты хостом склеить? Наличие меток может быть лишь как один из признаков.
Прочитал: да, похоже яндекс сменил логику работы Clean-param: В прошлый раз когда читал страницу хелпа про Clean-param, там было написано другое.
Кстати проверил на одном сайте - Clean-param работает по старому алгоритму или просто не переиндексировалось еще.
Fruit, ну например конкретно наличие
utm_source=
utm_medium=
utm_campaign=
utm_term=
utm_content=
это стопроцентный признак дубля
Clean-param тут не совсем корректно сработает. Если яндекс с Clean-param utm_source первой увидит страницу
site.ru/page.php?utm_source=NL, то он примет ее за основную, а site.ru/page.php склеится с ней и она вылетит из выдачи.
Канонические - да, но придется их тогда указывать у каждой страницы сайтов.
Ладно смс, кучи сайтов даже админки в открытом доступе, нужно лишь по определенному адресу зайти. С яндекс-баром найти такие страницы теперь проще :)
А какие именно метатэги? В Sef Artio можно например на любую страницу задавать метатэги отдельно.
жесть
даже по запросу mortal kombat в топе
Ну с этим понятно. С морды этого сайта ссылка на БДБД. Представители 2БД скажут - враги отпарсили подобные ссылки на bdbd.ru, получили список клиентов и загнали их в юзератор. (Кстати, почему все еще не ринулись убирать ссылки на бдбд со своих сайтов?:) ) Вот если бы владелец сайта, который не размещал никаких упоминаний что он продвигается в бдбд, а сайт так же бы вылетел - это было бы поводом задуматься.
Версия БДБД кстати не такая мифическая. Знаю случай когда фирма на "завал" конкурентов выделяла столько бабла, что вполне хватило бы на то, чтобы усераторами крутить всех клиентов бдбд, демиса и еще пары больших контор.
Можно кстати проверить БДБД накручивала или конкуренты, по выпавшим клиентам, нигде не светившим что они продвигаются у БДБД. Врядли так глубоко "враги" копали.
Есть у кого-нить такой сайт?))
Поздравляю! :)🍻
С динамикой где взять - хз, пару срезов можно взять например по базе Пастухова, если достать базы за 2010, 2009. Сколько у него там, 170млн ключевиков рунета вроде.
Запрещать не нужно. Canonical должен склеить дубли с основным урлом
