Сами ПС обещают, что в выдаче будут стараться давать ссылку на каноническую страницу, вот, кстати, про rel canonical от Яндекса
Гарантировать, что Google и Яндекс перестанут учитывать страницы-дубли - невозможно, но страницы должны склеится по одинаковому контенту, rel canonical явно намекает ПС, что это - нечёткие дубли.
Они только по безналу нормально работают, с выводом на WM у робокассы проблемы с сентября начались.
Они не склеиваются, быстророботная страница просто убирается из выдачи ПС через 3-4 дня.
Склейки нет по причине указанной выше, про склейку ссылок не переживайте - обе страницы в выдаче под одним url, все ссылки зачтутся по итогу.
Плюс, быстророботные страницы Яндексом ранжируются без учёта ссылочного.
В панели вебмастера Я/G хоть какие-нибудь из этих ссылок есть?
ТИЦ не упал после выпадения ссылок из индекса?
В последнее время ссылки плохо работают(на продвижение) даже со страниц в индексе. ТИЦ - дают, а ссылочное - нет.
Я покупные ссылки сняла год назад на всех сайтах, ТИЦ просел кое-где, трафик - вообще нигде не упал. Правда, двигаю НЧ-запросы.
Посмотрите логи на роботе Google.
Есть такое ощущение, что робот-индексатор Яндекса - сломался, ибо раньше он 100% запрашивал дату модификации страниц и брал в индекс только новые. Сейчас(судя по моим логам) - у него лишь единичные случаи с 304 Not Modified.
PS: Периодически роботы принудительно переиндексируют страницу - обновляют свой кэш. Тогда они сдёргивают страницу, не давая заголовок If-Modified_Since.
Справка Google о применении rel canonical
Как правильно использовать rel="canonical" для успешной индексации в поиске Google, статья на Серче.
Описание работы с robots.txt, справка Яндекса. Плюс - удобный анализатор robots.txt, так же от Яндекса, можно в режиме реалтайм протестировать правильно ли составлены правила и что они запрещают.
Моё имхо:
A). rel canonical намного удобнее для управления дублями страниц, чем robots.txt, поскольку всё управление делается в движке сайта автоматически.
B). в robots.txt надо лазить руками, и я не представляю как там можно закрыть 1000 дублей и при этом не поломать себе "моск". Не все url имеют общее начало, чтобы им можно было легко прописать шаблон. robots.txt имеет ограничение на размер, если более 32 Кб - Яндекс считает, что "разрешено всё" даже не читая что там.
C). По rel canonical, вес со всех неканонических дублей(а на них есть внутренние ссылки и могут быть внешние) переклеивается на каноническую страницу. Тогда как robots.txt просто убирает их из индекса с потерей ссылочного веса.
D) Если модифицировать движок сайта на поддержку rel canonical не представляется возможным(нет знаний, нет программера, неохота разбираться) - тогда уже юзаем возможности robots.txt
Ида, Google индексирует страницы,закрытые в robots. И robots, и rel canonical - это лишь рекомендации для ПС.
Если сайты в русскоязычном сегменте - сейчас доход не растёт(даже падает) из-за кризиса.
У меня на сайтах из рекламный сетей - только Адсенс и Директ. Плюс, ролики из Ютуба, карты Яндекса и Google и Яндекс- метрика(Google-аналитика - убрана).
Чтобы все это хозяйство нормально работало, достаточно вот такой политики CSP:
default-src 'self' *.ВАШСАЙТ.RU ВАШСАЙТ.RU;script-src 'self' 'unsafe-inline' 'unsafe-eval' *.ВАШСАЙТ.RU ВАШСАЙТ.RU *.yandex.ru yandex.ru *.yandex.net yandex.st *.yandex.st *.googleapis.com *.gstatic.com gstatic.com *.googlesyndication.com *.doubleclick.net https://*.googleapis.com https://*.gstatic.com https://gstatic.com https://*.googlesyndication.com https://api-maps.yandex.ru;frame-src 'self' *.ВАШСАЙТ.RU ВАШСАЙТ.RU *.yandex.ru yandex.ru *.yandex.net yandex.st *.yandex.st *.googleapis.com *.gstatic.com gstatic.com *.googlesyndication.com *.doubleclick.net youtube.ru youtube.com *.youtube.ru *.youtube.com https://youtube.ru https://youtube.com https://*.youtube.ru https://*.youtube.com apis.google.com https://*.googleapis.com https://*.gstatic.com https://gstatic.com https://*.googlesyndication.com https://*.doubleclick.net https://apis.google.com;connect-src 'self' *.ВАШСАЙТ.RU ВАШСАЙТ.RU mc.yandex.ru https://translate.googleapis.com https://pipe.skype.com;style-src 'self' 'unsafe-inline' 'unsafe-eval' *.ВАШСАЙТ.RU ВАШСАЙТ.RU *.googleapis.com *.gstatic.com *.yandex.ru https://*.googleapis.com https://*.gstatic.com https://*.yandex.ru data:;font-src 'self' *.ВАШСАЙТ.RU ВАШСАЙТ.RU *.googleapis.com *.gstatic.com *.yandex.ru https://*.googleapis.com https://*.gstatic.com https://*.yandex.ru data:;img-src 'self' *.ВАШСАЙТ.RU ВАШСАЙТ.RU *.yandex.net *.yandex.ru yandex.ru yandex.st *.googlesyndication.com *.doubleclick.net *.googleapis.com *.gstatic.com web.icq.com https://*.yandex.net https://*.yandex.ru https://*.googlesyndication.com https://*.doubleclick.net https://*.googleapis.com https://*.gstatic.com data:;object-src 'self' *.gstatic.com an.yandex.ru https://*.gstatic.com https://an.yandex.ru;
Из нетипичного:
1. *.ВАШСАЙТ.RU ВАШСАЙТ.RU прописываю явно, тк некоторые браузеры некорректно понимают 'self'
2. https://pipe.skype.com - на сайтах есть статусы скайпа и телефоны, открываем звонки со скайпа с мобильных устройств
3. web.icq.com - та сайтах есть статусы ICQ, чтобы правильно показывал красный/зелёный цветочек.
4. translate.googleapis.com - когда сайт переводят Гугл-транслейтом, не смотря на то, что он попадает под *.googleapis.com(по http://), но иногда делается запрос по https: даже с http-сайта.
5. Яндекс-метрика, которую он недавно тайком поставил на все сайта через свои сервисы погоды и кнопок share - пока закрыта (она идёт на домен http://yastatic.net)
Эта политика CSP выдаётся 2 раза: один раз с заголовком "X-WebKit-CSP", второй с заголовком "Content-Security-Policy".
Тк дотошный эксперимент показал, что заголовок X-WebKit-CSP кое-какие браузеры ещё поддерживают.
Могу, но чуть позже.
Для работы Адсенса достаточно открыть урлы:
*.googleapis.com *.gstatic.com gstatic.com *.googlesyndication.com *.doubleclick.net в нужных директивах, url-ы самих рекламодателей(из объявлений) по CSP не режутся в принципе, тк их рисует на странице разрешенный нами ява-скрип от Google.
Да, вот целая тема про них
Да. Проверено не на одном сайте.
Меню - это по сути перелинковка сквозными ссылками, со всеми вытекающими последствиями "сквозняков".
Дополнительная перелинковка позволяет сильнее задействовать анкорное ранжирование, нужным образом перераспределить статический вес, и включает ещё некоторые факторы ранжирования, про которые нет информации в паблике.
Ну, и юзабилити повышается, если перелинковка сделана для людей - посмотрите Википедию.
