demar-kids: Ladycharm, Большое спасибо ! Я правильно понимаю что набрав _site:shoes-kids.com.ua_ я буду по прежнему видеть 130000 проиндексированных страниц, google не будет учитывать закрытые rel canonical , но я этого не увижу?
Сами ПС обещают, что в выдаче будут стараться давать ссылку на каноническую страницу, вот, кстати, про rel canonical от Яндекса
Гарантировать, что Google и Яндекс перестанут учитывать страницы-дубли - невозможно, но страницы должны склеится по одинаковому контенту, rel canonical явно намекает ПС, что это - нечёткие дубли.
bulatbulat48: если 2 страницы в выдаче: из быстроробота и обычная. Страница быстроробота сделана из старой страницы. На сколько корректно склеиваются они и как корректно?
Они не склеиваются, быстророботная страница просто убирается из выдачи ПС через 3-4 дня.
bulatbulat48: я имею ввиду при склейки основной и быстророботовской страницы, как склеиваются на них соц.сети?
Склейки нет по причине указанной выше, про склейку ссылок не переживайте - обе страницы в выдаче под одним url, все ссылки зачтутся по итогу.
Плюс, быстророботные страницы Яндексом ранжируются без учёта ссылочного.
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) - это основной бот и ему все страницы почему с кодом 200 Ок отдаются, даже если страница с последнего его посещения не изменилась, а по логике должен быть ответ 304 not modified
Посмотрите логи на роботе Google.
Есть такое ощущение, что робот-индексатор Яндекса - сломался, ибо раньше он 100% запрашивал дату модификации страниц и брал в индекс только новые. Сейчас(судя по моим логам) - у него лишь единичные случаи с 304 Not Modified.
PS: Периодически роботы принудительно переиндексируют страницу - обновляют свой кэш. Тогда они сдёргивают страницу, не давая заголовок If-Modified_Since.
demar-kids: Не понял. Зачем тогда canonical ? Подскажите как сделать так, чтобы не индексировались страницы получаемые из пересечения фильтров категорий брендов и страниц?
A). rel canonical намного удобнее для управления дублями страниц, чем robots.txt, поскольку всё управление делается в движке сайта автоматически.
B). в robots.txt надо лазить руками, и я не представляю как там можно закрыть 1000 дублей и при этом не поломать себе "моск". Не все url имеют общее начало, чтобы им можно было легко прописать шаблон. robots.txt имеет ограничение на размер, если более 32 Кб - Яндекс считает, что "разрешено всё" даже не читая что там.
C). По rel canonical, вес со всех неканонических дублей(а на них есть внутренние ссылки и могут быть внешние) переклеивается на каноническую страницу. Тогда как robots.txt просто убирает их из индекса с потерей ссылочного веса.
D) Если модифицировать движок сайта на поддержку rel canonical не представляется возможным(нет знаний, нет программера, неохота разбираться) - тогда уже юзаем возможности robots.txt
ctit: Уже три недели CSP стоит постоянно. Доход не падает. Но и не вырос
Если сайты в русскоязычном сегменте - сейчас доход не растёт(даже падает) из-за кризиса.
fake_user: Ladycharm, у вас за пару месяцев экспериментов не скопилось, случаем, дополнительных адресов рекламных сетей для CSP? Поделитесь?
У меня на сайтах из рекламный сетей - только Адсенс и Директ. Плюс, ролики из Ютуба, карты Яндекса и Google и Яндекс- метрика(Google-аналитика - убрана).
Чтобы все это хозяйство нормально работало, достаточно вот такой политики CSP:
1. *.ВАШСАЙТ.RU ВАШСАЙТ.RU прописываю явно, тк некоторые браузеры некорректно понимают 'self'
2. https://pipe.skype.com - на сайтах есть статусы скайпа и телефоны, открываем звонки со скайпа с мобильных устройств
3. web.icq.com - та сайтах есть статусы ICQ, чтобы правильно показывал красный/зелёный цветочек.
4. translate.googleapis.com - когда сайт переводят Гугл-транслейтом, не смотря на то, что он попадает под *.googleapis.com(по http://), но иногда делается запрос по https: даже с http-сайта.
5. Яндекс-метрика, которую он недавно тайком поставил на все сайта через свои сервисы погоды и кнопок share - пока закрыта (она идёт на домен http://yastatic.net)
Эта политика CSP выдаётся 2 раза: один раз с заголовком "X-WebKit-CSP", второй с заголовком "Content-Security-Policy".
Тк дотошный эксперимент показал, что заголовок X-WebKit-CSP кое-какие браузеры ещё поддерживают.
fake_user: Или, если можно, не могли бы большой отчет работы CSP в файле дать для самостоятельного анализа и сопоставления?
Могу, но чуть позже.
fake_user: Просто, судя по статистике, часть сторонних рекламных сетей откручивающихся в AdSense не "пролазят" через CSP, особенно заметно на той небольшой части трафа, что идет из-за бугра.
Для работы Адсенса достаточно открыть урлы:
*.googleapis.com *.gstatic.com gstatic.com *.googlesyndication.com *.doubleclick.net в нужных директивах, url-ы самих рекламодателей(из объявлений) по CSP не режутся в принципе, тк их рисует на странице разрешенный нами ява-скрип от Google.
nail2501: Вот все говорят про перелинковку. но ведь меню сайта - это фактически перелинковка. ...Тогда какой смысл в дополнительной перелинковке? Объясните!!!
Меню - это по сути перелинковка сквозными ссылками, со всеми вытекающими последствиями "сквозняков".
Дополнительная перелинковка позволяет сильнее задействовать анкорное ранжирование, нужным образом перераспределить статический вес, и включает ещё некоторые факторы ранжирования, про которые нет информации в паблике.
Ну, и юзабилити повышается, если перелинковка сделана для людей - посмотрите Википедию.
Ladycharm, Большое спасибо ! Я правильно понимаю что набрав _site:shoes-kids.com.ua_ я буду по прежнему видеть 130000 проиндексированных страниц, google не будет учитывать закрытые rel canonical , но я этого не увижу?
Сами ПС обещают, что в выдаче будут стараться давать ссылку на каноническую страницу, вот, кстати, про rel canonical от Яндекса
Гарантировать, что Google и Яндекс перестанут учитывать страницы-дубли - невозможно, но страницы должны склеится по одинаковому контенту, rel canonical явно намекает ПС, что это - нечёткие дубли.
robokassa.ru будет хорошим решением... работают с физ. лицами, комиссия за перевод с клиента берется, делают карту для вывода денег.
Они только по безналу нормально работают, с выводом на WM у робокассы проблемы с сентября начались.
если 2 страницы в выдаче: из быстроробота и обычная. Страница быстроробота сделана из старой страницы. На сколько корректно склеиваются они и как корректно?
Они не склеиваются, быстророботная страница просто убирается из выдачи ПС через 3-4 дня.
я имею ввиду при склейки основной и быстророботовской страницы, как склеиваются на них соц.сети?
Склейки нет по причине указанной выше, про склейку ссылок не переживайте - обе страницы в выдаче под одним url, все ссылки зачтутся по итогу.
Плюс, быстророботные страницы Яндексом ранжируются без учёта ссылочного.
Купил ссылок, они вошли в индекс и через пол года выпали из него, их нужно снимать или пускай виясят?
Ссылки закупаются для продвижения и для ТИЦа
В панели вебмастера Я/G хоть какие-нибудь из этих ссылок есть?
ТИЦ не упал после выпадения ссылок из индекса?
В последнее время ссылки плохо работают(на продвижение) даже со страниц в индексе. ТИЦ - дают, а ссылочное - нет.
Я покупные ссылки сняла год назад на всех сайтах, ТИЦ просел кое-где, трафик - вообще нигде не упал. Правда, двигаю НЧ-запросы.
Я смотрел вот для этого бота:
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) - это основной бот и ему все страницы почему с кодом 200 Ок отдаются, даже если страница с последнего его посещения не изменилась, а по логике должен быть ответ 304 not modified
Посмотрите логи на роботе Google.
Есть такое ощущение, что робот-индексатор Яндекса - сломался, ибо раньше он 100% запрашивал дату модификации страниц и брал в индекс только новые. Сейчас(судя по моим логам) - у него лишь единичные случаи с 304 Not Modified.
PS: Периодически роботы принудительно переиндексируют страницу - обновляют свой кэш. Тогда они сдёргивают страницу, не давая заголовок If-Modified_Since.
Не понял. Зачем тогда canonical ? Подскажите как сделать так, чтобы не индексировались страницы получаемые из пересечения фильтров категорий брендов и страниц?
Справка Google о применении rel canonical
Как правильно использовать rel="canonical" для успешной индексации в поиске Google, статья на Серче.
Описание работы с robots.txt, справка Яндекса. Плюс - удобный анализатор robots.txt, так же от Яндекса, можно в режиме реалтайм протестировать правильно ли составлены правила и что они запрещают.
Моё имхо:
A). rel canonical намного удобнее для управления дублями страниц, чем robots.txt, поскольку всё управление делается в движке сайта автоматически.
B). в robots.txt надо лазить руками, и я не представляю как там можно закрыть 1000 дублей и при этом не поломать себе "моск". Не все url имеют общее начало, чтобы им можно было легко прописать шаблон. robots.txt имеет ограничение на размер, если более 32 Кб - Яндекс считает, что "разрешено всё" даже не читая что там.
C). По rel canonical, вес со всех неканонических дублей(а на них есть внутренние ссылки и могут быть внешние) переклеивается на каноническую страницу. Тогда как robots.txt просто убирает их из индекса с потерей ссылочного веса.
D) Если модифицировать движок сайта на поддержку rel canonical не представляется возможным(нет знаний, нет программера, неохота разбираться) - тогда уже юзаем возможности robots.txt
Ида, Google индексирует страницы,закрытые в robots. И robots, и rel canonical - это лишь рекомендации для ПС.
Уже три недели CSP стоит постоянно. Доход не падает. Но и не вырос
Если сайты в русскоязычном сегменте - сейчас доход не растёт(даже падает) из-за кризиса.
Ladycharm, у вас за пару месяцев экспериментов не скопилось, случаем, дополнительных адресов рекламных сетей для CSP? Поделитесь?
У меня на сайтах из рекламный сетей - только Адсенс и Директ. Плюс, ролики из Ютуба, карты Яндекса и Google и Яндекс- метрика(Google-аналитика - убрана).
Чтобы все это хозяйство нормально работало, достаточно вот такой политики CSP:
Из нетипичного:
1. *.ВАШСАЙТ.RU ВАШСАЙТ.RU прописываю явно, тк некоторые браузеры некорректно понимают 'self'
2. https://pipe.skype.com - на сайтах есть статусы скайпа и телефоны, открываем звонки со скайпа с мобильных устройств
3. web.icq.com - та сайтах есть статусы ICQ, чтобы правильно показывал красный/зелёный цветочек.
4. translate.googleapis.com - когда сайт переводят Гугл-транслейтом, не смотря на то, что он попадает под *.googleapis.com(по http://), но иногда делается запрос по https: даже с http-сайта.
5. Яндекс-метрика, которую он недавно тайком поставил на все сайта через свои сервисы погоды и кнопок share - пока закрыта (она идёт на домен http://yastatic.net)
Эта политика CSP выдаётся 2 раза: один раз с заголовком "X-WebKit-CSP", второй с заголовком "Content-Security-Policy".
Тк дотошный эксперимент показал, что заголовок X-WebKit-CSP кое-какие браузеры ещё поддерживают.
Или, если можно, не могли бы большой отчет работы CSP в файле дать для самостоятельного анализа и сопоставления?
Могу, но чуть позже.
Просто, судя по статистике, часть сторонних рекламных сетей откручивающихся в AdSense не "пролазят" через CSP, особенно заметно на той небольшой части трафа, что идет из-за бугра.
Для работы Адсенса достаточно открыть урлы:
*.googleapis.com *.gstatic.com gstatic.com *.googlesyndication.com *.doubleclick.net в нужных директивах, url-ы самих рекламодателей(из объявлений) по CSP не режутся в принципе, тк их рисует на странице разрешенный нами ява-скрип от Google.
Кто-нибудь сталкивался?
Да, вот целая тема про них
Замечал-ли кто-то подобный эффект ранее ?
Да. Проверено не на одном сайте.
Вот все говорят про перелинковку. но ведь меню сайта - это фактически перелинковка. ...Тогда какой смысл в дополнительной перелинковке? Объясните!!!
Меню - это по сути перелинковка сквозными ссылками, со всеми вытекающими последствиями "сквозняков".
Дополнительная перелинковка позволяет сильнее задействовать анкорное ранжирование, нужным образом перераспределить статический вес, и включает ещё некоторые факторы ранжирования, про которые нет информации в паблике.
Ну, и юзабилити повышается, если перелинковка сделана для людей - посмотрите Википедию.