вот применительно к этой проблеме я и дал свою рекомендацию. Она касается вопросов приоритетного индексирования. Не верите мне, почитайте практику использования данных настроек и станет понятно.
К вашей рекомендации, я вам задал конкретный вопрос, с кокрентным примером вашего сайтаКакой last-modified отдаст ваш сайт на страницу /audit-sajtov?utm=avito ? Вы не ответили. Именно такие пачки, вебмастер и индексирует, независимо от того, что они запрещены в правилами robots.txtОтвечу за вас - ваша рекомендация не работает, потому что last-modified будет тот же что и для страницы /audit-sajtov
И думаю, и уверен, что все рекламные метки должны быть запрещены для обхода и индексирования через robots.txt директивой Сlean-param для Яндекса и можно настроить Disallow для Гугла. Индексироваться страницы с дополнительными параметрами от рекламных меток не должны.
Да, я вполне спокойно пишу😀Думайте дальше, написал черным по белому - Яндекс игнорит robots.txt, если есть связка метрики и вебмастера.Данные метрики в приоритете. Он учитывает правила robots.txt, но позже.
даже не думает об этом - просто как будто забыл про пару десятков тысячь страниц удаленных, я на сайте оставил 1к всего и жду второй месяц деиндекса
Плюнул на 404, заменил на 301, он их достаточно быстро обрабатывает
Настройка ответов last-modified должна помочь. И корректное соблюдение lastmod у xml карты.
Как вы думаете, какой last-modified отдаст ваш сайт на страницу /audit-sajtov?utm=avito- то что эту страницу уже проиндексировал вебмастер, это к гадалке не ходи, потому что ответ сервера 200- и естественно это дубль страницы.Я вам про метки писал, вы мне в ответ ересь, и типа что у вас все на мази.
Плевали они на вашу xml карту, robots ..., особенно если вебмастер связан с метрикойИ, если переходов в метрике на страницу с параметрами будет больше, то основная страница станет недостаточно качественной
Скорее всего так. - Есть счетчики метрики.. на Яндексе. - Тема и запросы, явно с пандемией хорошо просели, так они вначале накрутили спам страницы тысячами, а затем налили ПФ отказы на них😀🤔 ( Страницы с запросами естественно в топ 1-5 )
это и есть бот)) самый обычный толокаТПлатонбот
у меня уже два месяца висят 20к 404 , тупо не вылетают даже
а вот залетают тех что нету ))) короче у яндекса беда пошла как и гугла
Удалось подкинуть "презерватив", больше не залетают :)
А так да, новые страницы игнорит, а те что не существуют пачками индексирует. Потом, частично выкидывает, затем заново индексирует и так по кругу.На этом примерно половину мощностей Яндекса можно было экономить
И ходят и на сайты на которых метрики никогда небыло.
Значит есть вебмастер ( код в шапке страницы )
Ты хоть сам понял что написал )))Перечитай что я написал еще раз и может поймешь, разъяснять нет времени.
У меня помимо кода метрики стоит ссылка на картинку с рейтингом на маркете - она имеет вид "https://clck.yandex.ru" - это им было не интересно.В самом коде метрики присутствует фрагмент "https://mc.yandex.ru/metrika/tag.js" - как его заменишь?
А, в чем проблема? Адрес данной фирмы, как раз там и есть.Попал на глаза данный домен тем, что по webstat хостинга - Поисковые Ключевые фразы (Топ 10) пазинфору - занимает 25%
В метрике, данного ключа нет совсем. Пока не нашел, где webstat его берет
Основная цель не база Топ, это следствие которое вносит Яндекс. Основное это нагуливание профилей Яндекса, для скликивания РСЯ, в основном на Дзене
