Нарушения и угрозы безопасности на сайте , Малополезный контент, спам, избыток рекламы

Тоже пропала метка час назад. Сайт медицинской направленности + доп. разделы. Метка прилетела как и большинству 18 числа в 19 часов. 

Помимо письма платонам и нажатия кнопки я всё исправил, единственное что сделал - это вручную (кстати вчера только в ночь сделал) удалил 90 страниц однотипных. Это страницы были с записью к врачу, для каждого врача отдельная страница, но по сути, все одинаковые, только скрипт чуть отличался. Все вручную удалил и закрыл от индексации. Не знаю, помогло ли это или просто глюк починили, но как вывод - удалил одинаковые статьи, метку сняли.

ps. кстати некоторые эти страницы были помечены в вебмастере, как малополезные. 

Вот такого у меня не было как раз, было всего пару раз, что яндекс признавал какие-то редко обновляемые страницы как малополезные, а потом их снова возвращал на прежние позиции, но из многих тысяч страниц таких "вылетевших" из индекса страниц было всего несколько

Интересно как себя чувствуют кредитные помойки где миллионы страниц одинаковых. (только город отличается).

Поржал. Какие законы нарушены, почему фильтр необоснованный (твоё личное мнение)? 

там, выше, я написал что BQ страницы с непростой судьбой... один из штрихов в том, что метка BQ ставится без переобхода ботом, либо без изменения даты обхода, по этому ваши наблюдения могут быть не информативными, т.к. не имеют точки отсчета.

также я там отметил, что у меня нет ответа на вопрос по логированию индекса домена, что какбы не затратно и напрашивается, но нигде не упоминается как техническая возможность.

Что я имею ввиду, давайте выдумаем сценарий на тех данных которые проверены.

1. Первичная индексация сайта, бот идет по расчетному краулинговому бюджету и собирает 1 000 страниц, вместе с тем скачивается карта сайта на 50 000 адресов

2. Вторичный проход, бот идет по бюджету все на те же 1 000 страниц (потому что там всегда 200), вместе с тем заходит по ссылкам и по метрике, скачивает новую карту на 55 000 адресов. В индексе к этому моменту, например 2 500. Формируется поисковый индекс на 1900 страниц, а шестьсот получают разного рода метки, не каноничные, малополезные, дубли, закрытые в роботсе и т.п.

3. Третий проход, бот опять обходит все туже 1 000 + добирает еще 3 000 по описанным выше каналам + карта сайта на 60 000 страниц. К этому моменту из навигационной 1 000, 800 получают МПК метку BQ статус - дата обхода при этом остается предыдущей.

4. Проход четыре, робот переобходит 200 годных и забирает еще 800 тех что не мог собрать по бюджету идет с этой 1 000 + все каналы + карта на 65 000 страниц. Ранжируется к этому моменту, например 1900-800+500= 1600 страниц. Кроме того у нас например пришел срок и страницы в статусе BQ удаляются из индекса (не поиска а индекса, как не было).

5. Пятый проход и бот опять идет на первую 1000, потому что 200 хорошие, а 800 он "забыл"... и т.д.

И вот вопрос: есть ли в этой схеме, где-то счетчик, в котором отображено количество обработанных уникальных url, к тем что заведомо известны по xml и если, например, этот счетчик составляет 80% от объема карты, а в индексе 10% то как бы очевидно, что сайт обработан на 90% — 80% из которых BQ и можно уверенно лепить хостовый фильтр  за МПК

Любой сеошник пришедший на подобный сайт будет уверен, что сайт просто не проиндексирован, ему и в голову не придет, что он индексация была и на текущий момент из 2КК страниц 85% выкинуто из индекса как BQ. Если бы на сайте был not modified, то можно было бы обратить внимание на даты, что некоторым страницам десять лет, а их в индексе нет, но на сайте всегда сегодня...

...и последнее что может помочь наблюдательному сеошнику, метрика в которой, скажем три года назад, зафиксированы переходы из поиска на страницы которых нет в Яндексе ;-) но владелец сайта убежден что у него белейший СДЛ))))

Ребята, 

А они удаляются? Если есть ссылки из вебархива например. У меня недавно янд бот заходил на удаленные в 2016 году.

С чего вы решили что результат работы Яндекса принадлежит вам и кроме этого, вы еще и зарабатываете на этом?
СЕРП это их продукт и его наполнение зависит не от вас а от ожиданий аудитории Яндекса, не вашей, а Яндекса.
Если вам доставляет дискомфорт тот факт, что Яндекс использует ваш продукт для свой прибыли - закройте сайт для индексатора Яндекса, выполните все так, как написано в документации и если после этого они продолжат использовать ваш продукт, у вас появится юридическое основание требовать.


Ну и кроме того, не следует забывать, что само сообщество выросло, по сути своей, на нарушении лицензии к их программному обеспечению... и единственный внятный революционер Сёрча, это космический инженер написавший свой поисковик)))

Да, кстати, хорошая мысль. Было бы неплохо иметь возможность включить/выключить в поиске галку "Показывать говносайты с кучей рекламы".

100% примерно через 30-ть суток. Я тут тему открывал, но к ней отнеслись прохладно, а ваши, например, наблюдения были бы не лишними, вдруг срок разнится от проекта к проекту и если на магазинах это 30 дней, то в новостях - неделя