Фильтрация сайтов с неуник контентом на стадии индексации

Вообще то отсев на стадии добавления - ресурсоемкая процедура.

В данный момент, Яндекс скорее всего отсеивает неуник отдельным процессом, который поаномерно в порядке сформированной очереди для сайтов, лопатит их датацентры сравнивая контент, время и кучу прочих параметров, а потом уже накладывает фильтры. При этом индексный алгоритм может находиться совсем на других серверах нежели проверяющий уникальность и работать сам по себе, а проверяющий сам по себе. За время, пока проверялка дойдет до добавленного и проиндексенного сайта, может пройти и не неделя и даже не месяц.

Да, так оно и есть, появляются в индексе 10 страничек, потом пропадают на пару апов, далее вылазят уже тысячей но под фильтром. Возможен вариант, когда сателит долго не индексируется (визуально), потом , глядь, а он уже под фильтром. Скорее всего индексатор (те основной алгоритм ранжирования) и так называемый алгоритм в котором присутствует фильтр "ты в ж.." - отдельные процессы.

гугл фильтрует уже после того как ставит в индекс. для него важна скорость появления в выдаче новой информации.

яндексу нужно большее время на фильтры, но он так же делает это уже после индексации.

Яндекс ИМХО сначала ставит в индекс, потом фильтрует или склеивает. Простой пример партнерские программы. В прошлом году принимал в некоторых участие и яндекс перекрасно индексировал все страницы, даже траф был неплохой. Но через некоторое время (лень было внести на страницы парнерок какое-то разнообразие), он либо клеил, либо вообще из индекса выкидывал.

Поэтому считаю, что сначала индексация, потом какие-то меры.

Хм.. Интересно. Логичнее было бы в поиск не добавлять. Т.е. яндекс сайт схавал, проанализировал и решил добавлять в поиск или нет.