Присоединяюсь, приблизительно в 13:50 перестал производить сбор.
~~ site:site1.ru
Top-Inspector, у вас выше сказано, что съем позиций происходит с 6 утра до 12 дня. По моим наблюдениям, раньше 12 часов результаты для нового дня недоступны. Отсюда вопрос — у вас большой зазор между снятием и публикацией позиций или, если я получаю данные, например, в 14 часов, то они с высокой степенью вероятности были получены за час-два до этого, но не в 6 утра?
Да, это верно, доводилось работать с сайтом, где 90% материала — копипаста. В какой-то момент возникли технические трудности, мы их уладили в переписки с техподдержкой, а качество материала их так и не заинтересовало.
То есть только тот мусор, что уже в индексе? Можно попробовать через YandexParser, поищите на topperharley.
Если же заботит в принципе любой мусор на сайте, то в помощь Xenu и другие спайдеры.
Зависит также от количества регионов, конкурентности вашей тематики и от того, как ясно вы реализуете региональную структуру в рамках одного домена.
