Бот издевается?

Всё очень просто, если знать что такое кластерная структура, которую и имеет ПС Яндекс, и вообщем-то другие известные мне ПС.

Один кластер занимается сбором ссылок, другой их обработкой, третий формированием выдачи, четвертый баном сайтов.

Бот нашел ХХХ ссылок на сайт, распределил всех их в очередь на сканирование. Но тут сайт определяется как дор, и его больше не нужно сканировать, а очередь уже создана.

Как же убрать эти страницы из очереди?

Вот этот вопрос наверное не очень волнует создателей ПС Яндекс и ПС Гугл. Бот честно пройдет по всем ссылкам которые он обнаружил при прошлом своем проходе, даже если сайт уже в бане.

Мне кажеться это вообшем то не проблема, есть же репликация и т.д., тем более для людей которые работают в ПС - туда как правило берут далеко не глупых людей - если даже я вижу очевидные выгоду в том что бы "очереди" как вы выразились, создавались динамически с возможность внесения в них поправок на лету - то они и подавно с их опытом в этой сфере, тем более в случаях с забанеными сайтами и если учесть их маштабы то сколько это будет экономии траффика/временни? Мне кажеться громаднейшее, просто люди путают такие понятие как забаненый сайт и тот что просто вылетил из индекса(возможно скоро его забанят).

РаСо, это всё ясно. Но не нужно забывать еще и о том, что физически кластерная структура может состоять из сотен компьютеров, а разные кластеры могут располагаться вообще в разных датацентрах. И это всё чудо достаточно сложно в управлении.

И особенно долго вся эта структура реагирует на моментальные изменения.

Также не следует забывать, что скорость связи между разными частями системы может быть значительно меньше чем внутренняя её пропускная способность.

Например в Гугле, чтоб размещенное объявление в AdWords стало видно с любого компьютера в мире проходит от 15 минут и больше. Это при том, что гугл заинтересован в максимальном ускорении реагирования всех частей системы на размещенное объявление. С Яндекс Директ сильно не работал, но там вроде бы так же само объявления размещаются и удаляются не моментально.

Что же мы имеем с поиском? Сайтов в разы больше чем объявлений. Чтоб системе отреагировать на изменения для каждого конкретного сайта требуется значительно больше времени.

Ничего удивительного что сайта уже нет в выдаче, запрещен к индексации, а бот всё еще кушает страницы.

Садовский?😂

Мне кажется, что все таки бот не досконально может определить дор это или нет, если есть подозрения(ну например стечение факторов того, что это дор больше 75%) то происходит бан, но все же он не доканца уверен в том, что это дор и поэтому он заново сканирует страницы на предмет положительных изменений.

Насчет Яндекса не буду утверждать, но с гуглом такое проходит

лендинги остапа лежат - это плохо

Бери выше - Платон :)

Вы предлагаете что время ожидания когда реплики(ну если не репликации - то пускай копии данных) станут идентичны у яши занимает 3 дня и более? Ибо судя

а прошлый ап был 3 дня назад если мне не изменяет память,к тому же у меня куча сайтов которые вылетили из индекса и есть такие которые вылетили пару месяцов назад но бот яши до сих пор туда захаживает на чаек - и что это опять время ожидание 2-3 месяца? Не думаю. А вот на 100% забаненые сайты которые в аддур так и пишут что забанен - яша вообше не появляеться. Конечно же по вашей теории возможны ситуации несаглосовности и т.д. и т.п. вот это мне кажеться более вероятным .

символы....

Ну делай своё дело и никому не говори - деньги приносит? Если да то all good

Не приноист деньги - работай в ру, тут не надо спамить , .. ,.. итд итп;)

символы...

noncapisco, dvd_rw насчет спама скорее всего имел в виду про яндекс)