Вопрос про робота и бан.

BigBrother, сорри, уже исправился =)

I - не ходит, посмотрел по логам, тока зеркальщик забегает.

кстати да, ведь это глюк. зачем ресурсы тратить на забаненый сайт?

BigBrother, тут еще такая непонятка, не факт, что сайт в бане, даже если был ответ платона, что в бане. проскакивали тут такие неприятные фактики.

Все понял, значит ходит...

С одной стороны может и нормально быть в курсе чо там с сайтом происходит, а с другой стороны раз уж забанил так зачем ходить ресурсы в самом деле тратить.

Разбанили сайт, заново проиндексил и готово:)

А как робот интересно поступит, если забан. сайт просто запретить к индексации в robot.txt? Интересно уберёт с бана по истечении времени? Кто нибудь эксперементировал?

Запрещал в роботсе индексировать Я, бот не шарился, из бана не вышел

По забаненым сайтам ходит еще активнее чем по проиндексированым

Яндекс не до конца проработал систему банов сайтов

Для робота не существует понятия забаненый сайт а робот это автономный механизм дополняющий общий алгоритм поиска но не имеющий о нем предствления(кроме страниц присутсвующих в индексе )

Поэтому робот натыкается на забаненый сайт и думает ну нифига себе позор моим сединам сайт вообще не проиндексирован и начинает его насиловать.....

Зачем индекирующий бот ходит по забанненым сайтам, несколько гипотез:

1. Ему все равно он ходит по всем сайтам (хм, а как же экономия ресурсов?)

2. Чтобы иметь свежий кеш, на случай принятия решения о помиловании

3. Отследить переезд сайта, если контент "мутный"

4. Собирать ссылки, как и со всех остальных сайтов (например для расчета уровня доверия)

5. Для обучения алгаритмов распознавания потенциального спама

6. ???