Помогите разобраться с каталогами

Хочу узнать у вас, как можно отфильтровать каталоги?

Как узнать, в бане ли он или просто не проиндексирован ну и тИЦ

просто я тут на форуме накачал примерно 10 000 каталогов(может больше), конечно же более 50% дублей, но не в этом проблемма

И можно ли автоматизировать проверку этих каталогов, если можно то скажите какой прогои и где качнуть можно.

Хочу продвигать сайт своими силами :confused: