robochek - краулер robots.txt

robocheck - программа для поиска информации в robots.txt на большом числе хостов.

robocheck:

- работает под Linux

- написан на C

- многопоточен

- не требует установки дополнительных библиотек

На вход принимает:

- файл с хостами с которых надо забрать robots.txt

- файл со строками которые надо искать в robots.txt

- количество потоков для работы

- таймаут на обработку одного хоста

На выходе выдает:

- файл с хостами и строками из robots.txt которые удалось найти

- файлы с хостами при обработке которых произошли те или иные ошибки

Изучаю будет ли спрос на такое предложение, возможно изменение краулера под ваши требования.

Цена договорная, со всеми вопросами и предложениями стучите 4-8-008-4-8