Софт для отбора 404 в результатах

A
На сайте с 04.12.2002
Offline
0
859

Здравствуйте,

Вопросик в следующем: есть ли софт или скрипт(ы), позволяющий

в фоновом режиме тестировать результаты, выдаваемые SE по ключевому слову/фразе, на предмет существования ресурсов из списка???

Поясню, предполагаемые функции программки:

1. Выбирается SE

2. Задается ключевой поиск (слово или фраза)

3. Программка принимает результат поиска, выданный SE (25-100 первых позиций), отбирает URL's и далее тестирует их на "существование" (эмулирует запрос по URL и получает ответ от сервера хостера)

4. В случае ответа по URL 404 Not found, производится запоминание в буфер или запись в файл-результат.

5. После проверки всего списка - отчет.

Наверное это отдаленно похоже на работу robota (index, crawler) SE's.

Как в аналогичном случае (при получении 404) поступает index?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий