Форум Практика оптимизации Сервисы и программы для работы с SE

Парсер с возвожностью обнаружения пустого ответа

P1
На сайте с 26.04.2008
Offline
50
poiuyt1234
649

Мне нужно проверить несколько сотен тысяч url на пустую страницу т.е. не 404 not found, а просто пустая страница 0 размера. и найденые пустые страницы в итоговую базу. есть ли парсер с такой возможностью?

[Удален]
#1
poiuyt1234:
пустая страница 0 размера

нулевого размера как бэ не бывает - как минимум юзераген обменивается с сервером запросами. А пустой файл - он всё равно занимает один кластер на винте ;)

Анализировать полученный код страницы - это могут наверное любой парсер. Но вот какой собсно умеет делать отчёт о нахождении заданного текста (в данном случае - его отсутствие) - это уже не подскажу.

CMS - E-commerce Как лучше организовать каталог Подскажите?
!FrykT
На сайте с 14.05.2007
Offline
120
!FrykT
#2

возможно, TrafficLinks подойдёт. Или хрумером прочекать на наличие фразы на странице

FANTiK123
На сайте с 30.12.2008
Offline
76
FANTiK123
#3

Попробуйте обратиться к автору программы из моей подписи, может что и получиться сделать, он платно программы пишет.

Универсальный парсер контента для создания интернет-магазинов (http://sbfactory.ru/?p=600) и не только ;)
[Удален]
#4

poiuyt1234 Есть именно то, что Вас интересует. Программа умеет определять пустую страницу (то есть страницу равную 0 как Вам и нужно) и умеет определять 404 not found

Программа многопоточная и благодаря этому работает очень быстро...

Если Вас заинтересовала данная программа, то пишите в личку или в icq

Новый Яндекс.Бар 5.0 Инструмент проверки URL в Microsoft запретила россиянам скачивать

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий