Парсил сайт - забанили IP - купил ещё 1н - не работает

Чет памяти дофига жрется :) - у меня на курлах 1000 страниц в минуту (по 15-60кб) жрется всего 68 Мб :)

и нагрузка на ЦП не больше 5%

У каждого парсера - своя цель, а курл я для примера привел.

Хотя та функция меня полностью устраивает - я на локальном компе запускаю парсер статистики лайв интернета (по точкам входа на сайт), но там ограничение по запросам - вот часть запросов через другой сервак и тащу (груба говоря аля прокси на коленке :) - гетом передал в скрипт страничку, а он её вывел)

$url="сайтец";

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL,$url); // set url to post to

curl_setopt($ch, CURLOPT_TIMEOUT, 20); // times out after 20s

$result = curl_exec($ch); // run the whole process

curl_close($ch);

Ну, если даже referer передавать не надо, UserAgent эмулировать, куки поддерживать то юзайте вобще file_get_contents.

Только то, что вы написали - это еще совсем не парсер :)

sokol_jack добавил 19.03.2009 в 11:42

Это наверное про curl_multi? Тогда поддерживаю, жрет совсем ничего.

Только вот из неприятного - запрос на 100 урлов будет выполнятся столько, сколько понадобится для самого медленного урла или таймаута.

Мне это надоело, я и на .net десктопную версию сделал. С пулом потоков, все честно. Сказать, что скорость увеличилась - ничего не сказать :)

Если не ленится и число потоков поставить довольно большим (5-10к), то весь канал забивается :)

$url="сайтец";

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL,$url); // set url to post to

curl_setopt($ch, CURLOPT_TIMEOUT, 20); // times out after 20s

$result = curl_exec($ch); // run the whole process

curl_close($ch);

вот "делай что хочешь" - и будет парсером, а приведённый пример - это всего лишь загрузчик :)

Я просто угораю над народом - у каждого слово парсер - свое понимание, и особенно под свои потребности

- одни долбят в репу - вор контента получай

- вторые угорают что это за парсер это не парсер а..... - Да написал я это для примера sokol_jack, -что парсер писать это гением быть ненадо.

Низя, а если соединение зависнет? - не практично + тежех рефов не подставить и пост не передать.

Тоже такая фигня надоела - сделал связку связку=сокеты + CURL - сокетами контролирую количество потоков, а курлом выгребаю для моих 20-50 потоков вполне хватает. (ток контролировать нужно аккуратно а то проц на 100% задумывается)

PS.

Хороший у вас канал :) у меня 30 потоков мои 5 Мбит просаживают на 100%

Чот я правда загнул... висит несколько процессов, каждый по 30-40 метров...

С мультикурлом(в пхп) была проблема: ему даешь на скачивание 100 урлов, он половину не мог выкачать. Нормально работал только если не более 30 за раз. Вроде бы с ДНС проблема была... сейчас уже не помню :(

Попробуйте без мультикурла - просто на курле, но дергать этот скрипт через кучу сокетов - аля многопоточность получается.

можно парсить через прокси - тогда проблема с баном IP отпадает.

Возникает проблема где взять прокси

Вот поэтому проще купить пачку IPов по $0.8 и не дергаться с поиском (точнее с пакупкой списков) тормазных и отваливающихся проксиков, они нужны только для конфиденциальности (во время хака/спама, да и возможно что те прокси будут уже везде в бане).

bimcom, проще всего взять ещё один дешёвый хостинг на другой домен. Там создать скрипт (к примеру get.php) со следующем содержанием:

echo implode("",file($_GET['url']));

После заменить в парсере "адрес_откуда_парсим" на "адрес_другого_хостинга/get.php?url=адрес_откуда_парсим".

Даже если сайт пока небанили, разумнее парсить с другого IP.