Я просто угораю над народом - у каждого слово парсер - свое понимание, и особенно под свои потребности
- одни долбят в репу - вор контента получай
- вторые угорают что это за парсер это не парсер а..... - Да написал я это для примера sokol_jack, -что парсер писать это гением быть ненадо.
Низя, а если соединение зависнет? - не практично + тежех рефов не подставить и пост не передать.
Тоже такая фигня надоела - сделал связку связку=сокеты + CURL - сокетами контролирую количество потоков, а курлом выгребаю для моих 20-50 потоков вполне хватает. (ток контролировать нужно аккуратно а то проц на 100% задумывается)
PS.
Хороший у вас канал :) у меня 30 потоков мои 5 Мбит просаживают на 100%
Чет памяти дофига жрется :) - у меня на курлах 1000 страниц в минуту (по 15-60кб) жрется всего 68 Мб :)
и нагрузка на ЦП не больше 5%
У каждого парсера - своя цель, а курл я для примера привел.
Хотя та функция меня полностью устраивает - я на локальном компе запускаю парсер статистики лайв интернета (по точкам входа на сайт), но там ограничение по запросам - вот часть запросов через другой сервак и тащу (груба говоря аля прокси на коленке :) - гетом передал в скрипт страничку, а он её вывел)
Ошибаетесь - взять хотябы меня - я далеко не профи в програмирование, даже проще сказать новичек.
Парсер страничек пишется даже мной за 1 минут максимум.
$url="сайтец"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,$url); // set url to post to curl_setopt($ch, CURLOPT_TIMEOUT, 20); // times out after 20s $result = curl_exec($ch); // run the whole process curl_close($ch);
Вот готовый парсер, а дальше делай с полученными данными все что хочешь используя строковые функции - разве необходимо гигантскую квалификацию?
Boris A Dolgov,
Спасиба за наводку!
Опция для CURL CURLOPT_INTERFACE - позволяет менять интерфейсы.
Самый прикол, что на некотрых VPS функция просто не сработала, но не на всех - наверное зависит от особенностей виртуализации!
ООО с курлом привычнее :) щас буду искать.
Щас пришол ответ от хостера - говорит что исходящие соединения с VPS инициируются только с 1го IP адреса.
Через сокеты это ограничение обходится?
После активации акаунта возникли проблемы, связанные с недопониманием дежурных сотрудников и моими интересами, по причине коего акаунт был блокирован, но после объяснения ситуации руководству проблема была решена.
По поводу качества предоставления услуг шаред хостинга - нареканий никаких, один из лучших хостеров (для сайтов Московского региона 100%) с дешевым тарифом.
А с учетом того, что на акаунте за $1.5 можно размещать до 40 сайтов то по соотношению цена/(качество+кол-во доменов) это лучший хостинг, который мной был зарегистрированный за последние 2е суток (в целях личного интереса были зарегистрированный акки до 2$ у 11 хостеров), будет время - оформлю сводную таблицу с проведенным тестированием.
Я бы с радостью выкладывал изменения в первом посте, но редактировать свой пост можно только в течение 1го часа :( после написания.
А по поводу хеша пароля - как разберусь со всеми дополнительными функциями - может внесу и эту доработку.
Прокрутите страницу до самого конца и зайдите в раздел
"изменить описание сайта "
и смените там пароль (при смене пароля повторный ввод старого не требуется)
чем словарь синонимов неустраивает?
скорее всего на хостинге не работает curl - т.к. 4 страницы просто нереально загрузить за 0,002 сек, ну и вывод ошибок тоже наверное выключен.
