В случае, когда он транслирует шаблон на сайте, да.
А когда нужно открыть 5к соединений (у ТС задачка - чекнуть всю ру-зону на наличие строки, да побыстрее), при этом хосты подвисают через один, отвечают хз как, а мультикурл начинает течь - то тут и задумаемся php или нет.
ps А сам люблю php и пишу на нем уже несколько (> 5) лет. Но здесь задачи-то иные. Короче, по теме топика.
pps А если из дома под windows , то checkparams (у меня держал 1300 потоков на Windows 7).
ppps Кстати, немаловажный момент: через некоторое время, возможно, будут трудности с dns на таких скоростях.
Писать краулер на php - это как анальный секс: в принципе, можно почему и нет. Но ж*па все-таки для другого предназначена.
Сами пишите на своих ангри и мультикурлах, я наелся уже, спасибо.
1. erlang
2. js: node.js + phantom.js (если будем бегать браузером)
3. python + gevent неплох
4. на чем нравится, кроме php (по понятным причинам) :)
-------
Это если масштабного паука делать. А если парсить с одного сайта, то всё равно на чем - большинство сайтов все равно лягут (от нагрузки - маленькие) или забанят (большие - их уже сто раз парсили).
Нет, вот правильная фраза для поиска. ☝
Какими доргенами генерите по 500к страниц? Кидаете все в БД?
Я бы с вашей подписью воздержался от написания такой ереси.
В SAPE много сайтов и на английском, и на амер. IP
Нет, лучше посидеть-подождать годик-другой. Понаблюдать там. 🙄
У вас инглиш еще не начался что ли в школе?
В этом топике будет мемпик про Жириновского…
