search spider

Другой вывод - использовать 1 процес с nonblocking сокетам с обработкой их в poll select etc. После двух-трех сотен конкурентных и медленных соединений, разница в нагрузке на процессор будет ощутимо меньше (в разы) чем при использовании тредов и уж тем более отдельных процессов.

А вообще запускать спайдер из-под апача - странно это.

Interitus, А свой парсер писать надо :) Все тестенные мной парсеры все равно не все отлавливают...

Ну так подправь LWP для себя если будет глючить . Я всегда себе подправляю и не важно в чем и кем написано. Кроме того остается способ через сокеты , примитивно. Если требуется сверхпроизводительность, дешевле поставить еще одну тачку чем доводить до совершенства.

Это один из вариантов - дешево и сердито, зато написать можно тяпляп в один процесс. Если речь идет о серьезных вещах, тогда спайдер выделяется в отдельную задачу , и улучшается как отдельное звено. Тогда наверное лучше всего будет C++. Но при создании поисковика в любом случае найдется много мест где лучше приложить усилия в первую очередь, например парсер - очень нетривиальная задача с учетом того что пишут HTML как попало. Одних кодировок новых пользователи напридумывали штук пятнадцать, одна из самых прикольных - KOI8_WIN1251 .

У меня ситуация пока хуже (тестирую у одного хостера), так что написанная мной цифра - это при минимальной загрузке процессора (пришлось ограничить расписанием по 20 доменов в 10 минут)

2 lagif:

какие именно настройки сокетов имелись в виду?

W.Ed., Начнем с того, что я не нашла в PHP процедур типа setsockopt, и это меня расстроило. Во-вторых, ресурсов php жрет куда больше сишных бинарников... взять хотя бы тот факт, на чем php написан.

В-третьих, разумеется, я подсознательно защищаю свой метод :)

alyak, и правда, зачем апач? Чем не нравится голый HTTP-запрос? А кодировки - почти все можно iconv и прочими enca'ми определить и перекодировать... то, что там пишут в мета-заголовках пользователи, для спайдера, на мой взгляд, неактуально.

существует функция socket_set_option

(PHP 4 >= 4.3.0, PHP 5)

да, кстати, во время отладки большая часть ресурсов тратится на вывод ошибок :) (в браузере)

W.Ed., если опций там столько же, сколько в сях, вопрос снят. :) Тем не менее, на мой взгляд, писать на php - все равно что забивать гвозди микроскопом.

и, кстати, зачем спайдеру браузер? ошибки в лог записываются - и ресурсов это жрет ну совсем немного, если учесть, что используется при этом перенаправление стандартных потоков...

но это уже тонкости, которые относятся к "многое-многое другое". Продолжать спор не вижу смысла :)

При старте перл вначале загружается сам , дальше он начинает грузить кучу библиотек , это занимает и время и память. Если вы сделаете многопотоковый код - проблем нет, будет работать одна копия. Второй вариант - использовать mod_perl и грузить из-под апача , в этом случае апач загрузит одну копию перла вместе с библиотеками и будет использовать ее для всех ваших приложений.

Что касается PHP , он может быть загружен в память апача как в режиме mod_perl и будет использоватьсмя одна копия , или стартовать как отдельный процесс , будет жрать память под каждую копию . Многозадачность у него слабее чем в перле , поэтому наверное более правильно запускать много копий из-под апача.

В данном случае апач нужен как многотоковый разделитель а не как веб сервер.

Да и нужно учитывать что я сторонник того что когда не хватает ресурсов нужно ставить сервер мощнее. При условии конечно что все написано хотя бы на среднеплохом уровне.

alyak, я сторонница написания паука на сях - без перла, апача, браузеров и php. При этом можно использовать хоть pthread'ы, хоть обычное форканье, хоть один процесс с множественными сокетами (едва слышала, не пробовала, говорить не буду). Все это уже выбор, разумеется, разработчика.

Поиск, индексация, интерфейсы поиска - уже вопрос третий...