Vyacheslav Tikhonov, Нет!
Vyacheslav Tikhonov, Он работает пока для нашей конторы. Индексирует юа-нет:) Примерно через месяц(если скрестить пальцы :) ) будем анонсировать бета-версию... ух, и икнется ж мне... :). Берет большой страх.
W.Ed., да.
W.Ed., лично меня это не привлекает. сорри всем за флуд
W.Ed., напишите обычный мониторинг на тех же сях, который использует пайпы - и будет вам радость...
все это, опять же, сущее ИМХО!
alyak, я сторонница написания паука на сях - без перла, апача, браузеров и php. При этом можно использовать хоть pthread'ы, хоть обычное форканье, хоть один процесс с множественными сокетами (едва слышала, не пробовала, говорить не буду). Все это уже выбор, разумеется, разработчика.
Поиск, индексация, интерфейсы поиска - уже вопрос третий...
W.Ed., если опций там столько же, сколько в сях, вопрос снят. :) Тем не менее, на мой взгляд, писать на php - все равно что забивать гвозди микроскопом.
и, кстати, зачем спайдеру браузер? ошибки в лог записываются - и ресурсов это жрет ну совсем немного, если учесть, что используется при этом перенаправление стандартных потоков...
но это уже тонкости, которые относятся к "многое-многое другое". Продолжать спор не вижу смысла :)
W.Ed., Начнем с того, что я не нашла в PHP процедур типа setsockopt, и это меня расстроило. Во-вторых, ресурсов php жрет куда больше сишных бинарников... взять хотя бы тот факт, на чем php написан.
В-третьих, разумеется, я подсознательно защищаю свой метод :)
alyak, и правда, зачем апач? Чем не нравится голый HTTP-запрос? А кодировки - почти все можно iconv и прочими enca'ми определить и перекодировать... то, что там пишут в мета-заголовках пользователи, для спайдера, на мой взгляд, неактуально.
Interitus, А свой парсер писать надо :) Все тестенные мной парсеры все равно не все отлавливают...
Interitus, Не на виртуале, разумеется... :)
W.Ed., Мой такую цифру съедает лениво за 1,5 суток (я угадаю эту мелодию с 2-х нот :) ).
Лениво - это если проставить глубину чтения где-то 3-го уровня, пустить 3 потока и зашейпить канал до 32К (иначе я всю локалку повешу).
Притом, что в сях гораздо проще настроить сокеты как хочется :) и многое-многое другое... :)
50K?!! Вы, верно, шутите... Может, вы имели в виду 50М?
