search spider

WE
На сайте с 28.06.2005
Offline
18
#31
lagif:
W.Ed., и, кстати, зачем спайдеру браузер? ошибки в лог записываются - и ресурсов это жрет ну совсем немного, если учесть, что используется при этом перенаправление стандартных потоков...

просто для отладки - удобнее читать лог по ходу выполнения

lagif
На сайте с 15.12.2004
Offline
30
#32

W.Ed., напишите обычный мониторинг на тех же сях, который использует пайпы - и будет вам радость...

все это, опять же, сущее ИМХО!

Это тоже пройдет...
WE
На сайте с 28.06.2005
Offline
18
#33
lagif:
хоть один процесс с множественными сокетами

php предоставляет набор функций для работы с массивом сокетов

lagif
На сайте с 15.12.2004
Offline
30
#34

W.Ed., лично меня это не привлекает. сорри всем за флуд

VT
На сайте с 27.01.2001
Offline
130
#35

Вообще говоря, спайдер можно написать на любом языке - его производительность не слишком критична, так как основные потери уходят на пропускную способность канала. В плане быстроты создания робота предпочтительно использовать perl или php, конечно.

lagif, а что за поисковик у вас? Где-то можно посмотреть на выдачу?

WE
На сайте с 28.06.2005
Offline
18
#36

зашейпить канал до 32К

lagif, насколько я понял, ограничение на пропускную способность канала делалось на уровне сервера, это так?

lagif
На сайте с 15.12.2004
Offline
30
#37

Vyacheslav Tikhonov, Он работает пока для нашей конторы. Индексирует юа-нет:) Примерно через месяц(если скрестить пальцы :) ) будем анонсировать бета-версию... ух, и икнется ж мне... :). Берет большой страх.

W.Ed., да.

VT
На сайте с 27.01.2001
Offline
130
#38
будем анонсировать бета-версию... ух, и икнется ж мне...

Ну-ну, давайте, разнесем в пух и прах. :) Cлучаем не ProExt?

lagif
На сайте с 15.12.2004
Offline
30
#39

Vyacheslav Tikhonov, Нет!

VT
На сайте с 27.01.2001
Offline
130
#40
Нет!

Украинские поисковики в последнее время растут как грибы. Значит через месяц, практически в то же время, у вас появится еще один потенциальный конкурент.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий