search spider

alyak, вообще-то, правила для роботов - это хороший тон... ну да, у каждого своя философия.

Это не философия - это опыт эксплуатации. Я многое делаю по другому чем кажеться что надо так. Проходит время и понимаешь как проще съэкономить и время и деньги и нервы.

alyak, я и не спорю. флудим мы с вами просто...

Сейчас на четвертый раз переписал краулер....

av.speed(Gb):4.0/day;119.7/month (без индексатора, просто проход по ссылкам) - один скрипт (запускает необходимое количество сокетов)

цифры довольно приблизительны, и зависят по большому счету от ширины канала.

celeron 900, было задейстовано в среднем 60-70% от мощности процессора + 20 mb RAM

при сохранении сжималось gzip (не очень сильно)

2 lagif, хотелось бы как-нибудь сравнить оптимальность работы наших краулеров...

Если у кого-то есть другие цифры, тоже хотелось бы посмотреть - для интереса, на что можно ориентироваться. (или я перебрал ?:))

W.Ed., А скорость канала?

lagif, если посчитать, то треть мегабита/сек.

я тестировал на одном компьютере, поэтому и хочу узнать какие-нибудь более реальные цифры. У меня просто около 30 сайтов с различной структурой находятся локально под апачем (один из них на более чем 20000 страницах). А отсутствие пауз в запросе-ответе компенсируется тем, что идет нагрузка на сам веб-сервер и подсовываются некоторые несуществующие адреса.

W.Ed., Судя по моей статистике, несуществующих адресов не так уж много (то есть тех, которые вообще не резолвятся в DNS), если парсить правильно ссылки. У меня канал, увы, куда уже вашего :), и вместе с полным парсингом страниц и включенным индексатором (сейчас, разумеется, тянутся только html-лины и doc-и), прочитыватеся avg. 3,5GB/day. Сама я такую статистику не веду - это шеф мой следит. :) Потому что канал тоже денег стоит... :)

Ну, и проц от AMD, работающий реально на 1400 МГц. Память - 255... скорость диска (а это тоже важно, на мой взгляд) - 7400...

0,33(1851) kbit/s

вот блин... математика :)

ошибся - 0,37(9259) kbit/s получается у меня, а не мегабит :)

похоже тут действительно какой канал будет (с сооветственным улучшением остального железа), такая скорость и будет

W.Ed., 0,33 Кбит? Физически при такой скорости за сутки 4Гб не скачать. Посмотрите, правильно запятую поставили?