- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
хм...
4 Гбайт/день = 4*1024*1024*8 Кбит/день = 33554432 Кбит/день = 388,36(148) Кбит/с (может еще раз ошибся :)?)
проще все-таки в гигабайтах считать :)
388 Кбит != 0,33 Кбит
я так понимаю, что у вас скорость чуть выше.... а 388 Кбит/с = 0,37890625 Мбит/с так что в первый раз я сказал правильно (про треть мегабита/сек) :)... мда.. не поспал ночку - уже и считать разучился..
Сравните с dataparksearch, 260 килобайт/сек., вместе с индексированием:
http://www.dataparksearch.org/cgi-bin/simpleforum.cgi?fid=03&topic_id=1089195740
Ага, 60 потоков, на скорости 10мб.... :)
Есть еще такой open source проект Larbin. На их странице написано, о производительности в 5M индекируемых страниц в сутки.
Проект на мой взгляд достаточно интересный, вполне "читабельно" написан на С++, сокеты обрабатываются в poll, имеет собственный DNS резолвер, отдает статистику о своей работе прямо по http, и т.д.
Сравните с dataparksearch, 260 килобайт/сек., вместе с индексированием:
One anonymous DataparkSearch user made indexing speed test on 10Mb connection.
FreeBSD 5.1
Pentium IV 2.6GHz, 1G RAM
Two 76319MB <ST380011A> [155061/16/63] at ata2-master UDMA100 in RAID1
MySQL 4
DataparkSearch 4.22-01072004 with cache mode, cached runned in old mode
60 indexing threads were runned, every thread took 2-3 kbytes/s, thus overall indexing performace was about 120-180 kbytes/s
Totaly about 240000 pages in 6,6G were indexed.
Не сравнить с моим Celeron 900 256 RAM и обычными винтами... Datapark по-моему не использует канал полностью, для него более важна мощность сервера.
и другой тест...Total 3617 seconds, 28373 documents, 969663000 bytes, 261.80 Kbytes/sec - это ~21,5 Гб/день при минимальной ширине канала в 2.04 Мбит/с...
На их странице написано, о производительности в 5M индекируемых страниц в сутки.
The current version of Larbin can fetch 5,000,000 pages a day
Это не 5М, 5млн страниц... 5 М в сутки это маловато :)
Не сравнить с моим Celeron 900 256 RAM и обычными винтами... Datapark по-моему не использует канал полностью, для него более важна мощность сервера.
Вы забыли одну маленькую детальку: у DataparkSearch при этом ещё идёт индексирование, а у вас только выкачивание. Ну и естественно, при достаточно широком канале всё уприрается в скорость записи на винт.
Ну и если сравнивать dpsearch 4.22 и 4.31 (последнюю версию), то последняя по скорости раза в два быстрее (наглазок).
The current version of Larbin can fetch 5,000,000 pages a day
Это не 5М, 5млн страниц... 5 М в сутки это маловато :)
Маловато для чего? 5 000 000 000 * 25Kb(размер страницы) = ~120Gb html страниц в сутки. Вы можете построить индекс в 120Gb за 1 сутки на PC c стандартной конфигурацией?
Zute, Ну, и у меня индексирует тоже... и что с того? На ширине канала 10Мбит и с количеством потоков - 60, еще неизвестно, кто будет индексировать быстрее... :)