- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть скрип парсинга контента (PHP)
На домашнем компе (Q6600, 8ГБ, SSD, W7 и денвер) я одновременно могу запустить только 2 копии (каждая копия работает в 5 потоков) парсера, если более система сильно подвисает. Если работает 2 копии, то загрузка ЦП около 50-60%
Вопросы:
1. Есть ли возможность запуска более 2 копий парсеров? (Как снизить нагрузку на ЦП)
2. Есть ли смысл взять выделенный сервер и на нем запускать более 2 копий парсера? Будет ли результат?
Если есть вариант переработать скрипт, то лучше сделать это.
Alexrad511,Простите, коим вопросом здесь хостинг? Вам в администрирование серверов по вашей логике. Но, позволю себе применить телепатию:
Грузит комп не денвер, а ваш скрипт. Так что разбирайтесь с ним сами, здесь в любом случае разделы не об этом.
Alexrad511, а при чём тут денвер, если у Вас скрипт кривой?
Переписывайте Ваш скрипт парсера, чтобы снизить нагрузку.
Сам когда баловался многопоточными парсерами на ПХП столкнулся с аналогичной проблемой.
Решение оказалось банальным - выставление задержки в цикле который проверяет количество не отработанных потоков.
(То-есть чтобы цикл проверил - если все потоки работают - ждет хотя-бы 0,01 сек и только потом повторяет проверку
usleep(10000); может поможет)
Также может антивирус/фаервол добавлять тормазов - соответственно нужно прописывать правила чтобы этот трафик они не проверяли и вообще процесс PHP добавить в исключения.
В php кажется нет поддержки не блокирующихся сокетов. Потому perl предпочтительнее. А cpp тем более.
В php кажется нет поддержки не блокирующихся сокетов. Потому perl предпочтительнее. А cpp тем более.
+1, если уж есть потребность парсить ОЧЕНЬ МНОГО, то cpp будет в разы актуальнее, и не забывайте что php интерпретируемый язык, приложение на cpp даже криво написанное (в меру) будет быстрее, и менее нагрузочное для системы.
купите копеечную впску, выставьте тайм лимит 0, за месяц отпарсите хоть полинета если по трафу не закроют...
парсить с домашнего интернета во много потоков полюбому паралельно чтото делать нереально....
AlexVenga добавил 07.08.2011 в 03:13
А тормоза потому что вы же не просто страничку скачиваете, вы скорее всего её ещё както обрабатываете как текст (а это ООООЧЕНЬ прожорливо к ресурсам), потом в базу/файл сохраняете, по этому и комп грузится. Если просто в 10 потоков выкачивать и сохранять, то будет намного проще - но это проще телепортом сделать....