Сервер на 1000 multi-curl потоков

Да, такая проблема есть :(

В России сейчас нет потребности в качественном по на заказ, но на западе уже существуют фирмы, занимающиеся аутсорсингом разработки по на заказ, насколько я знаю.

а vkontakte.ru по прежнему пофиг и они видят в простом php не проблему, а возможность.

Им пофиг, какой язык. Чем дешевле программеры, тем лучше. Нагрузка-то основная ложится на базу и на memcached-сервера.

Слава Шевцов, ну вот и вы почитайте что такое curl multi, прикиньте куда уходит нагрузка и прекратите ностальгировать. при существующем уровне развития curl спонсировать студенческие упражнения по книжке "unix network programming" невыгодно.

сейчас так не пишут. squid и nginx это исключения подтверждающие правила.

Boris A Dolgov, именно на труязыках пишут миллионы трупрогеров проги с тысячами трубагов, половину которых потом вылавливают сотни трутестеров, а остальную половину невинные юзеры, на которых тестится вечносырой трусофт, которые верят что трупрогеры труязыки это трукруто.

С/C++ уже лет 5 как оставлен для маньяков.

Создано очень много более качественных языков, которые уделывают Си как по удобству и читаемости, так и по функционалу, не теряя при этом ничего, а давая только больше.

Скорость зависит только от компилятора и никак от языка, если вы считаете иначе, то пишите на C++ дальше, возможно вам когда-нибудь все же осенит.

Я уже упоминал про баги? :)

Что там с конкретно этой задачей? Сможет с ней в принципе справиться один PHP скрипт?

P.S. На реальных задачах парсинг HTML-страницы на С в 1000 раз быстрее, чем строковыми функциями PHP. Сборка страницы по шаблону - так же. Например, у меня на С написан www.yakatan.ru Нагрузочные тесты показали, что на Celeron M 1.46Гц он отдаёт 50 тыс. (пятьдесят тысяч) страниц в секунду, каждая из которых генерится налету. При этом пишется вся статистика по запросам, по показам каждого найденного объекта и т.д. На PHP можно было бы молиться на 5 страниц в секунду. Хотя в достижимость этих 5 страниц в секунду я не верю.

Мой Вам добрый совет :

Выкиньте вы этот ПХП - он для отображения веб страниц , не для сервисов и тяжести всякой

Возмите питон

у него и парсинг нормальный и быстрый (регексп памяти не жрет столько, сколько жрет пхп), и треды у него настоящие, а не пллюшевые как у ПХП( пхп вообще не тредовым родился ) )

на си будет еще быстрее, но библиотеку регекспа нормальную , чтоб парсил большие тексты(ведь страница может быть более 64к.) я так и не нашел.

AlienZzzz добавил 20.12.2008 в 03:07

Так вот на чем ксапа то работает )))))

вы проверяете ссылки, запуская WGET в CRONе , оригинально )

да, от си сейчас отказываются, т.к. разработка на си не окупается практически. вы затратите 100к у.е.в на разработчиков за год, когда могли бы потратить 100к у.е.в на разработчиков ява на несколько месяцев, железо и каналы за год, еще и "секретаршу с кофе" и пару админов.

есть другой вариант, когда такая разработка уже есть и надо оптимизировать, тогда проще заказать аутсорс конвертацию в C отлаженного кода на яве или пайтоне. соответственно, оптимизировать затраты, поувольнять или перекинуть на другой проект разработчиков, добавить пару секретарш и хороший IT отдел.

хотя, само собой, есть проекты, которые пишут изначально на C или ассемблере.

ENELIS, Питон рвёт яву как тузик грелку :) Java для окончательно отупевших программистов, имхо тк был порядка года в штате американской компании в России, видел я чего они кодят, на питоне это решилось бы ну раза в 3 быстрее и проще.

Спалились :D

этот трусофт трунормально труработает только на трумашинах, при чем трукакмного времени. и трубагов в нем больше, так как делает его именно г^Wтрукодер, а не высококвалифицированный разработчик, который хотя бы знает, как работает память и почему в один массив пихать и строку, и объект, и число - само (и не только само) убийство.

Если Вы найдете мне такой компилятор для php, который уделает c++ на, например, анализе и переделывании длинной-предлинной строки по памяти и по времени, преклоюсь.

А если Вы считаете людей, которым нужна производительность и грамотрное распределение ресурсов - маньяками, то продолжайте так считать. Когда нужный сайт на пхп упрется в процессор, может быть осенит.

Boris A Dolgov добавил 20.12.2008 в 08:27

Все это на pcre работает :)

Там разве есть ограничения?

Boris A Dolgov добавил 20.12.2008 в 08:31

Ява подходит для коллективной разработки очень большой программы, ровно как и дотнет.

Пример - логикбоксес. Все постоянно жалуются, что ява на нем глючит, но если бы оно было написано не на полностью ОО-языке, там был бы полнейший бардак и не работало бы еще сильнее.

Там еще есть момент уменьшения производительности из-за того, что дело происходит можно в виртмашине.

Perl на данный момент вижу весьма нормальным языком. И регекспы в нем есть 😆