Сервер для питона

12
SeVlad
На сайте с 03.11.2008
Offline
1609
1380

Господа админы, подскажите куда смотреть, как и что правильно выбрать и тп.

В настоявший момент пишется ПО на питоне (не мной ;) ). Пока написание находится в зачаточной стадии но, как говорится готовим сани..

Это ПО должно будет работать на сервере. ПО многопользовательское (думаю, до 10 тыщ юзеров) и многопоточное: создающее много коннектов и обменивающееся данными со с множеством серверов (сотни тысяч). Будет разбор полученных данных (HTML, XML и тд).

Конечно же для хранения данных будет юзаться БД (опять же - много соединений).

Собсно вопросы такого плана: какой "набор" софта желателен\необходим для работы питон-скриптов на сервере, какую БД лучше заюзать, как насчет нагрузок и тп? Ну и если у кого есть опыт "эксплуатирования" питона для ВЭБа (и вообще в "многопользовательском режиме", под нагрузками) - прошу рассказать о подводных камнях и пр. проблемах..

Или это всё это один ВПС\ВДС не потянет?

ЗЫ. Python д\б 2.6 или 2.7 (под 3-ку вроде бы нет нужных библиотек)

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
yesRuslik
На сайте с 08.02.2009
Offline
178
#1
SeVlad:
Господа админы, подскажите куда смотреть, как и что правильно выбрать и тп.

В настоявший момент пишется ПО на питоне (не мной ;) ). Пока написание находится в зачаточной стадии но, как говорится готовим сани..

Это ПО должно будет работать на сервере. ПО многопользовательское (думаю, до 10 тыщ юзеров) и многопоточное: создающее много коннектов и обменивающееся данными со с множеством серверов (сотни тысяч). Будет разбор полученных данных (HTML, XML и тд).
Конечно же для хранения данных будет юзаться БД (опять же - много соединений).

Собсно вопросы такого плана: какой "набор" софта желателен\необходим для работы питон-скриптов на сервере, какую БД лучше заюзать, как насчет нагрузок и тп? Ну и если у кого есть опыт "эксплуатирования" питона для ВЭБа (и вообще в "многопользовательском режиме", под нагрузками) - прошу рассказать о подводных камнях и пр. проблемах..

Или это всё это один ВПС\ВДС не потянет?

ЗЫ. Python д\б 2.6 или 2.7 (под 3-ку вроде бы нет нужных библиотек)

На ВДС скорее всего софт будет глючить. Держать сотни тысяч конектов, парсить, складывать в базу на ВДС - сложно реализуемая задача. В целом попробовать стоит IMHO, вдруг нет реальных сотен тысяч конектов, база на 3 таблицы и парсинг - 500байт простого хтмл.

Для работы питона надо сам питон и его либы. :)

На нем активно делался сео-софт, спамилки-анализаторы-парсеры-чекеры и прочее. Инструмент для задачи Вы выбрали верно. Остальное зависит от программиста.

Аренда выделенных серверов (http://yeshost.ru/) от 69 евро VDS сервер (http://yeshost.ru/vds) от 7.95евро Виртуальный хостинг (http://yeshost.ru/virtualhosting)от 0.95 евро Windows VDS хостинг скоро (http://yeshost.ru/vds)
SeVlad
На сайте с 03.11.2008
Offline
1609
#2
yesRuslik:
Для работы питона надо сам питон и его либы

Ну это-то понятно :) Я к тому - апач же надо? нжинкс? А какие там модули..

Я пока смутно представляю что как нужно на серваке.. На десктопе для одного юзера теоретически понятно. Но вот как что на удалённом сервере... Я никогда сам не рулил (так, слегонца только апач\пхп ;) ) .. Да и тут скорее всего будем брать админа, но хотца понять что как организовать, какие возможные проблемы и вообще оценить целесообразность "затеи" ;)

yesRuslik:
Держать сотни тысяч конектов, парсить, складывать в базу на ВДС - сложно реализуемая задача. В целом попробовать стоит IMHO, вдруг нет реальных сотен тысяч конектов

Я не исключаю, что они могут быть не одновременно.. скажем в течении 5 мин 100К коннектов по 0,1-1,0 сек.. :) Мб я просто не правильно в стартпосте выразился?

neznaika
На сайте с 28.06.2006
Offline
356
#3
SeVlad:
Я пока смутно представляю что как нужно на серваке..

200-400 баксов за настройку жалко? Заплатите эксперту.

Дорого покупаю настоящие сайты. Не инвестирую деньги и не беру кредиты.
V
На сайте с 25.07.2006
Offline
128
#4
SeVlad:
Ну это-то понятно :) Я к тому - апач же надо? нжинкс? А какие там модули..

Я пока смутно представляю что как нужно на серваке.. На десктопе для одного юзера теоретически понятно. Но вот как что на удалённом сервере... Я никогда сам не рулил (так, слегонца только апач\пхп ;) ) .. Да и тут скорее всего будем брать админа, но хотца понять что как организовать, какие возможные проблемы и вообще оценить целесообразность "затеи" ;)


Я не исключаю, что они могут быть не одновременно.. скажем в течении 5 мин 100К коннектов по 0,1-1,0 сек.. :) Мб я просто не правильно в стартпосте выразился?

Вам нужен не админ.

Вы ведь не знаете чего именно добиваетесь и каким путями к этому идти.

Вам нужен системотехник, который уточнит и формализует техзадание, проанализирует возможные пути его решения и даст рекомендации по использованию ПО и железа.

У вас ведь, как я понимаю, еще обсуждается даже еще использование питона или какого-то другого языка...

Найдите опытного человека, уже реализовывавшего подобные проекты и пообщайтесь с ним несколько дней. Не забудьте сразу предложить ему хороший гонорар ;)

У вас еще этап "семь раз отмерь", вот и меряйте тщательно, чтобы потом не переделывать ;)

Приватный linux-администратор
pupseg
На сайте с 14.05.2010
Offline
364
#5

Необходима более точная формулизация задачи... "сотни тысяч коннектов"- это пока не о чем.

Что показывают ваши тестовые стенды ? БД - нужно понять вам нужна надежная, или быстрая СУБД? или и то и то ? почему бы не заюзать какой-нибудь oracle для этих целей, если записей будут миллионы?

сервер ....ну... Ваше ПО, вам же лучше знать - куда сделать уклон, в сторону памяти, в сторону CPU, а может у вас интенсивная дисковая запись, и уклон нужно сделать на диски ?

Качественная помощь в обслуживании серверов. (/ru/forum/661100) Бесплатных консультаций не даю, не помогаю, не обучаю. Минималка от 100$. Как пропатчить KDE-просьба не спрашивать. Есть форумы (http://linux.org.ru) и полезные сайты (http://www.opennet.ru/).
A
На сайте с 14.11.2011
Offline
34
alw
#6

В сторону google app engine не пробовали смотреть?

Администрирование linux, windows (/ru/forum/671883) icq 4831950
M
На сайте с 16.09.2009
Offline
278
#7
SeVlad:
Ну это-то понятно :) Я к тому - апач же надо? нжинкс? А какие там модули..

Можно и апач и nginx, и оба вместе. Детали технической реализации зависят от деталей вашего ТЗ, которое пока, гм, "смутное".

Во всяком случае, с VPS не стоило бы связываться - арендуйте сервер.

SeVlad:
Да и тут скорее всего будем брать админа, но хотца понять что как организовать, какие возможные проблемы и вообще оценить целесообразность "затеи" ;)

Никто вам не поможет оценить "целесообразность" черта в табакерке, ака НЕХ.

vapetrov:
У вас ведь, как я понимаю, еще обсуждается даже еще использование питона или какого-то другого языка...
Найдите опытного человека...

Ага. Читать умеющего, прежде всего...

Абонементное сопровождение серверов (Debian) Отправить личное сообщение (), написать письмо ().
SeVlad
На сайте с 03.11.2008
Offline
1609
#8
neznaika:
200-400 баксов за настройку жалко? Заплатите эксперту.

Я разве спрашивал - сколько\кому заплатить? (Этот вопрос предстоит ещё задавать, но позже и не в этом топике).

Задача топика другая.

Я вообще никогда никому не плачу денег непонятно за что. Одна из целей топика - понять за что.

vapetrov:
еще обсуждается даже еще использование питона или какого-то другого языка...

Нет! Питон однозначно.

vapetrov:
Найдите опытного человека, уже реализовывавшего подобные проекты

А я не это в стартпосте спрашивал?

vapetrov, может стоит внимательней читать стартпост?

alw:
В сторону google app engine не пробовали смотреть?

Хм.. нет.. Пока.. Но разраб заглядывает в топик ;)

pupseg:
Необходима более точная формулизация задачи... "сотни тысяч коннектов"- это пока не о чем.

Отчасти соглашусь. Но только отчасти :) Те, кто имеет(л) дело с похожими задачами как бэ должны понимать о чем я (я так думаю ;) ).

А вообще pupseg согласен во многом (кроме оракла ;) ).. Думать есть куда...

Я повторюсь - пока есть задумка сервиса. Уже началось написание скриптов (не мной). Но нужно знать какие сервера понадобятся и вообще оценить финансовую целесообразность (сервер за 500$ обслуживающий 10 юзеров явно на целесообразно).

Я понимаю, что моё "ТЗ" - не ТЗ вовсе, вилами по воде.. Но как мог максимально описал задачи. И надёюсь, что найдутся люди, реализовывающие\поддерживающие подобное ПО (со сходными "производственными процессами"). И помогут разобраться (и мб в дальнейшем сотрудничать)

bsyomov
На сайте с 25.01.2012
Offline
31
#9
SeVlad:
"производственными процессами"). И помогут разобраться (и мб в дальнейшем сотрудничать)

Да никто просто не сможет, по вашим начальным данным, оценить ни схожесть производственных процессов, ни их масштабы, а тем более какой-то конкретный сервер порекомендовать, поймите же это наконец.

pupseg
На сайте с 14.05.2010
Offline
364
#10
SeVlad:

Я повторюсь - пока есть задумка сервиса. Уже началось написание скриптов (не мной). Но нужно знать какие сервера понадобятся и вообще оценить финансовую целесообразность (сервер за 500$ обслуживающий 10 юзеров явно на целесообразно).
Я понимаю, что моё "ТЗ" - не ТЗ вовсе, вилами по воде.. Но как мог максимально описал задачи. И надёюсь, что найдутся люди, реализовывающие\поддерживающие подобное ПО (со сходными "производственными процессами"). И помогут разобраться (и мб в дальнейшем сотрудничать)

к сожалению в том то и дело, что по этим вводным данным пока ничего сказать нельзя.

если у вас сервис белый, и меня ДЦ не выгонит - то есть у меня мощнючий тазик, давайте протестим у меня, а там глядишь и сотрудничество сложиться.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий