Дорвейщики линуксоиды

BredoGen.
На сайте с 19.10.2009
Offline
98
#41
bliiiiiiiiina:
Задам простой вопрос. Как запустить Red.Button на убунту? Что надо прикрутить или запустить?

Нужно поставить Apache и прикрутить к нему PHP. Установка довольно простая, всё это уже должно быть в репозитариях убунты.

Вот здесь есть мануал: http://php.su/prepare/?apache_php_unix

GG
На сайте с 09.10.2009
Offline
19
#42
BredoGen.:
Нужно поставить Apache и прикрутить к нему PHP. Установка довольно простая, всё это уже должно быть в репозитариях убунты.
Вот здесь есть мануал: http://php.su/prepare/?apache_php_unix

еще, не дай бог, подумают люди, что надо что-то собирать из исходников

в мануале нет ничего полезного, применительно к debian/ubuntu

http://www.howtogeek.com/howto/ubuntu/installing-php5-and-apache-on-ubuntu/

от 0.24$ за регистрацию и пополнение баланса - FotoCash (http://fotocash.ru/?ref=356556343) джаббер:gray_graff@jabber.ru
response
На сайте с 01.12.2004
Offline
324
#43

Упертые виндусятники долбят винду и тюнят софт, а неупертые виндусятники сбегают в стан врага при первом же шухере.

Вот, пожалуйста:

Это скрин папки кеша нескольких проектов. Все это добро ворочается только в путь, на некоторых проектах под профайлером в топ по жирности вылезает работа с регэкспами, а лишь за ней идут операции чтения-записи. Да, пришлось повозиться, испробовать не один вариан организации работы с диском. Но в общем и целом при должном подходе нтфс вполне себе ничего вещь (глазами прикладного программиста, работающего с ней исключительно на уровне .net оберток, и выигрывающего за счет тюнинга архитектуры приложения).

Я почти уверен, что положи ваш дорген под профайлер, можно будет уже за первый вечер ускорить его раза в два-четыре. Попахивает предвзятостью, но судя по тому, как легко вы отметаете винду и выбираете линух (кстати, там уфс или что?), я склонен сделать вывод, что никакой оптимизацией в вашем продукте и не пахнет. Может я ошибаюсь, в любом случае, ничего личного. Хотите добиться истины - покажите код, а еще лучше - отчет профайлера ;)

зы

чуть позже выложу другой скрин, по всем проектам, лежащим в одной папке. Там статистика еще собирается :)

Однопоточный парсер ключевых слов Магадан (http://magadanparser.ru) (со свистелками) Многопоточный парсер ключевых слов Солнечный (http://sunnyparser.ru) (без свистелок)
wizzer
На сайте с 23.02.2009
Offline
152
#44
response:
Упертые виндусятники долбят винду и тюнят софт, а неупертые виндусятники сбегают в стан врага при первом же шухере.

я упоротый виндузятник :D

//wizzer Проверенный временем опен впн сервис. (http://openvpn.cc) Перестань переживать за свою анонимность.
response
На сайте с 01.12.2004
Offline
324
#45

Вот, вроде посчиталось:

Это текущий рабочий кеш парсера. Понятно, что писалось все не за один раз, но при некоторых операциях промежуточного файла производится примерно столько же, и ниче, нтфске нормально. Как уже говорил, кое-где в топ жирности вылазят строчки по работе с не особо сложными/кривыми регэкспами (например на проектах, где каждый документ содержит много сущностей, например стата ливера с соткой кеев и сопутствующей кеям инфой на странице, или маркет, в котором из-за большого разнообразия разнотипных объектов, приходится каждый раз динамически выщемлять со странички поля характеристик, и т.д.)

GG
На сайте с 09.10.2009
Offline
19
#46

господа программисты .net, а чеб вам не писать на mono ?

вроде тот же .net, но зато с кроссплатформенностью все в порядке

вот бы и потестили ;)

entropy
На сайте с 21.09.2007
Offline
43
#47

response, да не требуется доргену никакой оптимизации. По крайней мере на данный момент скорость устраивает даже в винде. 8-10 секунд в винде на один дор вполне нормальный результат.

Получется 100 доров менее чем за 20 минут.

Регекспы, действительно медленнее работают. В доргене вынесены в отдельный блок кода. И также формирование некоторых структур данных вынесено. Поэтому в самом начале генерации некоторое время отнимает обработка текста.

Обработка данных при генерации дора занимает около двух секунд как в винде , так и в линуксе, запись на диск остальное время. В линуксе дор на 1600-1800 паг делается за 3 секунды, в винде за ~8 секунд. Вот и получается, что в винде узким местом оказываются файловые операции.

Еще раз говорю, что все познается в сравнении.

Винду я не отметаю, зачем бы стал писать виндовую версию?

Но в линуксе 8 лет работаю. Это уже давно моя основная система. Винда так, чтобы магаданы всякие запускать, ничего личного. И разговор я этот затеял, потому что s91 прицепился к ТС, что тот хочет слезть с винды, а я наоборот, считаю это нормальным явлением. Кому как удобнее, как говорится.

В отношении файловых систем, там не UFS. UFS во фре. А в линуксе родной считается ext3/ext4

Долгое время популярна была reiserfs, она еще быстрее работала. Но ее автор, Рейзер убил свою жену, и его в тюрьму посадили. reiserfs давно не разрабатывается должным образом, а жаль.

entropy добавил 21.12.2009 в 22:52

gray_graff:
господа программисты .net, а чеб вам не писать на mono ?
вроде тот же .net, но зато с кроссплатформенностью все в порядке
вот бы и потестили ;)

Ну ее нафиг, жалкое подобие дотнета. Сборщик мусора вообще никакой, винформз отстой, косяки и пр. Я кстати, дорген начал на дотнете писать, потом на c++ переключился. На некоторых участках кода скорость в 6-7 раз увеличилась.

response
На сайте с 01.12.2004
Offline
324
#48
entropy:
response, да не требуется доргену никакой оптимизации. По крайней мере на данный момент скорость устраивает даже в винде. 8-10 секунд в винде на один дор вполне нормальный результат.
Получется 100 доров менее чем за 20 минут.
Регекспы, действительно медленнее работают. В доргене вынесены в отдельный блок кода. И также формирование некоторых структур данных вынесено. Поэтому в самом начале генерации некоторое время отнимает обработка текста.
Обработка данных при генерации дора занимает около двух секунд как в винде , так и в линуксе, запись на диск остальное время. В линуксе дор на 1600-1800 паг делается за 3 секунды, в винде за ~8 секунд. Вот и получается, что в винде узким местом оказываются файловые операции.

вот честное слово, из того, что выше написано - вовсе не получается. не знаю, что с ext4, но ext3 года два-три назад однозначно уступала ntfs по скорости записи больших файлов. Так что продолжаю сомневаться в эффективности "вынесения в отдельный блок кода".

entropy:
Но в линуксе 8 лет работаю. Это уже давно моя основная система. Винда так, чтобы магаданы всякие запускать, ничего личного.

Всякие магаданы запускаются на юнихе, в чем проблема? 😂

Не, серьезно, я бы задумался над тем, как реализована работа с данными на уровне программы, или даже над апаратной частью. Не верю, что винда при прочих равных так сильно тупит из-за фски. Ну, т.е. не заведомо это отрицаю (если речь не про ext3, по которой я видел выжимки по результатам сравнительных экспериментов), но почти уверен, что нтфс не тупее.

А за вопрос этот я зацепился только потому, что упертый маздайщик :)

entropy
На сайте с 21.09.2007
Offline
43
#49

А с мелкими файлами случайно теста не видел?

Я видел один тест, правда в нем ntfs-3g, базирующийся вроде как на родном драйвере.

Так вот в том тесте ext3 делает ntfs, и немножко побыстрей UFS.

А так, по субъективной оценке простое копирование множества мелких файлов сравнить, и разница будет ощутимой.

Для больших файлов XFS рекомендуют, но ей требуется хорошая упса, при резете может слететь.

response
На сайте с 01.12.2004
Offline
324
#50
entropy:
А с мелкими файлами случайно теста не видел?
Я видел один тест, правда в нем ntfs-3g, базирующийся вроде как на родном драйвере.
Так вот в том тесте ext3 делает ntfs, и немножко побыстрей UFS.
А так, по субъективной оценке простое копирование множества мелких файлов сравнить, и разница будет ощутимой.
Для больших файлов XFS рекомендуют, но ей требуется хорошая упса, при резете может слететь.

про мелкие ничего не скажу, ибо не помню уже. так или иначе, толпа мелких файлов превращается в один большой за два вечера, и получается еще красивее, кстати 🍻

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий