redeyer

redeyer
Рейтинг
102
Регистрация
27.01.2010
Должность
linux system admininstrator
Интересы
computer, programming, linux, webdesign, copyrighting, seo, psyhology, psyhic, books, music (meloman - metall, classic, russian rock, instrumental) ,guitar
Администрирую сервера. Сделаю аудит и скажу где тормозит. А потом сделаю чтоб всё летало!
kostet0007:
Den73, На самом деле количество процессов апач запущенных сократилось после установке nginx. Хотя вполне вероятно что я это просто хотел увидеть, но мне показалось что реально уменьшилось)

Nginx в десятки и сотни раз производительней апача, но он умеет отдавать только статику. И делает это гораздо быстрее и практически без нагрузки на сервер. Если статики много, очевидно что это разгрузило немного апач.

kostet0007:

Про парсинг кстати и думаем, но наверное скорость работы будет медленная?
Сейчас отправка логов идет на пхп файл, хотел спросить нет ли варианта по стабильнее или понадежнее или это единственный вариант?

Не понял. Как это скорость будет медленная? какая разница на каком сервере разбирать и складывать в базу лог? Или скорость передачи имеете в виду? Так он при таком варианте будет даже быстрее отдаваться на другой сервер. А там будет парсить с той же скоростью, что и здесь, или быстрее, если там больше ресурсов.

Но вообще, для парсинга логов есть более подходящие вещи, чем php. Честно говоря я сам не сравнивал, потому как мне не приходило в голову парсить логи с помощью php. Я пользуюсь для этого стандартными линуксовыми утилитами - grep, awk, sed, sort и т. д. А ещё есть perl, который для этого и был придуман.

kostet0007:
Ребятушки, а где-то есть подробный мануал как заменить apache на nginx+php-fpm не конфликтуя с ISP manager. Или только полный деинсталл и установка помогут?

Nginx+FPM в ISP 5 только настраивается из коробки, в ISP 4 такой возможности нету. Там делается очень просто - установка php-fpm через меню "Возможности". Там же можно настроить режим работы вебсервера - включить php-fpm.

Затем нужно разрешить пользователю использовать эту связку. И наконец переключить режим работы на nginx+fpm для нужного сайта. Тут надо понимать, что после переключения текущая конфигурация nginx+apache будет удалена, поэтому если у вас там какой-то кастомный конфиг следует его забэкапить перед тем, как что-то делать, чтобы была возможность быстро откатить, если понадобится.

kostet0007:
У меня на вдс стоит прием логов: т.е. от клиента отправляются логи и пхп скрипт их сортирует, фильтрует и некоторые строки закидывает в бд другой вдс. Если удаляешь файл приема логов, то процессы спускаются до нормальной отметки 90-100, а при включенном процессов набирается до 500, а то свыше.

В чем может быть проблема не подскажите? Слабая ВДС или же кривой скрипт и как можно решить проблему

Это действительно кривоватое решение, особенно если ресурсов на самом деле не хватает. Для разгрузки этого впс я бы рекомендовал настроить отправку логов как есть на другой VPS, а там уже парсить и класть в базу. Отправлять можно с помощью rsyslog, можно просто сделать костыль с помощью nc и именованного пайпа, можно синхронизировать по крону, в конце-концов.

Если же нет возможности парсить на том впс, или это нужно делать обязательно здесь, попробуйте запускать скрипт парсинга не через apache, а напрямую из консоли (php-cli). Если же и это невозможно, то действительно следует смотреть в сторону замены апача на php-fpm. Я свои сайты только на этой связке и держу.

kostet0007:
Уже не первый вижу такой совет, а что с апачем не так?
levchernenko:
нерационально память кушает

Апач в принципе не способен на хоть какой-нибудь hi-load. Апач хорош тем, что универсален - поставил и заработало. Но там где нужна производительность и большие нагрузки - следует отказываться от него не раздумывая. И дело вовсе не в памяти. В первую очередь нагрузка идёт на CPU. nginx+php-fpm показывает как минимум в 3-5 раз лучшую производительность и скорость. Я писал кейс по смене apache на fpm, там всё наглядно есть.

Astaldo:
рям то, что надо, можете растолковать что такое "cat keys.txt |sort|uniq -c -i|sort -n -r > sorted-with-count.txt" ?

Это стандартные утилиты linux. Они есть на любом VPS, через консоль(bash) запускаете обработку. Вместо файла keys.txt указываете путь к своему файлу, вместо sorted-with-count.txt произвольное имя для файла, куда вы хотите сохранить результат обработки.

Утилита cat извлекает все что есть из файла keys.txt, отдает результат утилите sort, которая выстраивает ключи в алфавитном порядке, чтобы дубли сгруппировались. Это нужно, чтобы затем утилита uniq могла определить неповторяющися ключи, при этом запущенная с ключом -с она подсчитывает количество повторений каждого ключа в группе и выводит уже список в виде "количество - ключ". Результат снова передается утилите sort, чтобы она отсортировала уже ключи по частотности, при этом по умолчанию она отсортирует по возрастанию, а ключ -r переворачивает её результат, чтобы он был по убыванию. Таким образом самые высокочастотные ключи будут первыми в списке.

Artisan:
Это люди показывают, что они
не умеют читать описания прилад.

"cat" лишний в обоих случаях.

"sort" может работать
с файлом на диске.

Ну ладно уж, сделайте скидку, мы просто пока еще не такие гуру и вместо умничанья, отсылки в гуглы и чтения описаний "приклад", мы сразу даём работающее решение. По поводу cat - это не имеет особого значения.

В данном случае я привык использовать так, чтобы не путаться в синтаксисе с пайпами и есть мнение, что cat считывает файл на stout гораздо быстрее, чем это сделает sort. Даже если вспомнить философию unix-way - каждая утилита делает что-то одно, но делает это наилучшим способом.

Фома:
Ага, с особо сообразительными будет минимум: "... да, конечно, можно посмотреть на нашем сайте ансвит_точка_ком.. нет, эс как доллар, вэ не галочка, а дубль вэ... ". Я уже не говорю про остальных.

тут соглашусь, но у меня не было цели сделать его максимально простым на слух) Но если такую цель поставить - можно сделать и такой домен, вообще никаких проблем.

ну вот я придумал для своего сайта домен answit.com . Вроде и набор букв, но мне нравится. Главное чтобы оно звучало нормально, и было понятно как пишется когда диктуют на слух. +желательно чтобы тематика хоть немного угадывалась. Другой сайт - vpsadm.ru. Тоже набор букв. И таких доменов бесконечное количество, ограничение только в фантазии :)

colorito:
Интересно, справится ли?

cat keywords.txt | sort | uniq > new_keywords.txt

Справляется. Я тоже парсил прямой эфир и потом этими утилитами обрабатывал. Самый лучший способ - это сделать список с частотностями. Я делал вот так:

cat keys.txt |sort|uniq -c -i|sort -n -r > sorted-with-count.txt

На выходе получаем файл со списком ключей и их частотностью, за период парсинга. Т.е все "дубли" будут собраны в кучки и посчитаны. После этого файл в сотни раз уменьшится.

Примерно вот такой список (выделен красной рамкой):

А потом уже можно ковырять эти списки другими операторами, анализировать, формировать семантические ядра по тематикам и нишам и т. д. Ну вот, на этом же скрине видно как я распарсивал и подчитывал ключи по частотностям.

yobss:
По-настоящему хороших доменов совсем без истории в зоне .RU осталось мало.
А если речь про gtld, то и подавно.

А что значит "по-настоящему хороших"?) По каким признакам вы определяете "настоящую хорошесть"?

И я не из праздного любопытства, мне на самом деле очень интересно, по каким критериям можно оценить качество домена. Количество букв? Соответствие слов тематике, домены-ключи? Какой критерий для вас приоритетный?

Я, например, думаю запас "по-настоящему хороших" доменов неиссякаем. Обычно для своих проектов вариантов по 10 обдумываю, и все хорошие подходящие, среди них выбираю наиболее понравившийся. Причем, в любой зоне. Разумеется, без какой-бы то ни было истории.

Через RDS можно посмотреть примерную историю пузомерок и индексации проекта, а также склейки. Помогает принять решение.

KrutE:
Напрягает одно - теперь перегревы чаще, похоже кулер надо помощнее

Соглашусь с предыдушим постом - чистка помогает. Для начала даже мощным пылесосом по решеткам пройтись может помочь. Если это не даёт результата - то разборка и основательная чистка точно должна помочь.

87793:
А это у кого как :p.

Ну я утрировал, тем не менее срок жизни и устаревания техники на сегодняший день примерно такой. Так-то я и сам не любитель обновления девайсов пока работает старое. У меня ноут thinkpad-t420 отлично работает с 2012, год назад как раз в нем заменил hdd на ssd и это вторая жизнь для него, сейчас всё летает. Я это сказал чтобы подчеркнуть контраст соотношения надежности и скорости. В скорости и производительности выигрыш в разы, а то и в десятки раз, но в надежности проигрыш в несколько процентов, если вообще есть.

Десктоп старенький тоже крутится с 2009 года, и отлично выполняет функции медиацентра, будучи подключенным к плазме, опять же, не первой свежести.

Просто надо понимать баланс. Для человека важнее выигрыш в надежности, которую надо рассматривать под микроскопом, для меня и большинства людей важнее производительность и скорость, заметную сходу.

Кстати, SSD я думаю покупают чаще как раз те, кто хочет сделать наиболее эффективный апгрейд старого компа при минимальных затратах и тем самым продлить пресловутые 5 лет. Ведь диск - это самое узкое место в производительности современных аппаратных платформ. Отсюда и такой заметный выигрыш.

Всего: 339