За 7 ТВ требуют денег. Кто сказал, что траф мой?

1 23
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#21
iHead:
Это возможно, если:
1) используется связка nginx+Apache, при этом логи пишутся Apache (Apache быстро отдал файл nginx'у, атот медленно отдает клиенту). В этом случае логи надо писать на уровне nginx.
2) используется кеширующий сервер (прокся) с хорошей скоростью (контент быстро забрался по сети, а до конечного компьютера еще не дошел). В этом случае трафик реально отдан сервером.

Данная аномалия зафиксировано при использовании исключительно Apache , никаких связок, ничего.... проверьте... я долго ломал голову сам ;)

Romka_Kharkov добавил 04.06.2011 в 22:44

AlexVenga:
Прошу прощения, за возможно нубский вопрос, ибо в никс системах пока слаб. Но разве нет какой-либо софтины, которая бы вешала на все порты сетевой карты демона, который писал бы данные по каждому пакету, неважно какой протокол, главное что пакет пришел или ушел? Тогда бы логировалось все.

Есть :) Только уровень немного другой, порты не важны, важен вход и исход побайтный на исходящем интерфейсе.

Romka_Kharkov добавил 04.06.2011 в 22:47

IQPartner:

Кстати, что такое RRD?

Вообще-то это база данных ;))) Если смотреть в корень, но используется она для хранения инкрементных данных приобразовывая их по некой формуле, яркость заключается в том, что размер базы не меняется от количества данных, они просто агригируются в следующее значение и могут быть вытащены за любой период согласно алгоритму.

Настоятельно рекомендую использовать rrdtool + perl вместо MRTG.

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)
iHead
На сайте с 25.04.2008
Offline
137
#22
Romka_Kharkov:
Данная аномалия зафиксировано при использовании исключительно Apache , никаких связок, ничего.... проверьте... я долго ломал голову сам ;)

проверил, Apache 1.3.41, прямой коннект через wget, стопаю закачку файла по control+c. расхождение между тем, что реально принято на диск и по строке в логе апача - 0.09%. т.е. фактически расхождения нет, т.к. эти 0.09% скорее всего оказались в буфере wget, который не сбросился на диск.

Рекомендуемый хостинг партнер 1С-Битрикс (https://www.ihead.ru/bitrix/), PHP-хостинг (https://www.ihead.ru/php/), доверенный партнер RU-CENTER (https://www.ihead.ru/news/573.html), официальный представитель REG.RU в Кирове (https://www.ihead.ru/news/851.html)
Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#23
iHead:
проверил, Apache 1.3.41, прямой коннект через wget, стопаю закачку файла по control+c. расхождение между тем, что реально принято на диск и по строке в логе апача - 0.09%. т.е. фактически расхождения нет, т.к. эти 0.09% скорее всего оказались в буфере wget, который не сбросился на диск.

Вы хотите сказать что в моем примере я за 2 секунды получаю в Украине 200MB из Канады?

Я был бы весьма рад такой скорости :D :D :D Просто Get формируется на момент старта просмотра. обращение к файлу есть, но это вовсе не означает что 200MB уже заехали клиенту....

Что бы было более предметно рассказываю:

Открываю к примеру вот этот линк: http://video.kruaze.kharkov.ua/viewtopic.php?f=8&t=24, нажимаю в первом ролике Play, жду 2 секунды ровно, и потом тыкаю на любую другую ссылку которая уводит меня с этой страницы, при этом получаю в логе апача следующее:

my.ip.there - - [04/Jun/2011:15:26:23 -0400] "GET /video/kh-oblast-2010-2011-etap4/Zond-Ovsyannikov/frame1.flv HTTP/1.1" 200 229555542 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"

Т.е 229 мегабайт за 2 секунды, тоесть 114 мегабайта за 1 секунду, и получаем около 900 мегабит? :) Если просто качаю путем wget ... ETA ~= 5min :)

Или я упускаю что-то важное?:)

Romka_Kharkov добавил 04.06.2011 в 23:34

iHead:
расхождение между тем, что реально принято на диск и по строке в логе апача - 0.09%

О каком расхождении речь? Апач разве выдает вам в логе сколько было отдано процентов от файла? он пишет там общий размер файла (фактический) который был якобы отдан клиенту .... Вы что-то путаете IMHO.

Если посмотреть тот же файл у меня на винте:

-rw-r--r-- 1 kruaze kruaze 229555542 Apr 21 11:38 video/kh-oblast-2010-2011-etap4/Zond-Ovsyannikov/frame1.flv

Понимаете теперь о чем я?:) кто-то зашел на 10 аналогичных ссылок, тыкнул, посмотрел по 2 секунды и закрыл все 10... у меня фактически по логам 2,2 GB отдано, но это БРЕД :D А всякие вебалайзеры и прочие анализаторы логов явно покажут 2.2 GB :)

iHead
На сайте с 25.04.2008
Offline
137
#24
Romka_Kharkov:
Вы хотите сказать...
Или я упускаю что-то важное?:)...

http://httpd.apache.org/docs/1.3/mod/mod_log_config.html#formats

%...b: Bytes sent, excluding HTTP headers. In CLF format

дефолтные форматы

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

Походу в Apache 2 немного по иному

http://httpd.apache.org/docs/current/mod/mod_log_config.html#customlog

%b Size of response in bytes, excluding HTTP headers. In CLF format, i.e. a '-' rather than a 0 when no bytes are sent
...
%O Bytes sent, including headers, cannot be zero. You need to enable mod_logio to use this.
Mage1
На сайте с 05.07.2007
Offline
83
#25

Может не в тему, но что это за тариф 450 фунтов стерлингов за 4,5 ТБ, 100 фунтов за террабайт (!). В хетзнере, к примеру, 6.9 евро за террабайт :/ Даже если будет перерасход, не обанкротишься...

Romka_Kharkov
На сайте с 08.04.2009
Offline
485
#26
iHead:

Походу в Apache 2 немного по иному

Cуть остается прежняя, 200 МБ я за пару секунд никак получить не мог, а в логе они отмечены. :(

iHead
На сайте с 25.04.2008
Offline
137
#27
Romka_Kharkov:
Cуть остается прежняя, 200 МБ я за пару секунд никак получить не мог, а в логе они отмечены. :(

так поправьте LogFormat, вместо %b поставьте %O

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий