CentOS + Xen + аномалии

485

Romka_Kharkov

4 декабря 2013, 16:48

935

Добрый день,

Заметил сегодня интересную аномалию, пока пояснить не могу,

1. Есть машинка на ней крутится XEN.

2. Есть блок /30 для организации связи с самим Dom0, тут вопросов нет.

3. Есть блок /27 дополнительных адресов (условно 1.1.1.0/27)

4. Есть блок /27 дополнительных адресов (условно 2.2.2.0/27)

Сеть настроена следующим образом:

Блок /30 - все просто, доступ чисто в Dom0, из двух дополнительных блоков 1 ИП повешен на стороне Dom0 как шлюз, остальные ИП выдаются собственно в VM.

Аномалия выглядит следующим образом, запускаю у себя на компе 3 окошка ping на шлюзы со стороны Dom0, т.е ипшник из /30 блока и 2 адреса условно 1.1.1.1 и 2.2.2.1... пинги идут нормальные, потерь нет, ничего нет, все в норме.

Рядом запускаю точно такие же 3 пинга только в сторону самих VM которые находятся внутри /27 сетей.... с завидной регулярностью получаю серьезный packet loss, причем не пару процентов.... а доходит до 20-30-40%.... причем проблема с любой VM хоть в первой подсети , хоть во второй. Вчера перелазил по всем CORE пересмотрел всю маршрутизацию, там все чисто..... стало быть начинаю грешить на XEN / настройки Dom0.

Переводя на русский язык: IP адреса поднятые на стороне Dom0 - пингаются "без единого разрыва", те же IP адреса которые выдаются на VM - с мега проблемами пингаются почему-то, замечено так же что в момент пропадания ICMP ответов не доступно так же TCP..... стало быть это не файрволы и.т.п

Спрашивайте, подсказывайте, спасибо.

Пока в растерянности.

Есть около 15.000 ipv4 !!! (http://onyx.net.ua/price.php#ipv4) Качественный хостинг с 2005 года - лучшее клиентам! (http://onyx.net.ua/)

143

seocore

4 декабря 2013, 18:14

#1

Romka_Kharkov:
стало быть это не файрволы и.т.п

возможно какой-то флажочек в ядре, что-то из разряда - net.ipv4.tcp_ecn и т.п.

Инструменты для веб-мастера: кластеризатор СЯ (https://goo.gl/MQWfqO), все запросы конкурента (https://goo.gl/hd5uHS), дешевые XML-лимиты (https://goo.gl/aDZbPI)

347

pupseg

4 декабря 2013, 20:34

#2

а в обратную сторону, со стороны VM на ваш хост, с которого вы пинговали VM до этого ?

так же теряется ? проблема одинакова со всех узлов за пределами Dom0 и с VM до этих узлов? у меня это было на хецнере как то....но грешу скорее на хецнер

Качественная помощь в обслуживании серверов. (/ru/forum/661100) Бесплатных консультаций не даю, не помогаю, не обучаю. Минималка от 100$. Как пропатчить KDE-просьба не спрашивать. Есть форумы (http://linux.org.ru) и полезные сайты (http://www.opennet.ru/).

I2

34

iwant2beahoster

5 декабря 2013, 00:17

#3

С одной стороны запустить ping с другой стороны послушать tcpdump. Может это что-то прояснит.

Брижди смотрел?

485

Romka_Kharkov

5 декабря 2013, 03:58

#4

seocore:
возможно какой-то флажочек в ядре, что-то из разряда - net.ipv4.tcp_ecn и т.п.

Если можно чуть подробнее, буду весьма признателен. Я тоже почему-то смотрю в сторону настроек.... Хотя честно говоря чувствую , что машинка простаивает, т.е там нет напруги..... Был бы там средний трафик 90MB/s я бы все понимал, а так там в пики мегабит 5.... т.е явно какая-то бяка.

485

Romka_Kharkov

5 декабря 2013, 04:03

#5

pupseg:
а в обратную сторону, со стороны VM на ваш хост, с которого вы пинговали VM до этого ?
так же теряется ? проблема одинакова со всех узлов за пределами Dom0 и с VM до этих узлов? у меня это было на хецнере как то....но грешу скорее на хецнер

В обратную сторону не пробовал, но думаю что нечто похожее, хотя как выясняется проблема весьма не стабильно себя ведет, например прямо сейчас отпинговал 3 VM машинки ... пинг замечательный - 0% loses, но в остальное время перегрузок каналов не обнаружено ни где....

Прикрепляю смешной граф нагрузки на свич-порт. ;(

png port-21-day.png

485

Romka_Kharkov

5 декабря 2013, 04:05

#6

iwant2beahoster:
С одной стороны запустить ping с другой стороны послушать tcpdump. Может это что-то прояснит.
Брижди смотрел?

Говорю же, пропадает даже TCP... Но более детально сегодня еще раз буду проверять.....

Бриджи смотрел, думаю может STP выделывается, но там как-то тихо, стоимость путей вроде в норме, хотя я может че-то не так понимаю:

# brctl showstp xenintbr
xenintbr
bridge id 8000.feffffffffff
designated root 8000.feffffffffff
root port 0 path cost 0
max age 20.00 bridge max age 20.00
hello time 2.00 bridge hello time 2.00
forward delay 0.00 bridge forward delay 0.00
ageing time 300.01
hello timer 0.81 tcn timer 0.00
topology change timer 0.00 gc timer 0.01
flags

vifvps40 (14)
port id 800e state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 800e forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

vifwolg0 (13)
port id 800d state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 800d forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

vifttre0 (12)
port id 800c state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 800c forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

viftnie1 (11)
port id 800b state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 800b forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

viftnie0 (10)
port id 800a state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 800a forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

viftnie3 (9)
port id 8009 state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 8009 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

viftnie4 (8)
port id 8008 state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 8008 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

viftnie2 (7)
port id 8007 state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 8007 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

vifsall0 (6)
port id 8006 state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 8006 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

vifsall1 (5)
port id 8005 state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 8005 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

vifchea0 (3)
port id 8003 state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 8003 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

peth2 (2)
port id 8002 state forwarding
designated root 8000.feffffffffff path cost 19
designated bridge 8000.feffffffffff message age timer 0.00
designated port 8002 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

vif0.2 (1)
port id 8001 state forwarding
designated root 8000.feffffffffff path cost 100
designated bridge 8000.feffffffffff message age timer 0.00
designated port 8001 forward delay timer 0.00
designated cost 0 hold timer 0.00
flags

&

# brctl show
bridge name bridge id STP enabled interfaces
xenintbr 8000.feffffffffff no vifvps40
vifwolg0
vifttre0
viftnie1
viftnie0
viftnie3
viftnie4
viftnie2
vifsall0
vifsall1
vifchea0
peth2
vif0.2

Что еще посмотреть? Я все таки склонен к переполнению каких-то буферов и значений..... но при таком мизерном трафике даже не понимаю куда посмотреть бы.... ;(

---------- Добавлено 05.12.2013 в 08:10 ----------

Вот прямо сейчас повторяется аномалия, прикрепляю еще два скриншота, что бы было понятно о чем я:

Первый скрин - на нем пинг идет вроде бы нормально , но в один прекрасный момент почему-то 2k+ ms ответ и так иногда проскакивает.

Второй скрин, это положение дел в момент когда я пингую VM #1, при этом пинг на VM #2 идет вполне себе нормально... потом ситуация может поменяться, например на VM #1 идет нормально а на VM #2 пропал пинг.... и вот такая вот чехарда непонятная.....

В обе стороны в моменты лагов сегодня еще проверю....

png 130348.png

png 130349.png

485

Romka_Kharkov

5 декабря 2013, 04:45

#7

pupseg:
а в обратную сторону, со стороны VM на ваш хост, с которого вы пинговали VM до этого ?

Получил забавный ответ, возможно дело в этом, но что "это" пока не понимаю.

Это пинг со стороны VM #1 в момент когда я со своей тачки "перестаю на время" пинговать хост:

(ответы от моего домашнего Border)

64 bytes from x.x.x.x: icmp_seq=9 ttl=47 time=148 ms
64 bytes from x.x.x.x: icmp_seq=10 ttl=47 time=149 ms
From y.y.y.y: icmp_seq=11 Redirect Host(New nexthop: z.z.z.z)
64 bytes from x.x.x.x: icmp_seq=11 ttl=47 time=149 ms
64 bytes from x.x.x.x: icmp_seq=12 ttl=47 time=149 ms

где:

x.x.x.x - мой домашний border

y.y.y.y - шлюз установленный на VM #1 (Фактически поднятный в Dom0)

z.z.z.z - вообще прикол, но это ИП шлюза в этом VLAN

Какая-то хрень вообще :D

pupseg:

так же теряется ? проблема одинакова со всех узлов за пределами Dom0 и с VM до этих узлов?

Судя по всему да, пинговал с разных мест, связь пропадает одновременно. В обратную сторону (от VM) не пробовал, но думаю ввиду событий описанных выше думаю тоже самое.

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта