x42kampfpanzer
Goto Top

NetIO Performance ESXI Switch

Hallo,

wir haben seit kurzen einen Fujitsu ESXi 6.0 Server. Alle VMs hängen an einem vSwitch mit 3 Netzwerkkarten.
Ich habe mal die Performance zwischen 2 VMs (Centos 7) getestet, sind diese Werte so ok?

UDP connection established.
Packet size 1k bytes: 352.69 MByte/s (12%) Tx, 355.82 MByte/s (14%) Rx.
Packet size 2k bytes: 239.69 MByte/s (62%) Tx, 163.85 MByte/s (71%) Rx.
Packet size 4k bytes: 489.13 MByte/s (29%) Tx, 619.99 MByte/s (13%) Rx.
Packet size 8k bytes: 655.17 MByte/s (18%) Tx, 641.50 MByte/s (15%) Rx.
Packet size 16k bytes: 799.97 MByte/s (14%) Tx, 716.20 MByte/s (23%) Rx.
Packet size 32k bytes: 815.69 MByte/s (12%) Tx, 779.28 MByte/s (12%) Rx.
Done.

TCP connection established.
Packet size 1k bytes: 387.84 MByte/s Tx, 439.42 MByte/s Rx.
Packet size 2k bytes: 500.61 MByte/s Tx, 474.85 MByte/s Rx.
Packet size 4k bytes: 553.23 MByte/s Tx, 568.22 MByte/s Rx.
Packet size 8k bytes: 625.98 MByte/s Tx, 479.75 MByte/s Rx.
Packet size 16k bytes: 643.92 MByte/s Tx, 540.18 MByte/s Rx.
Packet size 32k bytes: 700.04 MByte/s Tx, 604.22 MByte/s Rx.
Done.

Müssten dort nicht 10Gbit/s oder 1250MByte/s möglich sein? Kommt mir recht wenig vor, wenn doch alles in der selben maschine verbleibt.

Danke!
KP

Content-Key: 286830

Url: https://administrator.de/contentid/286830

Ausgedruckt am: 28.03.2024 um 12:03 Uhr

Mitglied: StefanKittel
StefanKittel 27.10.2015 um 17:35:08 Uhr
Goto Top
Hallo,

800 MByte/sek sind ungefähr 10GBit.
80 MByte/sek sind ungefähr 1GBit

Der Rest ist Verschnitt

Und ja, virtualisierung kostet auch Leistung.

Stefan
Mitglied: psannz
psannz 27.10.2015 aktualisiert um 17:44:26 Uhr
Goto Top
Sers,

mit wie vielen Threads lief NetIO? Bei nur einem Worker Thread sind die Werte jetzt nicht so schlecht.
Wie war die CPU Auslastung während der Messungen in den VMs und dem Host?

Grüße,
Philip
Mitglied: Pjordorf
Pjordorf 27.10.2015 um 18:59:36 Uhr
Goto Top
Hi,

Zitat von @StefanKittel:
800 MByte/sek sind ungefähr 10GBit.
80 MByte/sek sind ungefähr 1GBit
Gut das du noch ungefähr dazu geschrieben hastface-smile Liest sich so wie wenn einer sagt 7 Eier ist ungefähr ein Dutzend face-smile

@X42Kampfpanzer
815,69 MByte/s = 6525,52MBit/s (6,525 GBit/s) = 65,25 % von möglichen 10 GBit/s (1000 MBit/s) oder 1250 MByte/s.
Da stellt sich dann wirklich die frage warum nur knapp face-smile über 65 % der möglichen 10 GBit/s.

Was ist da also wie Konfiguriert und verschaltet. Was lief alles zur Zeit der Messung(en)?
Was ist mit
an einem vSwitch mit 3 Netzwerkkarten
tatsächlich gemeint? Physikalische NICs? Teaming oder sonst was am laufen? Hardware der NICs ist? Hardware des ESXi ist? Ausstattung des EXSi ist?

Dann kann man dran gehen und schauen wo die Leistung eingeengt wird.

Gruß,
Peter
Mitglied: StefanKittel
StefanKittel 27.10.2015 um 19:02:53 Uhr
Goto Top
Zitat von @Pjordorf:
Zitat von @StefanKittel:
800 MByte/sek sind ungefähr 10GBit.
80 MByte/sek sind ungefähr 1GBit
Gut das du noch ungefähr dazu geschrieben hastface-smile Liest sich so wie wenn einer sagt 7 Eier ist ungefähr ein Dutzend face-smile
Erfahrung, bei GBit kommt man selten höher als 80MByte.
Mitglied: Pjordorf
Lösung Pjordorf 27.10.2015, aktualisiert am 28.10.2015 um 10:43:32 Uhr
Goto Top
Hi,

Zitat von @StefanKittel:
Erfahrung, bei GBit kommt man selten höher als 80MByte.
Kann ich nicht bestätigen, außer miese Hardware (NICs). Werte von 115 MByte/s erwarte ich bei NetIO schon sofern die Hardware es kann.... Die Praxis mit Dateien ist dann wieder was anderes face-smile

Gruß,
Peter
Mitglied: X42Kampfpanzer
X42Kampfpanzer 28.10.2015 um 09:10:41 Uhr
Goto Top
mit wie vielen Threads lief NetIO? Bei nur einem Worker Thread sind die Werte jetzt nicht so schlecht.
Ich habe netio einfach mit "netio -t X.X.X.X" gestartet, wie kann ich das in mehreren Threads laufen lassen?

Wie war die CPU Auslastung während der Messungen in den VMs und dem Host?
So ca 30-40% pro VM, haben jedoch nur 2 cores eines "Intel(R) Xeon(R) CPU E5-2420 v2 @ 2.20GHz" zugewiesen.

Was ist da also wie Konfiguriert und verschaltet. Was lief alles zur Zeit der Messung(en)?
Es liefen mehrere VMs (Mailserver, OMD, Samba, AD usw.) der RAM des ESX Servers ist fast voll ausgelastet und VMs zugeordnet aber die CPUs und Platten langweilen sich.

tatsächlich gemeint? Physikalische NICs? Teaming oder sonst was am laufen? Hardware der NICs ist?
3 Intel (I-350) NICs hängen an einem vSwitch ohne teaming oder ähnliches. Meines Wissens nach wird alles zwischen den virtuellen Switchen direkt im ESXi abgewickelt ohne die physischen NICs zu verwenden oder?

Hardware des ESXi ist? Ausstattung des EXSi ist?
2x Intel Xeon CPU E5-2420 v2 @ 2.20GHz
48GB RAM
4x 600GB SAS 10K @ Raid5
4x 1TB SAS 7K @ Raid5

Erfahrung, bei GBit kommt man selten höher als 80MByte.
Zwischen dem alten Server und einer VM auf dem neuen kommen die vollen 110-115MByte Durchsatz an.

Danke!
KP
Mitglied: Th0mKa
Th0mKa 28.10.2015 um 09:35:49 Uhr
Goto Top
Moin,

zwischen VMs am gleichen vSwitch sind die Netzwerkkarten egal, welchen Netzwerkadapter haben denn die VMs?
Du kannst dass auch nochmal mit IPerf gegentesten, Funktionsweise ist aehnlich.

VG,

Thomas
Mitglied: X42Kampfpanzer
X42Kampfpanzer 28.10.2015 um 09:43:58 Uhr
Goto Top
Hallo tkr104,

zwischen VMs am gleichen vSwitch sind die Netzwerkkarten egal, welchen Netzwerkadapter haben denn die VMs?
Die VMs haben natürlich die vmxnet3 zugeordnet.

Du kannst dass auch nochmal mit IPerf gegentesten, Funktionsweise ist aehnlich.
Client connecting to 192.168.10.228, TCP port 5001
TCP window size: 22.5 KByte (default)
[ 3] local 192.168.10.229 port 50693 connected with 192.168.10.228 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 23.3 GBytes 20.0 Gbits/sec

Scheint mir relativ viel zu sein oder?

KP
Mitglied: aqui
Lösung aqui 28.10.2015 aktualisiert um 10:43:25 Uhr
Goto Top
Man darf nicht vergessen das der interne vSwitch reine Software ist ! Sowas wie die klassischen Speeds ala 10G oder 1G gibt es somit also nicht.
Das bedingt auch das der vSwitch immer nur so schnell sein kann wie die Server Hardware selber.
Hat der Server also viel zu tun ist der vSwitch entsprechend langsam und umgekehrt.
Deshalb sind solche messungen wie die obige auch meistens sinnfrei auf solchen reinen Software Switches denn sie sagen niemals was zur verfügbaren Performance aus, da sie ja immer nur eine Momentaufnahme sind.
Das obige Beispiel zeigt das ja auch recht deutlich mit den erheblich schwankenden Werten im Durchsatz.
Sehr schlecht gerade die Werte bei kleinen Paketen was aber nicht verwundert, da hier sehr viel Performance gefordert ist. Kann die Serverplattform die nicht liefern bricht der Durchsatz entsprechend ein.
Mitglied: Th0mKa
Lösung Th0mKa 28.10.2015 aktualisiert um 10:43:26 Uhr
Goto Top
Zitat von @X42Kampfpanzer:

Scheint mir relativ viel zu sein oder?


Nein, der vSwitch ist nur Software, der schafft in diesem Fall was die CPU hergibt. Sieht fuer mich gut aus, ist aber ein sinnloses Spiel wenn du keine konkreten Anforderungen/Probleme hast.

VG,

Thomas
Mitglied: X42Kampfpanzer
X42Kampfpanzer 28.10.2015 um 10:43:19 Uhr
Goto Top
Ok danke, probleme gibt es keine ich war nur neugierig face-smile
Mitglied: aqui
aqui 28.10.2015 um 10:45:11 Uhr
Goto Top
Na ja, der technische Sachverhalt wird einem aber auch schnell klar wenn man nur mal ein ganz klein wenig nachdenkt wie denn so ein vSwitch wohl funktioniert....oder besser nicht funktioniert.