9
VMware, 25G iscsi auf fs3400 SSD extrem schlechte Performance
Hallo zusammen, ich habe ein sehr merkwürdiges Phänomen und stehe komplett auf dem Schlauch.
Aktuelles Setup:
2x DELL 730 Hosts mit vsphere 7u3
256Gb DDR4 ECC RAM RAM
2x 12 Core CPU mit 2.4GHz
2x 450GB Intell SSD RAID 1 als Boot Platte
PERC 755 RAID Controller
1x Mellanox Connectx 4 LX Dual-Port 10/25 GB SFP
Synology FS3400 Diskstation ebenfalls mit Mellanox 10/25g SFP NIC mit Direktanschluss an beide Hosts via ISCSI
2x Cached SSD RAID Volumes mit 7x 2TB SATA SSD (RAID 6) und 12x 960gb SATA SSD (RAID 10)
Beide RAID Volumes sind als Multipath ISCSI Lun erstellt und an die beiden VMware per 25G direkt angebunden.
VMware vcenter für ha und drs über dedizierten Host mit 10g Anbindung über Switch
Problem ist nun dass ich keine vernünftige read- und Weiteperformance über vms auf die Platte bekomme.
Standardwerte bei neu erstellten Windows Server 2019 Standard sind immer um die 1500MB/s lesen und 1000MB/s schreiben.
Jetzt habe ich eine VM, ebenfalls WIN2019 mit komplett identischem Setup die knapp 5k lesen und 3k schreiben über winsat bringt.
Klone ich die VM, sind diese Werte auch im Klon zu erreichen. Jede neu erstellte VM gammelt immer bei 1500+- herum.
VMs hab ich schon auf den anderen Host verschoben, oder auch den Datastore gewechselt. Ohne Änderungen und alles bleibt gleich.
Außerdem ist es total egal auf welchem Volume die VMs liegen. Theoretisch sollte der RAID 10 gerade zu durchknallen mit den Werten, was a er nicht der Fall ist.
Ich stehe auf der Leitung und erkenne die Logik dahinter nicht.
Wie kriege ich über 25Gb ISCSI die volle Performance auf die SSD RAID Volumes?
Und warum ist diese eine VM so besonders im Gegensatz zu allen anderen, obwohl alles identisch eingestellt und installiert wurde?
Aktuelles Setup:
2x DELL 730 Hosts mit vsphere 7u3
256Gb DDR4 ECC RAM RAM
2x 12 Core CPU mit 2.4GHz
2x 450GB Intell SSD RAID 1 als Boot Platte
PERC 755 RAID Controller
1x Mellanox Connectx 4 LX Dual-Port 10/25 GB SFP
Synology FS3400 Diskstation ebenfalls mit Mellanox 10/25g SFP NIC mit Direktanschluss an beide Hosts via ISCSI
2x Cached SSD RAID Volumes mit 7x 2TB SATA SSD (RAID 6) und 12x 960gb SATA SSD (RAID 10)
Beide RAID Volumes sind als Multipath ISCSI Lun erstellt und an die beiden VMware per 25G direkt angebunden.
VMware vcenter für ha und drs über dedizierten Host mit 10g Anbindung über Switch
Problem ist nun dass ich keine vernünftige read- und Weiteperformance über vms auf die Platte bekomme.
Standardwerte bei neu erstellten Windows Server 2019 Standard sind immer um die 1500MB/s lesen und 1000MB/s schreiben.
Jetzt habe ich eine VM, ebenfalls WIN2019 mit komplett identischem Setup die knapp 5k lesen und 3k schreiben über winsat bringt.
Klone ich die VM, sind diese Werte auch im Klon zu erreichen. Jede neu erstellte VM gammelt immer bei 1500+- herum.
VMs hab ich schon auf den anderen Host verschoben, oder auch den Datastore gewechselt. Ohne Änderungen und alles bleibt gleich.
Außerdem ist es total egal auf welchem Volume die VMs liegen. Theoretisch sollte der RAID 10 gerade zu durchknallen mit den Werten, was a er nicht der Fall ist.
Ich stehe auf der Leitung und erkenne die Logik dahinter nicht.
Wie kriege ich über 25Gb ISCSI die volle Performance auf die SSD RAID Volumes?
Und warum ist diese eine VM so besonders im Gegensatz zu allen anderen, obwohl alles identisch eingestellt und installiert wurde?
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 7783245565
Url: https://administrator.de/contentid/7783245565
Printed on: May 23, 2024 at 18:05 o'clock
9 Comments
Latest comment
Hallo,
welchen SCSI-Controller nutzen deine VMs? Kann es sein das da ein Unterschied ist?
https://kb.vmware.com/s/article/1010398
Lieben Gruß
welchen SCSI-Controller nutzen deine VMs? Kann es sein das da ein Unterschied ist?
https://kb.vmware.com/s/article/1010398
Lieben Gruß
Nein alles geprüft. Sowohl Installation selbst, als auch die VM Konfiguration mit allen Adaptern ist identisch
Hi
5 Gigabyte/s lesen geht gar nicht, die max. Bandbreite ist bleibt 25G = ca 2,5 Gigabyte / Sekunde, daran ändern auch mehrere Pfade nichts (damit erhöhst nur die Kapazität und Ausfallsicherheit).
Und das ganze ist IOPs Technisch sehr stark von detaillierten Pfadeinstellungen abhängig (z.B. Pfadwechsel nach jeden IO, Blockgröße usw.) und btw.: 12 SATA SSD als Raid 10 sind max. 6 x600MB/s = 3,6Gigabyte/Sec an Datentransfer (Cache, Striping, TCP Overhead und Mirroring sind nicht Berücksichtigt) - SATA kann pro Port nur 600MB/s (SASkann mehr) - die 5Gb/s gibt deine Konfiguration auch gar nicht her. Damit kratzt du schon sehr stark an der Leistungsgrenze deiner Hardware
1 Gigabyte /s Lesen / Schreiben sieht eher nach 10G aus, wenn man Berücksichtigt wie schlecht die Netzwerkleistung von MS Produkten ist, sind das verhältnismäßig gute Werte, wenn es dir ausschließlich im Peformance geht, dann nutze keine Betriebssysteme aus dem Hause MS und das dann auf einem Storage das NVMe Only via FibreChannel oder noch besser via RoCE angebunden ist, dann bekommst auch Leistung
- leider auch sehr teuer 
5 Gigabyte/s lesen geht gar nicht, die max. Bandbreite ist bleibt 25G = ca 2,5 Gigabyte / Sekunde, daran ändern auch mehrere Pfade nichts (damit erhöhst nur die Kapazität und Ausfallsicherheit).
Und das ganze ist IOPs Technisch sehr stark von detaillierten Pfadeinstellungen abhängig (z.B. Pfadwechsel nach jeden IO, Blockgröße usw.) und btw.: 12 SATA SSD als Raid 10 sind max. 6 x600MB/s = 3,6Gigabyte/Sec an Datentransfer (Cache, Striping, TCP Overhead und Mirroring sind nicht Berücksichtigt) - SATA kann pro Port nur 600MB/s (SASkann mehr) - die 5Gb/s gibt deine Konfiguration auch gar nicht her. Damit kratzt du schon sehr stark an der Leistungsgrenze deiner Hardware
1 Gigabyte /s Lesen / Schreiben sieht eher nach 10G aus, wenn man Berücksichtigt wie schlecht die Netzwerkleistung von MS Produkten ist, sind das verhältnismäßig gute Werte, wenn es dir ausschließlich im Peformance geht, dann nutze keine Betriebssysteme aus dem Hause MS und das dann auf einem Storage das NVMe Only via FibreChannel oder noch besser via RoCE angebunden ist, dann bekommst auch Leistung
- leider auch sehr teuer
Ja das ich an der Obergrenze kratze weiß ich. Aber warum macht das nur diese eine VM? Jede andere guffelt bei 1.5k lesen herum obwohl 25g Anbindung. Wie gesagt, dabei ist es unerheblich ob die auf dem raid10 oder raid6 Volume hängt.
Die storage ist direkt angebunden per 25g. VMware und Betriebssystem sind absolut identisch
Die storage ist direkt angebunden per 25g. VMware und Betriebssystem sind absolut identisch
liegt die VM vielleicht auf/im SSD Cache vom Storage? Der liefert ja schneller die Daten (sollte er).
Fahr die mal runter, lass die einen Tag aus und fahre die dann wieder hoch und teste es erneut, wahrscheinlich wird die irgendwo im Cache liegen.
Bzw. probiere mal aus Daten >Cache zu transferieren, dann muss der auf die SSDs zurückgreifen, bei dem "guten" Server.
Fahr die mal runter, lass die einen Tag aus und fahre die dann wieder hoch und teste es erneut, wahrscheinlich wird die irgendwo im Cache liegen.
Bzw. probiere mal aus Daten >Cache zu transferieren, dann muss der auf die SSDs zurückgreifen, bei dem "guten" Server.
Hallo,
Schon mal den Cache auf der FS ausgeschalten?
Der sollte bei der SSD Raid Konstellation nicht wirklich zusätzliche Geschwindigkeit bringen.
Schon mal den Cache auf der FS ausgeschalten?
Der sollte bei der SSD Raid Konstellation nicht wirklich zusätzliche Geschwindigkeit bringen.
Ja, als das Phänomen auftrat, war nicht einmal ein Cache konfiguriert...
Hast du die iSCSI LUNS direkt unter VMWare eingebunden oder über das Windows iSCSI Tool und dann als Datenträger ( Festplatte ) bereitgestellt ?
Falls ja hir hatte ich auch schon diverse Probleme. Ich hatte damals das ganze Quing, Triber etc. über die Powershell gerade gezogen und dann hatte ich die Probleme nicht mehr.
Falls die LUN´s aber auf VMWare Ebene angelegt sind ist die Frage was du an Controllern in der VM ( also den Eigenschaften ) ausgewählt hast. Ist auf den VM´s VMWare Tools installiert und aktuell ? Falls nein bitte mal Aktualisieren
Falls ja hir hatte ich auch schon diverse Probleme. Ich hatte damals das ganze Quing, Triber etc. über die Powershell gerade gezogen und dann hatte ich die Probleme nicht mehr.
Falls die LUN´s aber auf VMWare Ebene angelegt sind ist die Frage was du an Controllern in der VM ( also den Eigenschaften ) ausgewählt hast. Ist auf den VM´s VMWare Tools installiert und aktuell ? Falls nein bitte mal Aktualisieren
Die luns sind alle direkt über die VMware Hosts eingebunden.
Der Controller ist bei den VMs gleich. Tools sind natürlich installiert.
Kann es sein, dass es einfach ein Microsoft Bug ist?
Könnt ihr ein Tool empfehlen mit dem ich das ähnlich wie mit winsat testen kann?
Ist ja immer etwas Trick mit virtuellen Festplatten. Crystaldisk macht's z.b. nicht und iperf ist auch so ne Geschichte für sich bei Windows
Der Controller ist bei den VMs gleich. Tools sind natürlich installiert.
Kann es sein, dass es einfach ein Microsoft Bug ist?
Könnt ihr ein Tool empfehlen mit dem ich das ähnlich wie mit winsat testen kann?
Ist ja immer etwas Trick mit virtuellen Festplatten. Crystaldisk macht's z.b. nicht und iperf ist auch so ne Geschichte für sich bei Windows
