59
10GBE Filetransfer vom Windows2019 server aus funktioniert nicht
Hallo zusammen,
ich möchte einen simplen Dateitransfer vom Windows2019 server in 10GBE starten, was nicht funktioniert.
Setup:
- verschiedene Windows 10 Rechner
- Win2016 Server (Intel)
- Win2019 Server (AMD Opteron X3421)
- Netgear 10G switch
- Alle Asus 10G Karte mit RJ45
Aufgabe: Einfach nur eine 24GB Datei (oder mehrere kleinere 50MB) vom Server laden.
Win2016 Server -> Windows 10 Rechner konstant 500MByte/sec (horizontale Linie)
Windows 10 RechnerA -> Windows 10 RechnerB konstant 1,09GByte/sec (nvme) (horizontale Linie)
Windows 10 RechnerA -> Win2019 Server mit Stufen, wenn der SSD cache vermutlich voll ist
Problemfall:
Win2019 Server -> Windows 10 Rechner unberechenbar, startet teilweise bei 500MB/sec, bleibt dort für 10 Sekunden, dann drop auf 360KB/sec . Oder „startet“ gleich mit 360KB/Sec. um dann nach 30 sec schneller zu werden
Oder: 20 50MB Dateien markiert, kopieren mit 500MB/sec, während dessen zusätzlich weitere Dateien kopiert, auf einmal Performance Einbruch auf Null (Zufall?)
- Alle Treibereinstellungen probiert, danach wieder auf Standard gestellt
- Die Kabel sind alle gecheckt, alternativ zur Festinstallation Cat7Kabel verlegt
- Auf dem Win2019 Server kein hoher CPU Load zu sehen, jedenfalls lt. TaskManager
- Auf dem Win2019 Server (PCIE x8) die Asus Karte durch Intel Karte x550 T2 ersetzt
- Auf dem Win2019 Server von verschiedenen Festplatten geladen
- Wenn der NIC auf 1GBE gesetzt wird, gibt es keine Probleme
- Firewall am Server testweise deaktiviert
Das Problem scheint doch auf Server2019 fokussiert zu sein??!
Rollen:
- Dateiserver
- Speicherdienste
Features:
- Net framework4.7
- TCP Portfreigabe
- Windows Defender
- Windows Powershell
- Windows search
- Windows Server Sicherung
- WOW64
- windows admincenter
Es befinden sich merkwürdige wan miniport Einträge im Gerätemanager, auch nach Deinstallation wieder da, Standard?
Ich befürchte, wenn ich mir aus Zeitgründen trial and error - mäßig einfach einen anderen Server kaufe, dasselbe Problem wieder auftritt.
Vielleicht hat jemand eine Ahnung?
Hubertus
ich möchte einen simplen Dateitransfer vom Windows2019 server in 10GBE starten, was nicht funktioniert.
Setup:
- verschiedene Windows 10 Rechner
- Win2016 Server (Intel)
- Win2019 Server (AMD Opteron X3421)
- Netgear 10G switch
- Alle Asus 10G Karte mit RJ45
Aufgabe: Einfach nur eine 24GB Datei (oder mehrere kleinere 50MB) vom Server laden.
Win2016 Server -> Windows 10 Rechner konstant 500MByte/sec (horizontale Linie)
Windows 10 RechnerA -> Windows 10 RechnerB konstant 1,09GByte/sec (nvme) (horizontale Linie)
Windows 10 RechnerA -> Win2019 Server mit Stufen, wenn der SSD cache vermutlich voll ist
Problemfall:
Win2019 Server -> Windows 10 Rechner unberechenbar, startet teilweise bei 500MB/sec, bleibt dort für 10 Sekunden, dann drop auf 360KB/sec . Oder „startet“ gleich mit 360KB/Sec. um dann nach 30 sec schneller zu werden
Oder: 20 50MB Dateien markiert, kopieren mit 500MB/sec, während dessen zusätzlich weitere Dateien kopiert, auf einmal Performance Einbruch auf Null (Zufall?)
- Alle Treibereinstellungen probiert, danach wieder auf Standard gestellt
- Die Kabel sind alle gecheckt, alternativ zur Festinstallation Cat7Kabel verlegt
- Auf dem Win2019 Server kein hoher CPU Load zu sehen, jedenfalls lt. TaskManager
- Auf dem Win2019 Server (PCIE x8) die Asus Karte durch Intel Karte x550 T2 ersetzt
- Auf dem Win2019 Server von verschiedenen Festplatten geladen
- Wenn der NIC auf 1GBE gesetzt wird, gibt es keine Probleme
- Firewall am Server testweise deaktiviert
Das Problem scheint doch auf Server2019 fokussiert zu sein??!
Rollen:
- Dateiserver
- Speicherdienste
Features:
- Net framework4.7
- TCP Portfreigabe
- Windows Defender
- Windows Powershell
- Windows search
- Windows Server Sicherung
- WOW64
- windows admincenter
Es befinden sich merkwürdige wan miniport Einträge im Gerätemanager, auch nach Deinstallation wieder da, Standard?
Ich befürchte, wenn ich mir aus Zeitgründen trial and error - mäßig einfach einen anderen Server kaufe, dasselbe Problem wieder auftritt.
Vielleicht hat jemand eine Ahnung?
Hubertus
Share on Facebook
Share on Twitter
Share on Reddit
Share on LinkedinPlease also mark the comments that contributed to the solution of the article
Content-Key: 456936
Url: https://administrator.de/contentid/456936
Printed on: April 25, 2024 at 12:04 o'clock
59 Comments
Latest comment
virtuelle Server oder Hardware Server?
Grüße
Patrick
Grüße
Patrick
Hallo Hubertus,
leisten die ASUS Karten denn überhaupt wahre 10GB/sek? Machen die Platten das mit?
1GB/sek ist leichter Auszureizen als 10GB/sek und selbst da gibt es div. Karten/NICs, die das einfach nicht schaffen.
Prüf das bitte.
Viele Grüße,
Christian
certifiedit.net
leisten die ASUS Karten denn überhaupt wahre 10GB/sek? Machen die Platten das mit?
1GB/sek ist leichter Auszureizen als 10GB/sek und selbst da gibt es div. Karten/NICs, die das einfach nicht schaffen.
Prüf das bitte.
Viele Grüße,
Christian
certifiedit.net
Hallo,
verwende bitte mal netio für aussagekräftige Tests.
Dateien kopieren ist da nicht besonders hilfreich.
http://www.nwlab.net/art/netio/netio.html
Stefan
verwende bitte mal netio für aussagekräftige Tests.
Dateien kopieren ist da nicht besonders hilfreich.
http://www.nwlab.net/art/netio/netio.html
Stefan
Hallo,
zunächst vielen Dank für die Hilfe. es ist ein HP Microserver Gen10 mit server 2019.
Die Asus Karte sowie der switch leisten 10GBE, siehe Test Pc zu Pc mit 1.09 Gigabyte/sec. (nvme SSD zu nvme SSD). (nicht Gigabit/sec)
Im Win2019 Server sind mehrere 6G SSD, die aber schneller sind als 300kb/sec (!) und 500Megabyte/sec schaffen sollte.
Werde mir netio ansehen.
Hubertus
zunächst vielen Dank für die Hilfe. es ist ein HP Microserver Gen10 mit server 2019.
Die Asus Karte sowie der switch leisten 10GBE, siehe Test Pc zu Pc mit 1.09 Gigabyte/sec. (nvme SSD zu nvme SSD). (nicht Gigabit/sec)
Im Win2019 Server sind mehrere 6G SSD, die aber schneller sind als 300kb/sec (!) und 500Megabyte/sec schaffen sollte.
Werde mir netio ansehen.
Hubertus
300kb/sec sind aber keine 10Gbit/sec
Genau, das ist mein Problem. Soll schneller! Kann schneller!
Ich kopiere zur Verdeutlichung nochmal meine Anfangsdaten hierhin (alles läuft über switch):
Problem also: NUR vom server2019 abgehend tritt der Fehler auf
Ich kopiere zur Verdeutlichung nochmal meine Anfangsdaten hierhin (alles läuft über switch):
- Win2016 Server (6G sata) -> Windows 10 Rechner (nvme): konstant 500MByte/sec (horizontale Linie) so ist es zu erwarten
- Windows 10 RechnerA (nvme) -> Windows 10 RechnerB (nvme): konstant 1,09GByte/sec (horizontale Linie) perfekt, 10GBE fast ausgereizt
- Windows 10 RechnerA (nvme) -> Win2019 Server (6G sata): 90-600MByte/sec (mit Stufen, SSD write cache..) so ist es zu erwarten
- Win2019 Server(6G sata) -> Windows 10 Rechner (nvme): unberechenbar, startet teilweise bei 500MB/sec, bleibt dort für 10 Sekunden, dann drop auf 360KB/sec / (0.3Gbyte/sec) oder startet mit 360KB/sec.
Problem also: NUR vom server2019 abgehend tritt der Fehler auf
Hier nun das Ergebnis:
Auf Server 2019 netio als server gestartet
Auf Win 10 PC netio als client gestartet mit folgendem Resultat:
Ich kann aus den Ergebnissen herauskeine Rückschlüsse zur Realität ziehen..
Auf Server 2019 netio als server gestartet
Auf Win 10 PC netio als client gestartet mit folgendem Resultat:
Ich kann aus den Ergebnissen herauskeine Rückschlüsse zur Realität ziehen..
Es zeigt das der native Durchsatz nur der Karten und Switch ohne Protokoll Overhead im Mittel nicht über 4,8 Gbit/s beim Senden geht und nicht mehr als 2,4 Gbit/s beim Empfang.
Für eine 10Gig Verbindung sind das grottenschlechte Werte ! Weniger als 50% Gesamtperformance, das ist in der Tat sehr mickrig.
Es zeigt auch die typische Schwäche von Billigsthardware, die du ja einsetzt, das diese bei kleinen Paketen in die Knie geht. SMB/CIFS Datei Sharing unter Windows ist bekanntlich sehr ineffizient, da es Protokoll bedingt nur sehr kleine Pakete nutzt. Sicher auch ein Grund warum bei deinen Komponenten der Durchsatz so mickrig ist.
Dazu kommt das wir die verwendeten Chipsätze nicht kennen
Hier gibt es Billigchipsätze wie die von Realtek die einen Großteil des Pakethandlings der Rechner CPU aufbürden, was dann entsprechend an der Performance kratzt. Im Gegensatz zu Intel, Broadcom Chips die das in eigenem Silizium erledigen. Auch die Anzahl der PCIe Lanes die so eine Karte nutzt ist entscheidend. Schwachbrüstige Billigswitches mit mickriger CPU Leistung wie dein NetGear tun dann ein Übriges.
Dazu kommt vermutlich noch das der NetGear 10G Switch ein 10G-Base T Switch ist mit RJ-45, richtig ?
10G-Base T garantiert keine 10Gig sondern ist immer ein Negotiation Verfahren je nach Kabelqualität, Länge und Steckverbindungen. Ein Knick im Kabel oder unsauberer Stecker und schon kommen nur noch 5 oder 6 Gig an statt 10G. Generell ist es also keine gute Idee bei einer Server Vernetzung 10G-Base T zu verwenden (Cat Kabel). Hier solltest du immer SFP+ basierte Switches nehmen und dann mit Kupfer Twinax bzw. DAC Kabeln arbeiten, die ganz sicher immer 10G garantieren !
2 Dinge solltest du nochmal machen:
Wenn du den Switch mal ausschliessen willst wiederholst du die NetIO Messungen mal wen nur Client und Server mal direkt mit ihren Netzwerkkarten untereinander verbunden sind (Back to Back).
Damit kannst du dann genau sehen ob hier die Karten selber oder Switch oder beide der pöhse Buhmann ist !
Für eine 10Gig Verbindung sind das grottenschlechte Werte ! Weniger als 50% Gesamtperformance, das ist in der Tat sehr mickrig.
Es zeigt auch die typische Schwäche von Billigsthardware, die du ja einsetzt, das diese bei kleinen Paketen in die Knie geht. SMB/CIFS Datei Sharing unter Windows ist bekanntlich sehr ineffizient, da es Protokoll bedingt nur sehr kleine Pakete nutzt. Sicher auch ein Grund warum bei deinen Komponenten der Durchsatz so mickrig ist.
Dazu kommt das wir die verwendeten Chipsätze nicht kennen
Hier gibt es Billigchipsätze wie die von Realtek die einen Großteil des Pakethandlings der Rechner CPU aufbürden, was dann entsprechend an der Performance kratzt. Im Gegensatz zu Intel, Broadcom Chips die das in eigenem Silizium erledigen. Auch die Anzahl der PCIe Lanes die so eine Karte nutzt ist entscheidend. Schwachbrüstige Billigswitches mit mickriger CPU Leistung wie dein NetGear tun dann ein Übriges.
Dazu kommt vermutlich noch das der NetGear 10G Switch ein 10G-Base T Switch ist mit RJ-45, richtig ?
10G-Base T garantiert keine 10Gig sondern ist immer ein Negotiation Verfahren je nach Kabelqualität, Länge und Steckverbindungen. Ein Knick im Kabel oder unsauberer Stecker und schon kommen nur noch 5 oder 6 Gig an statt 10G. Generell ist es also keine gute Idee bei einer Server Vernetzung 10G-Base T zu verwenden (Cat Kabel). Hier solltest du immer SFP+ basierte Switches nehmen und dann mit Kupfer Twinax bzw. DAC Kabeln arbeiten, die ganz sicher immer 10G garantieren !
2 Dinge solltest du nochmal machen:
- Unbedingt Jumbo Framing im Setup des Switches und der NICs global aktivieren
- Damit nochmal die Messung wiederholen und dann einmal mit TCP und einmal mit UDP Framing (-t Parameter bei NetIO) und auch mal die Messrichting umkehren. NetIO im Server Mode auf dem Client.
Wenn du den Switch mal ausschliessen willst wiederholst du die NetIO Messungen mal wen nur Client und Server mal direkt mit ihren Netzwerkkarten untereinander verbunden sind (Back to Back).
Damit kannst du dann genau sehen ob hier die Karten selber oder Switch oder beide der pöhse Buhmann ist !
Hallo,
vielen dank für die Infos. Korrekt, RJ-45.
ich kann anhand deiner Erklärungen nachvollziehen, dass die Performance nicht so hoch ist, wie sie sein sollte.
Hier zur Info specs des switch:
Es sind zwei Baustellen:
Ich hoffe es ist klar geworden, worum es im ersten Ansatz geht. Die identischen billigen Netzwerkkarten funktionieren ja relativ gut, aber eben nur Windows PC zu Windows PC.
Die Frage ist also: Warum tritt das Aussetzer Problem nur beim Laden vom Windows server2019 (Microserver Gen 10) auf?
(Beim Laden von meinem Windows server2016 (Microserver Gen 8) gibt es auch keinerlei Probleme)
Hier nochmal netio für beide Konstellationen, wo ich zwar schlechtere Werte in Verbindung mit dem Server sehe, aber keine Aussetzer.
vielen dank für die Infos. Korrekt, RJ-45.
ich kann anhand deiner Erklärungen nachvollziehen, dass die Performance nicht so hoch ist, wie sie sein sollte.
Hier zur Info specs des switch:
Es sind zwei Baustellen:
- Performance verbessern mit SFP+ Kabeln und weiteres : Für mich Prio 2 (aber natürlich wichtig!!), da die Performance für mich im ersten Ansatz akzeptabel ist
- Aussetzer beheben, die nur in einer ganz speziellen Konstellation auftreten, nämlich Windows server2019 (Microserver Gen 10) zu diversen Windows PC. Das ist aktuell der "painpoint" Prio 1, da hier einfach die Verbindung "abbricht" und ich nicht damit arbeiten kann.Also manchmal läuft es schnell, mal gar nicht ("0").
Ich hoffe es ist klar geworden, worum es im ersten Ansatz geht. Die identischen billigen Netzwerkkarten funktionieren ja relativ gut, aber eben nur Windows PC zu Windows PC.
Die Frage ist also: Warum tritt das Aussetzer Problem nur beim Laden vom Windows server2019 (Microserver Gen 10) auf?
(Beim Laden von meinem Windows server2016 (Microserver Gen 8) gibt es auch keinerlei Probleme)
Hier nochmal netio für beide Konstellationen, wo ich zwar schlechtere Werte in Verbindung mit dem Server sehe, aber keine Aussetzer.
Moin,
ich fasse zusammen:
Performance zwischen den PCs
netio: OK, Dateifreigaben: Ok
Performance zwischen Server und PCs
netio: senden nur 50%, empfangen ok, Dateifreigaben: Arsch
Also muss irgendwas am Server sein:
- NIC defekt (mal mit einem PC gegentauschen)
- Kabel defekt (mal mit einem PC gegentauschen)
- Switch-Port defekt (mal mit einem PC gegentauschen)
- Treiberproblem (Update)
- Mainboard-Slot-Problem (Karte umstecken)
- Karte-Treiber-Mainboard-Kompatibilitäts-Problem (Win 2016 mal probieren, andere Karte (Modell, Hersteller) probieren
Stefan
ich fasse zusammen:
Performance zwischen den PCs
netio: OK, Dateifreigaben: Ok
Performance zwischen Server und PCs
netio: senden nur 50%, empfangen ok, Dateifreigaben: Arsch
Also muss irgendwas am Server sein:
- NIC defekt (mal mit einem PC gegentauschen)
- Kabel defekt (mal mit einem PC gegentauschen)
- Switch-Port defekt (mal mit einem PC gegentauschen)
- Treiberproblem (Update)
- Mainboard-Slot-Problem (Karte umstecken)
- Karte-Treiber-Mainboard-Kompatibilitäts-Problem (Win 2016 mal probieren, andere Karte (Modell, Hersteller) probieren
Stefan
Hallo Stefan,
sehr gute Zusammenfassung
- NIC defekt (mal mit einem PC gegentauschen)
Habe neue Karte gekauft , Intel X550T2 (Original mit Hologramm) und in den Server gesteckt - gleiches Problem
- Kabel defekt (mal mit einem PC gegentauschen)
Habe neues Kabel Cat7 gekauft und direkt neben den Switch gestellt, 1m, gleiches Problem
- Switch-Port defekt (mal mit einem PC gegentauschen)
Habe Port getauscht, gleiches Problem
- Treiberproblem (Update)
Neuester Intel Treiber installiert, aber egal ob Asus oder Intel, gleiches Problem
- Mainboard-Slot-Problem (Karte umstecken)
geht leider nicht,nur ein 8x slot
- Karte-Treiber-Mainboard-Kompatibilitäts-Problem (Win 2016 mal probieren, andere Karte (Modell, Hersteller) probieren
auf meinem Microserver gen8 (den ich ja ersetzen wollte) mit win 2016 server und asus Karte geht alles ohne Aussetzer!
Der Unterschied ist nun
- Server Hardware gen8 / gen10
- Server Software 16/19
Wenn ich wüsste, das es die hardware ist, würde ich was neues kaufen, aber bevor ich das nicht weiß...
Hubertus
sehr gute Zusammenfassung
- NIC defekt (mal mit einem PC gegentauschen)
Habe neue Karte gekauft , Intel X550T2 (Original mit Hologramm) und in den Server gesteckt - gleiches Problem
- Kabel defekt (mal mit einem PC gegentauschen)
Habe neues Kabel Cat7 gekauft und direkt neben den Switch gestellt, 1m, gleiches Problem
- Switch-Port defekt (mal mit einem PC gegentauschen)
Habe Port getauscht, gleiches Problem
- Treiberproblem (Update)
Neuester Intel Treiber installiert, aber egal ob Asus oder Intel, gleiches Problem
- Mainboard-Slot-Problem (Karte umstecken)
geht leider nicht,nur ein 8x slot
- Karte-Treiber-Mainboard-Kompatibilitäts-Problem (Win 2016 mal probieren, andere Karte (Modell, Hersteller) probieren
auf meinem Microserver gen8 (den ich ja ersetzen wollte) mit win 2016 server und asus Karte geht alles ohne Aussetzer!
Der Unterschied ist nun
- Server Hardware gen8 / gen10
- Server Software 16/19
Wenn ich wüsste, das es die hardware ist, würde ich was neues kaufen, aber bevor ich das nicht weiß...
Hubertus
Mal den Back to Back Test gemacht ?
Generell fährt man mit Mellanox Karten im Server nicht schlecht. Diese erreichen so gut wie immer 95% Wirespeed bei 10G auch auf älterer Intel Hardware:
https://www.ebay.de/itm/10G-Netzwerk-Kit-2x-Mellanox-ConnectX-3-10Gigabi ...
und
https://www.amazon.de/Bewinner-Netzwerkkarte-Professional-Ethernet-Karte ...
Diese haben sinnigerweise auch SFP+ Ports wo man dann sauber mit Twinax und dediziert 10G arbeiten kann. Twinax Kabel werden im Set mitgeliefert wie man sieht.
Generell fährt man mit Mellanox Karten im Server nicht schlecht. Diese erreichen so gut wie immer 95% Wirespeed bei 10G auch auf älterer Intel Hardware:
https://www.ebay.de/itm/10G-Netzwerk-Kit-2x-Mellanox-ConnectX-3-10Gigabi ...
und
https://www.amazon.de/Bewinner-Netzwerkkarte-Professional-Ethernet-Karte ...
Diese haben sinnigerweise auch SFP+ Ports wo man dann sauber mit Twinax und dediziert 10G arbeiten kann. Twinax Kabel werden im Set mitgeliefert wie man sieht.
Wie geht ein back to back test?
Hier weitere Infos, ich konnte das Problem weiter lokalisieren:
Nach einem Neustart kann ich von einem Rechner und auch 2 Windows Rechnern A + B aus gut & wiederkehrend Daten schnell vom Server kopieren:
Hier wird gleichzeitig von zwei verschiedene SSDs im Server gelesen mit 30-50% CPU Last im Server:
Sobald ich anfange von einem anderen Rechner C zu laden, geht dort "nichts mehr".
Dabei ist Rechner C immer derselbe, ich nenn ihn mal den "Störenfried C Rechner"
Also Scenario:
Alles kopiert gleichzeitig munter vom Server vor sich hin und teilt sich einvernehmlich die Bandbreite:
Server -> Rechner A
Server -> Rechner B
Kaum lade ich die kleinste Kleinigkeit von
Server -> Rechner C , wird dieser eine Kopiervorgang nicht richtig gestartet und bleibt bei 300KB/sec bis Null stehen, gefühlte Blockade auf Rechner C.Die anderen beiden Rechner laden normal weiter.
Es gab aber auch schonmal den Fall, dass alles lahmgelegt war.
Abbruch auf Rechner C
Während Rechner A+C noch laden, neustart Kopieren auf Rechner C.
Rechner C: Jetzt auf einmal 200MB/sec download (ok, da die anderen beiden Rechner auch kopieren), und nach 10 sec drop auf 300kb/sec + Blockade
Rechner C: Verkabelung getauscht, i.O.
Hubertus
Hier weitere Infos, ich konnte das Problem weiter lokalisieren:
Nach einem Neustart kann ich von einem Rechner und auch 2 Windows Rechnern A + B aus gut & wiederkehrend Daten schnell vom Server kopieren:
Hier wird gleichzeitig von zwei verschiedene SSDs im Server gelesen mit 30-50% CPU Last im Server:
Sobald ich anfange von einem anderen Rechner C zu laden, geht dort "nichts mehr".
Dabei ist Rechner C immer derselbe, ich nenn ihn mal den "Störenfried C Rechner"
Also Scenario:
Alles kopiert gleichzeitig munter vom Server vor sich hin und teilt sich einvernehmlich die Bandbreite:
Server -> Rechner A
Server -> Rechner B
Kaum lade ich die kleinste Kleinigkeit von
Server -> Rechner C , wird dieser eine Kopiervorgang nicht richtig gestartet und bleibt bei 300KB/sec bis Null stehen, gefühlte Blockade auf Rechner C.Die anderen beiden Rechner laden normal weiter.
Es gab aber auch schonmal den Fall, dass alles lahmgelegt war.
Abbruch auf Rechner C
Während Rechner A+C noch laden, neustart Kopieren auf Rechner C.
Rechner C: Jetzt auf einmal 200MB/sec download (ok, da die anderen beiden Rechner auch kopieren), und nach 10 sec drop auf 300kb/sec + Blockade
Rechner C: Verkabelung getauscht, i.O.
Hubertus
Auf dem folgenden Screenshot sieht man auf einen Blick das Problem. Dabei habe ich die beiden unteren Kopiervorgänge gestartet, als beim oberen schon seit 20 Sekunden bei 300kb/sec herumgedümpelt wird. WTF...
Jetzt würde man sagen: alles klar, Server2019 ist das Problem, aber denkste:
Jetzt würde man sagen: alles klar, Server2019 ist das Problem, aber denkste:
Moin Hub22019,
das sieht mir bei dir aber nach einem ganz anderen Problem aus wie bei uns ... 🤔
Bricht die Performance immer ein wenn du Rechner C verwendest oder generell sobald du einen dritten Client benutzt?
Gibt es Hardwareunterscheide zwischen Rechner A/B und Rechner C?
Hast du auf deinem 2019er Server die Hyper-V Rolle aktiviert?
Hast du die Energieeinstellungen wie im anderen Post beschrieben optimiert?
---
CMD mit Adminrechten aufmachen und dann die folgenden beiden Befehle ausführen.
1. "powercfg -duplicatescheme e9a42b02-d5df-448d-aa00-03f14749eb61"
2. "powercfg.exe -setactive 9d69a0c6-32fb-4d7a-b235-e37b7d0111c0"
3. Unter Energieeinstellungen nachsehen. 😉🤪
---
Ferner sollte man bei SSDs wenn möglich noch die folgende Einstellung vornehmen.
Grüsse aus BaWü
Alex
das sieht mir bei dir aber nach einem ganz anderen Problem aus wie bei uns ... 🤔
Bricht die Performance immer ein wenn du Rechner C verwendest oder generell sobald du einen dritten Client benutzt?
Gibt es Hardwareunterscheide zwischen Rechner A/B und Rechner C?
Hast du auf deinem 2019er Server die Hyper-V Rolle aktiviert?
Hast du die Energieeinstellungen wie im anderen Post beschrieben optimiert?
---
CMD mit Adminrechten aufmachen und dann die folgenden beiden Befehle ausführen.
1. "powercfg -duplicatescheme e9a42b02-d5df-448d-aa00-03f14749eb61"
2. "powercfg.exe -setactive 9d69a0c6-32fb-4d7a-b235-e37b7d0111c0"
3. Unter Energieeinstellungen nachsehen. 😉🤪
---
Ferner sollte man bei SSDs wenn möglich noch die folgende Einstellung vornehmen.
Grüsse aus BaWü
Alex
@MysticFoxDE
Der Server "kann" ja, mit 30-50% CPU Last :
Warum "kann" der identische Server dann nicht mehr hier:
Dabei dümpelt die CPU last bei 6%
Es passiert auch, ohne weitere oder spätere neue Kopiervorgänge. Und auch gegenüber anderen Rechnern.
Hardware Server 2019 AMD Opteron X3421, Microserver Gen10 mit 2x sata ssd 6G und intel Netzwerkkarte, mit asus die gleiche Geschichte
Hardware Rechner A+C: Core i7 8700 mit nvme und asus netzwerkkarte
- Recv Segment Coalescing deaktivieren usw. bringt bei mir nichts.
- das Häkchen ist auf allen Rechnern entfernt
- Energieoptionen auf Höchstleistung
- Keine HyperV rolle
- SMBv1 nicht installiert
Hier ein interessanter Vorgang:
Start Kopie Server2019 nach Rechner A, nach 6 Minuten:
Nach 10 Minuten mache ich auf dem Windows RechnerA ein refresh F5 im explorer in der Netzwerkumgebung, dann aufeinmal geht die Geschwindigkeit hoch:
WEETEEF??
Da scheint irgendetwas mit der Netzwerkerkennung nicht sauber zu laufen?
Der Server "kann" ja, mit 30-50% CPU Last :
Warum "kann" der identische Server dann nicht mehr hier:
Dabei dümpelt die CPU last bei 6%
Es passiert auch, ohne weitere oder spätere neue Kopiervorgänge. Und auch gegenüber anderen Rechnern.
Hardware Server 2019 AMD Opteron X3421, Microserver Gen10 mit 2x sata ssd 6G und intel Netzwerkkarte, mit asus die gleiche Geschichte
Hardware Rechner A+C: Core i7 8700 mit nvme und asus netzwerkkarte
- Recv Segment Coalescing deaktivieren usw. bringt bei mir nichts.
- das Häkchen ist auf allen Rechnern entfernt
- Energieoptionen auf Höchstleistung
- Keine HyperV rolle
- SMBv1 nicht installiert
Hier ein interessanter Vorgang:
Start Kopie Server2019 nach Rechner A, nach 6 Minuten:
Nach 10 Minuten mache ich auf dem Windows RechnerA ein refresh F5 im explorer in der Netzwerkumgebung, dann aufeinmal geht die Geschwindigkeit hoch:
WEETEEF??
Da scheint irgendetwas mit der Netzwerkerkennung nicht sauber zu laufen?
Moin Hub22019,
ich tippe ebenfalls auf ein Problem im Bereich des Netzwerks hin.
Welchen Netgear setzt du genau ein?
Hast du auf dem Switch mal "Flow Control" deaktiviert?
Stelle die Ports des Switches bitte mal testweise von "Auto-Negotiation" auf FIX 10G.
Neuste Firmware auf dem Switch?
VLAN auf dem Switch konfiguriert?
ACLs auf dem Switch konfiguriert?
Da du keine HV Rolle installiert hast, kannst du auch getrost alles Richtung SR-IOV und VMQ auf den NICs im Server deaktivieren auch im BIOS nachschauen.
Grüsse aus BaWü
Alex
ich tippe ebenfalls auf ein Problem im Bereich des Netzwerks hin.
Welchen Netgear setzt du genau ein?
Hast du auf dem Switch mal "Flow Control" deaktiviert?
Stelle die Ports des Switches bitte mal testweise von "Auto-Negotiation" auf FIX 10G.
Neuste Firmware auf dem Switch?
VLAN auf dem Switch konfiguriert?
ACLs auf dem Switch konfiguriert?
Da du keine HV Rolle installiert hast, kannst du auch getrost alles Richtung SR-IOV und VMQ auf den NICs im Server deaktivieren auch im BIOS nachschauen.
Grüsse aus BaWü
Alex
Hallo Alex,
XS712Tv2
- Flow control ist im switch deaktiviert (Nic auch?)
- Fix 10g hat nichts gebracht
- neueste firmware
- keine vlans im switch konfiguriert, alle nics auf vlan=0
- keine acls konfiguriert
- SR-IOV lund VMQ beides deaktiviert
- switch reboot, done
Wenn ich irgendetwas in den Einstellungen des nics verändre, ist nach dem Neustart des öfteren (30-50%!) alles i.O., d.h. schnelle Übertragung alles super, aber dann nach 30 sec wieder alles tot. Oder gleich alles tot.
Der XS712 ist hinter einen unmanaged cicsco switch angeschlossen. Am Cisco switch sitzt eine fritz box, die die IPs vergibt. Wenn fritz Box direkt an den netgear switch angeschlossen: keine Veränderung
XS712Tv2
- Flow control ist im switch deaktiviert (Nic auch?)
- Fix 10g hat nichts gebracht
- neueste firmware
- keine vlans im switch konfiguriert, alle nics auf vlan=0
- keine acls konfiguriert
- SR-IOV lund VMQ beides deaktiviert
- switch reboot, done
Wenn ich irgendetwas in den Einstellungen des nics verändre, ist nach dem Neustart des öfteren (30-50%!) alles i.O., d.h. schnelle Übertragung alles super, aber dann nach 30 sec wieder alles tot. Oder gleich alles tot.
Der XS712 ist hinter einen unmanaged cicsco switch angeschlossen. Am Cisco switch sitzt eine fritz box, die die IPs vergibt. Wenn fritz Box direkt an den netgear switch angeschlossen: keine Veränderung
Moin Hub22019,
🤔🤔🤔
wenn ich so alles Revue passieren lasse, dann sollten wir uns so langsam auf den Server konzentrieren.
Du hast ja in den oberen Posts geschrieben, dass du die Probleme nur in Verbindung mit dem MicroserverG10 und 2019 hast.
Wenn du zwischen den Clients kopierst, dann gibt es keinerlei Probleme.
Richtig?
Wenn ja, dann können wir das Netzwerk vorerst als Problemkind eigentlich ausschliessen.
Die CPU Last des Servers ist ungewöhnlich.
Bitte den Test wiederholen, aber vorher die Ansicht im Taskmanager auf "Logische Prozessoren" umstellen.
Die CPU Last von 30-50% bei der Übertragung finde ich etwas zu hoch.
Wenn ich zwischen unseren Systemen (ungeswitcht) mit 10G hin und her kopiere, dann juckt das die CPU genau 0.
Man muss aber dazu sagen, das die von uns verwendeten CPUs in einer anderen Liga spielen, wie der AMD Opteron X3421 in dem Microserver.
Das letzte System wurde CPU technisch mit Xeon Gold 6144 ausgeliefert.
Das nächste System kommt in ~ 2 Wochen mit 2 x Xeon Gold 6254 im Blech ... 🤪
---
Welche SSDs verwendest du in dem MicroServer?
Grüsse aus BaWü
Alex
🤔🤔🤔
wenn ich so alles Revue passieren lasse, dann sollten wir uns so langsam auf den Server konzentrieren.
Du hast ja in den oberen Posts geschrieben, dass du die Probleme nur in Verbindung mit dem MicroserverG10 und 2019 hast.
Wenn du zwischen den Clients kopierst, dann gibt es keinerlei Probleme.
Richtig?
Wenn ja, dann können wir das Netzwerk vorerst als Problemkind eigentlich ausschliessen.
Die CPU Last des Servers ist ungewöhnlich.
Bitte den Test wiederholen, aber vorher die Ansicht im Taskmanager auf "Logische Prozessoren" umstellen.
Die CPU Last von 30-50% bei der Übertragung finde ich etwas zu hoch.
Wenn ich zwischen unseren Systemen (ungeswitcht) mit 10G hin und her kopiere, dann juckt das die CPU genau 0.
Man muss aber dazu sagen, das die von uns verwendeten CPUs in einer anderen Liga spielen, wie der AMD Opteron X3421 in dem Microserver.
Das letzte System wurde CPU technisch mit Xeon Gold 6144 ausgeliefert.
Das nächste System kommt in ~ 2 Wochen mit 2 x Xeon Gold 6254 im Blech ... 🤪
---
Welche SSDs verwendest du in dem MicroServer?
Grüsse aus BaWü
Alex
Hallo,
ja, zwischen den Clients keine Probleme. Schnell & Konstant.
Eventuell kommen wir der Sache näher:
Download vom Server: egal welche ssd, immer recht ähnlich:
Es geht im Grunde bei Null los. Nach 20 sec geht es etwa hoch auf ca, 35MB/sec. Danach bleibt es mehrere Minuten bei 300kb/sec.
Upload auf den server:
Interessanterweise gibt es hier zwei Ergebnisse, in unregelmäßiger Reihenfolge:
SSD1: Samsung 860QVO 2TB
SSD2: SanDisk Ultra 3D SSD 2 TB
man könnte jetzt sagen, ok, bei der QVO ist es langsamer QLC Speicher, der immer wieder über den cache gepuffert werden muß. Aber warum "sackt" die Gesamtperformabce auf Null und erholt sich nicht, nur weil 10GBE im Spiel ist? Bei 1GBE lesen sie ja auch schneller.
Dass merkwürdige ist nach wie vor: manchmal hat der server2019 eine "gute Minute" ich kann 100 Dateien in 10 Kopiervorgängen kopieren, insgesamt mit max speed, Dauer 1 Minute. Dann breche ich die Kopiervorgänge ab, ziehe wieder 10 Dateien auf einmal rüber und alles bricht ein.
Vielen dank für die Hilfe,
Hubertus
ja, zwischen den Clients keine Probleme. Schnell & Konstant.
Eventuell kommen wir der Sache näher:
Download vom Server: egal welche ssd, immer recht ähnlich:
Es geht im Grunde bei Null los. Nach 20 sec geht es etwa hoch auf ca, 35MB/sec. Danach bleibt es mehrere Minuten bei 300kb/sec.
Upload auf den server:
Interessanterweise gibt es hier zwei Ergebnisse, in unregelmäßiger Reihenfolge:
- Hakelig um die 30 -50MB/sec mit starken CPU Spitzen (screenshots s.u.)
- Oder (gleicher Kopiervorgang!) Konstant bei 260MB/sec mit CPU rel. konstant bei 70% (kein screenshot)
SSD1: Samsung 860QVO 2TB
SSD2: SanDisk Ultra 3D SSD 2 TB
man könnte jetzt sagen, ok, bei der QVO ist es langsamer QLC Speicher, der immer wieder über den cache gepuffert werden muß. Aber warum "sackt" die Gesamtperformabce auf Null und erholt sich nicht, nur weil 10GBE im Spiel ist? Bei 1GBE lesen sie ja auch schneller.
Dass merkwürdige ist nach wie vor: manchmal hat der server2019 eine "gute Minute" ich kann 100 Dateien in 10 Kopiervorgängen kopieren, insgesamt mit max speed, Dauer 1 Minute. Dann breche ich die Kopiervorgänge ab, ziehe wieder 10 Dateien auf einmal rüber und alles bricht ein.
Vielen dank für die Hilfe,
Hubertus
Hallo,
um ehrlich zu sein bin ich ziemlich "weichgekocht" 🤢🤢🤢🤢
Wer billig kauft, kauft dreimal.
Am besten ich hole mir was neues. Denke über einen Dell T640 nach, der hat gleich 10GBE an Bord.
Xeon Silver wird ja wohl schaffen eine nvme SSD über 10GBE an einen Clienten auszuspielen?
Gruß, Hubertus
um ehrlich zu sein bin ich ziemlich "weichgekocht" 🤢🤢🤢🤢
Wer billig kauft, kauft dreimal.
Am besten ich hole mir was neues. Denke über einen Dell T640 nach, der hat gleich 10GBE an Bord.
Xeon Silver wird ja wohl schaffen eine nvme SSD über 10GBE an einen Clienten auszuspielen?
Gruß, Hubertus
Moin Hubertus,
ich sehe, du hast das Problem selbst schon erkannt.
Weder die 860er noch die Ultrastar sind für deinen Einsatzzweck geeignet.
Samsung:
https://www.computerbase.de/2018-12/samsung-ssd-860-qvo-test/3/
Laut diesem Test schaft die Samsung bei einem Singlethread gerade mal 37,15 MB lesend und 123,5 MB schreibend ... ☹
SanDisk:
https://www.computerbase.de/2016-01/sandisk-ultra-ii-2-ssd-test/4/#absch ...
Bei der SanDisk, sieht es nicht besser aus, diese schaft bei einem Singlethread nicht viel mehr, 40,01 lesend und 131,9 schreibend ... ☹
---
Wenn du nur eine SSD verwenden möchtest, so kommst du an PCIe/NVME nicht vorbei.
Für stabile Transferraten bei Singlethreads mit ~1000 MB/s, gibt es momentan nur eine Wahl.
Sparvariante:
https://ark.intel.com/content/www/us/en/ark/products/129833/intel-optane ...
Servervariante:
https://ark.intel.com/content/www/us/en/ark/products/97159/intel-optane- ...
Aber bitte nicht umfallen, wenn du die Preise googlest.
---
Wenn du ein schnelles Filersystem suchst, dann kann ich dir das folgende wärmstens empfehlen.
https://www.infortrend.com/global/products/families/gsepro/pro%20200
"GSEP208T000H-0032" mit Xeon-D 1517. 😀
Diese Unit darfst du nicht mit einer QNAP oder Synology vergleichen, daraus macht die performancetechnisch Hackfleisch aber ohne dabei aufwachen zu müssen. 🤪
Deine Anforderung packt diese auch mit HDD Bestückung, es müssen aber schon 8 sein.
z.B. 8 x HGST Ultrastar HE10 10TB.
Ich habe selbst die kleinere mit 5 x HGST Ultrastar HE10 10TB.
Die Platten sind im RAID6 konfiguriert und schaffen bei mir ~700-800 MB/s, habe die letzten Wochen bei Konvertierungen/Umstellungen einige TB's hin und her schieben dürfen ...
Wenn du die 8-Bay nimmst und RAID5 verwendest, dann schafft die Unit auch locker 2 x 10G mit HDDs zu bedienen.
Alternativ kannst du diese selbstverständlich auch mit SSDs bestücken.
z.B. Micron 5200er aber bitte die PROs keine ECO oder MAX.
Die Microns sind 100% supportet, jedoch funktionieren normalerweise auch andere SSDs in diesen Units.
Von meiner Seite würde ich alternativ eine Intel SATA SSDs aus der Enterprise-Serie empfehlen.
Die aktuellste ist die D3-S4610 mit TLC-Flash.
Bei Bestückung mit SSDs solltest du mind. 4 Stück nehmen (RAID5).
Die Infortrend hat von haus aus auch 2 x 10G, jedoch als SFP+, sie lässt sich aber mit 2 Zusatzkarten auf 4 x 10G RJ45 erweitern.
Sag bescheid wenn du mehr Infos benötigst.
Grüsse aus BaWü
Alex
ich sehe, du hast das Problem selbst schon erkannt.
Weder die 860er noch die Ultrastar sind für deinen Einsatzzweck geeignet.
Samsung:
https://www.computerbase.de/2018-12/samsung-ssd-860-qvo-test/3/
Laut diesem Test schaft die Samsung bei einem Singlethread gerade mal 37,15 MB lesend und 123,5 MB schreibend ... ☹
SanDisk:
https://www.computerbase.de/2016-01/sandisk-ultra-ii-2-ssd-test/4/#absch ...
Bei der SanDisk, sieht es nicht besser aus, diese schaft bei einem Singlethread nicht viel mehr, 40,01 lesend und 131,9 schreibend ... ☹
---
Wenn du nur eine SSD verwenden möchtest, so kommst du an PCIe/NVME nicht vorbei.
Für stabile Transferraten bei Singlethreads mit ~1000 MB/s, gibt es momentan nur eine Wahl.
Sparvariante:
https://ark.intel.com/content/www/us/en/ark/products/129833/intel-optane ...
Servervariante:
https://ark.intel.com/content/www/us/en/ark/products/97159/intel-optane- ...
Aber bitte nicht umfallen, wenn du die Preise googlest.
---
Wenn du ein schnelles Filersystem suchst, dann kann ich dir das folgende wärmstens empfehlen.
https://www.infortrend.com/global/products/families/gsepro/pro%20200
"GSEP208T000H-0032" mit Xeon-D 1517. 😀
Diese Unit darfst du nicht mit einer QNAP oder Synology vergleichen, daraus macht die performancetechnisch Hackfleisch aber ohne dabei aufwachen zu müssen. 🤪
Deine Anforderung packt diese auch mit HDD Bestückung, es müssen aber schon 8 sein.
z.B. 8 x HGST Ultrastar HE10 10TB.
Ich habe selbst die kleinere mit 5 x HGST Ultrastar HE10 10TB.
Die Platten sind im RAID6 konfiguriert und schaffen bei mir ~700-800 MB/s, habe die letzten Wochen bei Konvertierungen/Umstellungen einige TB's hin und her schieben dürfen ...
Wenn du die 8-Bay nimmst und RAID5 verwendest, dann schafft die Unit auch locker 2 x 10G mit HDDs zu bedienen.
Alternativ kannst du diese selbstverständlich auch mit SSDs bestücken.
z.B. Micron 5200er aber bitte die PROs keine ECO oder MAX.
Die Microns sind 100% supportet, jedoch funktionieren normalerweise auch andere SSDs in diesen Units.
Von meiner Seite würde ich alternativ eine Intel SATA SSDs aus der Enterprise-Serie empfehlen.
Die aktuellste ist die D3-S4610 mit TLC-Flash.
Bei Bestückung mit SSDs solltest du mind. 4 Stück nehmen (RAID5).
Die Infortrend hat von haus aus auch 2 x 10G, jedoch als SFP+, sie lässt sich aber mit 2 Zusatzkarten auf 4 x 10G RJ45 erweitern.
Sag bescheid wenn du mehr Infos benötigst.
Grüsse aus BaWü
Alex
Zitat von @hub22019:
Hallo,
um ehrlich zu sein bin ich ziemlich "weichgekocht" 🤢🤢🤢🤢
Wer billig kauft, kauft dreimal.
Am besten ich hole mir was neues. Denke über einen Dell T640 nach, der hat gleich 10GBE an Bord.
Xeon Silver wird ja wohl schaffen eine nvme SSD über 10GBE an einen Clienten auszuspielen?
Gruß, Hubertus
Hallo,
um ehrlich zu sein bin ich ziemlich "weichgekocht" 🤢🤢🤢🤢
Wer billig kauft, kauft dreimal.
Am besten ich hole mir was neues. Denke über einen Dell T640 nach, der hat gleich 10GBE an Bord.
Xeon Silver wird ja wohl schaffen eine nvme SSD über 10GBE an einen Clienten auszuspielen?
Gruß, Hubertus
Moin Hubertus,
so wie am Anfang erwähnt, was ist mit den Platten.
Zu deinem Neukauf; denke ich, macht Sinn. Ich würde dir allerdings eher schon zum Gold raten, man stellt den Unterschied fest (Vergleich identischer Bauform, r640 zu r640 Silver und Gold) - und auf 5-7 Jahren Einsatzzeit amortisiert sich der Aufpreis locker, abgesehen davon macht das am Ende auch nicht so viel aus, wie ich in unterschiedlichen Kundenprojekten des letzten Jahres festgestellt hab.
Viele Grüße und ein angenehmes Pfingstwochenende,
Christian
certifiedit.net
Moin Christian,
"Ich würde dir allerdings eher schon zum Gold raten, man stellt den Unterschied fest (Vergleich identischer Bauform, r640 zu r640 Silver und Gold) - und auf 5-7 Jahren Einsatzzeit amortisiert sich der Aufpreis locker."
dem möchte ich ein bisschen widersprechen.
Wenn ich Hubertus und seine Anforderung richtig verstanden habe, so spielt die CPU eine nachrangige rolle.
Viel wichtiger ist es, das richtige Storage-System zu wählen und auch die passenden SSDs dazu!!!
Wenn wir bei dem besagten DELL T640 bleiben, so sollte bei diesem mindestens der PERC H730P+ (2GB CACHE) oder besser der PERC H740P (8GB CACHE) als RAID Adapter gewählt werden, ungecachte RAID Adapter wie der PERC H330+ sind hingegen vollkommen ungeeignet.
Die von mir oben erwähnte Infortrend, kann im vergleich zum DELL den grossteil ihres RAMs als Cache verwenden, bei 32GB wären es >20GB Cache.
Ferner sollten auch bei dem DELL mindestens 4 SSD's im RAID5 Verbund laufen, am besten SAS12G.
Die Xeon Silver 4112 sollte für Filetransfer vollkommen ausreichen, ich bevorzuge immer Tackt vor Cores !!!
(Ich habe das Gefühl, dass die meisten Softwareentwickler, bis heute leider noch nichts von Multithreading gehört haben ... ☹ )
Grüsse aus BaWü
Alex
"Ich würde dir allerdings eher schon zum Gold raten, man stellt den Unterschied fest (Vergleich identischer Bauform, r640 zu r640 Silver und Gold) - und auf 5-7 Jahren Einsatzzeit amortisiert sich der Aufpreis locker."
dem möchte ich ein bisschen widersprechen.
Wenn ich Hubertus und seine Anforderung richtig verstanden habe, so spielt die CPU eine nachrangige rolle.
Viel wichtiger ist es, das richtige Storage-System zu wählen und auch die passenden SSDs dazu!!!
Wenn wir bei dem besagten DELL T640 bleiben, so sollte bei diesem mindestens der PERC H730P+ (2GB CACHE) oder besser der PERC H740P (8GB CACHE) als RAID Adapter gewählt werden, ungecachte RAID Adapter wie der PERC H330+ sind hingegen vollkommen ungeeignet.
Die von mir oben erwähnte Infortrend, kann im vergleich zum DELL den grossteil ihres RAMs als Cache verwenden, bei 32GB wären es >20GB Cache.
Ferner sollten auch bei dem DELL mindestens 4 SSD's im RAID5 Verbund laufen, am besten SAS12G.
Die Xeon Silver 4112 sollte für Filetransfer vollkommen ausreichen, ich bevorzuge immer Tackt vor Cores !!!
(Ich habe das Gefühl, dass die meisten Softwareentwickler, bis heute leider noch nichts von Multithreading gehört haben ... ☹ )
Grüsse aus BaWü
Alex
Hi Alex,
danke für deinen Widerspruch, aber pure SSD/Plattenleistung bringt dir nichts, wenn die andere Seite wieder laggt, was hältst du vom Vorschlag, dass das ganze System ausgewogen konfiguriert sein sollte? (Du hast natürlich Recht mit dem RaidController, das heisst aber nicht, dass er auf die Silver gehen sollte).
Das A und O ist also ein insgesamt rund konfiguriertes System.
Viele Grüße,
Christian
certifiedit.net
danke für deinen Widerspruch, aber pure SSD/Plattenleistung bringt dir nichts, wenn die andere Seite wieder laggt, was hältst du vom Vorschlag, dass das ganze System ausgewogen konfiguriert sein sollte? (Du hast natürlich Recht mit dem RaidController, das heisst aber nicht, dass er auf die Silver gehen sollte).
Das A und O ist also ein insgesamt rund konfiguriertes System.
Viele Grüße,
Christian
certifiedit.net
Hi Christian,
"Das A und O ist also ein insgesamt rund konfiguriertes System."
Da kann ich nur Beipflichten. 👍
Wenn du einen meiner oberen Posts anschaust, dann siehst du, dass wir im Normalfall auch nicht gerade die kleinsten CPUs verbauen.
Ich kann die Anforderung vom Hubertus an den Server nur im Bezug auf den Filetransfer (grosse Dateien durch die Gegend schupsen ) und dafür benötigt er normalerweise nicht massenhaft Cores.
Habe die Tage mal auf einem unserer Kundensysteme mit 1GByte/s übers Netz rum gespielt, die CPU lief dabei immer auf 1-3% sowohl bei der Freigabe auf der Boot-Disk (Intel P4800X) als auch übers SAN (IFT DS1024B), lediglich die SAN CPU ging auf 15%-25%, was bei gleichzeitigem Lesen mit 1GByte/s (Server A) und gleichzeitigem Schreiben mit 1GByte/s (Server B) auf dasselbe SAN, vollkommen OK ist.
---
So wie ich auf eurer Homepage erkenne, arbeitet Ihr viel mit DELL & EMC, kennst du die Infortrend SANs?
Kann ich nur empfehlen, kosten weniger sind aber viel leistungsfähiger, vor allem bei AllFlash Bestückung.
Grüsse aus BaWü
Alex
n-g-i-s.com
"Das A und O ist also ein insgesamt rund konfiguriertes System."
Da kann ich nur Beipflichten. 👍
Wenn du einen meiner oberen Posts anschaust, dann siehst du, dass wir im Normalfall auch nicht gerade die kleinsten CPUs verbauen.
Ich kann die Anforderung vom Hubertus an den Server nur im Bezug auf den Filetransfer (grosse Dateien durch die Gegend schupsen
) und dafür benötigt er normalerweise nicht massenhaft Cores.Habe die Tage mal auf einem unserer Kundensysteme mit 1GByte/s übers Netz rum gespielt, die CPU lief dabei immer auf 1-3% sowohl bei der Freigabe auf der Boot-Disk (Intel P4800X) als auch übers SAN (IFT DS1024B), lediglich die SAN CPU ging auf 15%-25%, was bei gleichzeitigem Lesen mit 1GByte/s (Server A) und gleichzeitigem Schreiben mit 1GByte/s (Server B) auf dasselbe SAN, vollkommen OK ist.
---
So wie ich auf eurer Homepage erkenne, arbeitet Ihr viel mit DELL & EMC, kennst du die Infortrend SANs?
Kann ich nur empfehlen, kosten weniger sind aber viel leistungsfähiger, vor allem bei AllFlash Bestückung.
Grüsse aus BaWü
Alex
n-g-i-s.com
Hallo,
Danke für den Input. Aus Platzgründen, da der Serverschrank nicht tief genug ist, wird es wohl ein T440 Xeon Silver.
Es gibt keinen Xeon Gold direkt mitzubestellen. Man könnten den Xeon 4110 2.1G ein 2. mal einbauen.
Ich will mir für die schnellen Zugriffsdaten eine Samsung PM1725b 3,2 TB NVME auf PCIE 8x Karte dazu kaufen. Ich möchte ja nur mit 3 Clients sehr schnelle Dateispeicher und Lesevorgänge mit möglichst 1GB/sec übers Netzwerk.
Und zusätzlich mit vielleicht 5 Clients mit 100-400MB/sec von anderen 6G SSD Platten. + eine leicht genutzte Datenbank. Mehr nicht.
Perc Controller H730p ist zwar drin, die SAS Laufwerke dafür sind jedoch in Summe etwa gleich teuer zur Samsung Karte und halb so schnell. Aber theoretisch schnell genug für 10GBE...
Ich persönlich bin kein Freund von Raids, entweder habe ich das nicht verstanden oder/und es passt einfach nicht zu unserem kleinteiligen Einsatz.
- Backup-versionen werden ja täglich gezogen
- Dateiverlauf wird mehrmals täglich gezogen
- Geschwindigkeit brauche ich nicht mehr, als was die Samsung bietet
- Platzbedarf ist überschaubar
Viele Grüße, Hubertus
Danke für den Input. Aus Platzgründen, da der Serverschrank nicht tief genug ist, wird es wohl ein T440 Xeon Silver.
Es gibt keinen Xeon Gold direkt mitzubestellen. Man könnten den Xeon 4110 2.1G ein 2. mal einbauen.
Ich will mir für die schnellen Zugriffsdaten eine Samsung PM1725b 3,2 TB NVME auf PCIE 8x Karte dazu kaufen. Ich möchte ja nur mit 3 Clients sehr schnelle Dateispeicher und Lesevorgänge mit möglichst 1GB/sec übers Netzwerk.
Und zusätzlich mit vielleicht 5 Clients mit 100-400MB/sec von anderen 6G SSD Platten. + eine leicht genutzte Datenbank. Mehr nicht.
Perc Controller H730p ist zwar drin, die SAS Laufwerke dafür sind jedoch in Summe etwa gleich teuer zur Samsung Karte und halb so schnell. Aber theoretisch schnell genug für 10GBE...
Ich persönlich bin kein Freund von Raids, entweder habe ich das nicht verstanden oder/und es passt einfach nicht zu unserem kleinteiligen Einsatz.
- Backup-versionen werden ja täglich gezogen
- Dateiverlauf wird mehrmals täglich gezogen
- Geschwindigkeit brauche ich nicht mehr, als was die Samsung bietet
- Platzbedarf ist überschaubar
Viele Grüße, Hubertus
Zitat von @hub22019:
Ich persönlich bin kein Freund von Raids, entweder habe ich das nicht verstanden oder/und es passt einfach nicht zu unserem kleinteiligen Einsatz.
Ich persönlich bin kein Freund von Raids, entweder habe ich das nicht verstanden oder/und es passt einfach nicht zu unserem kleinteiligen Einsatz.
Du hast es nicht verstanden.
- Backup-versionen werden ja täglich gezogen
Hat nichts mit RAID zu tun. RAID1 ist nämlich kein Backup!
- Dateiverlauf wird mehrmals täglich gezogen
Hat nichts mit RAID zu tun. s.o.
- Geschwindigkeit brauche ich nicht mehr, als was die Samsung bietet
Das ist i.d.R. auch nicht der Hauptzeck des RAIDs.
- Platzbedarf ist überschaubar
Das ist meist auch nicht das Ziel des Einsatzes von. z.B. RAID1 oder RAID10.
Also:
Sinn und Zweck eines Raids mit Redundanz (RAID1, RAID5, RAID6, RAID10) ist es, bei Ausfall einer Platte das System immer noch lauffähig ist, wenn auch mit einschränkungen. Man hat dann i.d.R. weder Datenverlust, noch Ausfallzeit für das einspielen eines backups. Man muß nur recht schnell wieder eine neue Platte in das RAID stecken, um die Redundanz wiederzubekommen.
lks
Moin Hubertus,
ein RAID (Controller) macht viel mehr als nur für Datensicherheit zu sorgen (Abgesehen RAID0).
Zum einen verteilt dieser einen Singlestream auf unterschiedliche Laufwerke und sorg dadurch dafür, dass dieser schneller abgearbeitet wird als bei einer einzelnen SSD.
Durch den Cache des Controllers wird unter Anderem bei entsprechenden Konfiguration sichergestellt, dass evtl. "Hänger" der einzelnen SSDs sich beim schreiben nicht zu sehr auf das Gesamtsystem auswirken, Stichwort "WRITE BACK".
https://www.tecchannel.de/a/ratgeber-raid-controller-optimal-konfigurier ...
Beim Lesen kannst du bei deiner Anforderung durch aktivieren des Features "READ AHEAD" ebenfalls positiv entgegenwirken.
https://www.tecchannel.de/a/ratgeber-raid-controller-optimal-konfigurier ...
Ich bin mir nicht ganz sicher, ob du mit der Samsung glücklich wirst.
Auf die Maximalperformance darfst du bei deiner Anforderung nicht spickeln, diese wirst du mit deiner Anforderung niemals abfragen können.
Siehe auch.
https://www.storagereview.com/samsung_pm1725a_ssd_review
Ist zwar der Vorgänger, aber so viel anders ist die b auch nicht, ausser einbisschen schneller.
Ganz ehrlich, ich mag die Samsungs absolut nicht, ich wurde vor einigen Jahren von einem Kunden auf dessen Verantwortung "gezwungen" welche in ein SAN einzubauen. Diese Entscheidung hat der Kunde relativ schnell bereut.
Die Dinger sind schon schnell wenn sie neu und leer sind, sobald der Füllgrad zunimmt wird die Performance zusehens unerträglich.
War zumindest meine Erfahrung. Mit Enterprise SSDs von Intel oder HGST ist mir das noch nie passiert.
Grüsse aus BaWü
Alex
ein RAID (Controller) macht viel mehr als nur für Datensicherheit zu sorgen (Abgesehen RAID0).
Zum einen verteilt dieser einen Singlestream auf unterschiedliche Laufwerke und sorg dadurch dafür, dass dieser schneller abgearbeitet wird als bei einer einzelnen SSD.
Durch den Cache des Controllers wird unter Anderem bei entsprechenden Konfiguration sichergestellt, dass evtl. "Hänger" der einzelnen SSDs sich beim schreiben nicht zu sehr auf das Gesamtsystem auswirken, Stichwort "WRITE BACK".
https://www.tecchannel.de/a/ratgeber-raid-controller-optimal-konfigurier ...
Beim Lesen kannst du bei deiner Anforderung durch aktivieren des Features "READ AHEAD" ebenfalls positiv entgegenwirken.
https://www.tecchannel.de/a/ratgeber-raid-controller-optimal-konfigurier ...
Ich bin mir nicht ganz sicher, ob du mit der Samsung glücklich wirst.
Auf die Maximalperformance darfst du bei deiner Anforderung nicht spickeln, diese wirst du mit deiner Anforderung niemals abfragen können.
Siehe auch.
https://www.storagereview.com/samsung_pm1725a_ssd_review
Ist zwar der Vorgänger, aber so viel anders ist die b auch nicht, ausser einbisschen schneller.
Ganz ehrlich, ich mag die Samsungs absolut nicht, ich wurde vor einigen Jahren von einem Kunden auf dessen Verantwortung "gezwungen" welche in ein SAN einzubauen. Diese Entscheidung hat der Kunde relativ schnell bereut.
Die Dinger sind schon schnell wenn sie neu und leer sind, sobald der Füllgrad zunimmt wird die Performance zusehens unerträglich.
War zumindest meine Erfahrung. Mit Enterprise SSDs von Intel oder HGST ist mir das noch nie passiert.
Grüsse aus BaWü
Alex
Moin Hubertus,
noch ein weiterer Trick, der bei auserwählten RAID-Kontroller & SANs möglich ist.
Die meisten SSDs können ihre Schreibperformance nur aufgrund des eigenen Schreib-Caches aufrechterhalten,
dieser wir bei den meisten SANs und auch RAID-Controller leider und auch zum Glück deaktiviert.
Zum Glück, weil ein aktivierter Disk-Cache insbesondere bei HDDs im Falle eine Stromausfalls zu fatalen Datenverlusten führen könnte.
Leider, weil bei SSDs ein (Gross)Teil Ihrer Leistungsfähigkeit dadurch ebenfalls flöten geht. 🐌
Auch bei den SSDs muss man aufpassen, die meisten SoHo SSDs und auch einige die sich mit "Enterprise" schimpfen haben ebenfalls ungepufferte Caches.
Alle Enterprise SSDs von Intel )Enhanced Power Loss Data Protection) haben z.B. einen Pufferkondensator, der es sicherstellt, dass im Falle eines Stromausfalls noch alle Daten aus dem Cache auf den Flash geschrieben werden.
Wenn du die Komponenten klug wählst, dann hast du im RAID deinen Cache + den Disk-Cache der jeweiligen SSDs.
Macht unter dem Srich, Turbo hinter Turbo ... 🏎💨🤪
Grüsse aus BaWü
Alex
noch ein weiterer Trick, der bei auserwählten RAID-Kontroller & SANs möglich ist.
Die meisten SSDs können ihre Schreibperformance nur aufgrund des eigenen Schreib-Caches aufrechterhalten,
dieser wir bei den meisten SANs und auch RAID-Controller leider und auch zum Glück deaktiviert.
Zum Glück, weil ein aktivierter Disk-Cache insbesondere bei HDDs im Falle eine Stromausfalls zu fatalen Datenverlusten führen könnte.
Leider, weil bei SSDs ein (Gross)Teil Ihrer Leistungsfähigkeit dadurch ebenfalls flöten geht. 🐌
Auch bei den SSDs muss man aufpassen, die meisten SoHo SSDs und auch einige die sich mit "Enterprise" schimpfen haben ebenfalls ungepufferte Caches.
Alle Enterprise SSDs von Intel )Enhanced Power Loss Data Protection) haben z.B. einen Pufferkondensator, der es sicherstellt, dass im Falle eines Stromausfalls noch alle Daten aus dem Cache auf den Flash geschrieben werden.
Wenn du die Komponenten klug wählst, dann hast du im RAID deinen Cache + den Disk-Cache der jeweiligen SSDs.
Macht unter dem Srich, Turbo hinter Turbo ... 🏎💨🤪
Grüsse aus BaWü
Alex
Hallo Alex,
das hört sich ja nicht so gut an mit der Samsung PCIE Karte.
Angenommen, ich würde nun ein Basis Raid10 mit 4 Disks verwenden und laufend mit den Bedarfen erweitern:
- z.B. 4 x Samsung 860 EVO 2GB, (= 1.160.-) ; hohes Risiko dass sie nicht mit dem H730p laufen (siehe diverse Foreneinträge)
- z.B. 4 x SAS Samsung PM1643 2GB (=2.040.- zu teuer)
- z.B. 4 x SSD Micron 5200 Entry SED (= 1.400,. okay) aber auch Risiko, obschon einer schreibt die würden mit dem H730p laufen
ich werde erst einmal das Netzwerkthema checken und mich dann um das Detaildesign der Disks kümmern.
Ich baue einfach alle verfügbaren SSD Typen ein, dann wird sich ja herausstellen, welche mit dem Controller harmonieren.
Gruß, Hubertus
das hört sich ja nicht so gut an mit der Samsung PCIE Karte.
Angenommen, ich würde nun ein Basis Raid10 mit 4 Disks verwenden und laufend mit den Bedarfen erweitern:
- z.B. 4 x Samsung 860 EVO 2GB, (= 1.160.-) ; hohes Risiko dass sie nicht mit dem H730p laufen (siehe diverse Foreneinträge)
- z.B. 4 x SAS Samsung PM1643 2GB (=2.040.- zu teuer)
- z.B. 4 x SSD Micron 5200 Entry SED (= 1.400,. okay) aber auch Risiko, obschon einer schreibt die würden mit dem H730p laufen
ich werde erst einmal das Netzwerkthema checken und mich dann um das Detaildesign der Disks kümmern.
Ich baue einfach alle verfügbaren SSD Typen ein, dann wird sich ja herausstellen, welche mit dem Controller harmonieren.
Gruß, Hubertus
Hallo,
so, der T440 wurde jetzt als Vorabtest mit einer MX500 SSD , Raid 0 konfiguriert.
Read vom Server 400-500MB/sec:
alles OK
Write auf server:
starker sägezahn nicht schön. Überigens tritt der sowohl bei write-through als auch bei write-back auf. Disk cache ist explizit disabled!
Diese ganzen read test im internet berücksichtigen nicht, dass man (wir) größere Dateien hat. Wir haben also immer Dateien um die 4GB. Was macht hier jetzt Sinn, dass 1GBE ausgenutzt wird UND kein Sägezahn entsteht? Raid10 mit 4x MX500 SSD? Ist dann der Sägezahn weg? Definitiv nicht die Samsung PCIE Karte?
Wenn ich hier 4h Ausfallzeit (langsame Festplatte einbauen, Backup aufspielen) hätte, wäre das nicht so schlimm!
Daneben haben wir "normale Bürodateien", 1MB, 5MB, ... dieses RAID werde ich mit 3 SSD Disk als Raid 5 anlegen denke ich mal.
Die Systemplatte als Raid 1 aus 2x SSD macht Sinn, oder?
Viele Grüße, Hubertus
Ach ja, das Fazit zum Microserver Gen 10:
Der Microserver Gen 10 ist offensichtlich mit der Datenrate überfordert gewesen, oder in irgendeiner Form inkompatibel (AMD Bauteile?)
Fazit 2: Wir hatten bereits nur Dell Clients. Der neue Dell Server ist ein Traum zum konfigurieren!!!!!!!! Ein Unterschied wie Tag&Nacht.
so, der T440 wurde jetzt als Vorabtest mit einer MX500 SSD , Raid 0 konfiguriert.
Read vom Server 400-500MB/sec:
Write auf server:
Diese ganzen read test im internet berücksichtigen nicht, dass man (wir) größere Dateien hat. Wir haben also immer Dateien um die 4GB. Was macht hier jetzt Sinn, dass 1GBE ausgenutzt wird UND kein Sägezahn entsteht? Raid10 mit 4x MX500 SSD? Ist dann der Sägezahn weg? Definitiv nicht die Samsung PCIE Karte?
Wenn ich hier 4h Ausfallzeit (langsame Festplatte einbauen, Backup aufspielen) hätte, wäre das nicht so schlimm!
Daneben haben wir "normale Bürodateien", 1MB, 5MB, ... dieses RAID werde ich mit 3 SSD Disk als Raid 5 anlegen denke ich mal.
Die Systemplatte als Raid 1 aus 2x SSD macht Sinn, oder?
Viele Grüße, Hubertus
Ach ja, das Fazit zum Microserver Gen 10:
Der Microserver Gen 10 ist offensichtlich mit der Datenrate überfordert gewesen, oder in irgendeiner Form inkompatibel (AMD Bauteile?)
Fazit 2: Wir hatten bereits nur Dell Clients. Der neue Dell Server ist ein Traum zum konfigurieren!!!!!!!! Ein Unterschied wie Tag&Nacht.
starker sägezahn nicht schön
Buffer Bloating auf der Infrastruktur ?!https://en.wikipedia.org/wiki/Bufferbloat
Hallo,
habe die Buffer frame size an allen drei beteiligten Geräten auf Standard bzw. 1500 gestellt, kein Erfolg.
Oder ist ein anderer buffer gemeint? Receive und transmit buffer sind an allen nics auf maximalen Wert eingestellt.
Spekulation: Ich denke beim Upload zum Server "bläst" die nvme alles raus, irgendwelche Puffer nehmen es zum teil schnell an und die 6G SSD kann es nicht wegspeichern? Die besagten Puffer sind wohl nur auf kleine Dateimengen ausgelegt.
Aber genau hier muß ich nun ansetzen & verbessern: (SSD 6G Raid 10 vs. PCIe NVME Karte vs. .... , um preislich einigermaßen im Rahmen zu bleiben)
habe die Buffer frame size an allen drei beteiligten Geräten auf Standard bzw. 1500 gestellt, kein Erfolg.
Oder ist ein anderer buffer gemeint? Receive und transmit buffer sind an allen nics auf maximalen Wert eingestellt.
Spekulation: Ich denke beim Upload zum Server "bläst" die nvme alles raus, irgendwelche Puffer nehmen es zum teil schnell an und die 6G SSD kann es nicht wegspeichern? Die besagten Puffer sind wohl nur auf kleine Dateimengen ausgelegt.
Aber genau hier muß ich nun ansetzen & verbessern: (SSD 6G Raid 10 vs. PCIe NVME Karte vs. .... , um preislich einigermaßen im Rahmen zu bleiben)
an allen drei beteiligten Geräten auf Standard bzw. 1500 gestellt, kein Erfolg.
Ist da ein Switch dazwischen ? Da kannst du die Buffersize ja nicht tunen und auf den Endgeräten nützt das dann sehr wenig.Oder ist ein anderer buffer gemeint?
Ja, die Portbuffer eines ggf. beteiligten Switches.
der frame size buffer des netgear Routers ist auf 9014 eingestellt.
Wir hatten bereits bei einem früheren test nvme client --> nvme client gesehen, dass der router nicht der bottleneck ist.
Hubertus
Wir hatten bereits bei einem früheren test nvme client --> nvme client gesehen, dass der router nicht der bottleneck ist.
Hubertus
Hi Hubertus,
werde mich kurz fassen, da ich momentan absolut land unter bin.
Das Netzwerk hat mit deinem Problem nichts zu tun!
Der RAID-Controller ist OK.
Bei den SSDs würde ich dir eher zu 4 x SAS und nicht SATA raten, der grund ist die doppelte Bandbreite (SATA 6G VS SAS 12G) zwischen Controller und SSD.
4 Stück reichen Vollkommen aus, jedoch solltest du den Verbund in RAID5 und nicht in RAID10 machen, ist vor allem beim Schreiben schneller.
Eine zusätzliche Boot-SSD benötigst du eigentlich nicht, du kannst bei den meisten RAID-Kontroller mehrere Virtual-Disks/LUNs pro RAID-Verbund einrichten. VD0 (200GB) zum booten VD1 (Restkapazität) für Daten.
Grüsse aus BaWü
Alex
werde mich kurz fassen, da ich momentan absolut land unter bin.
Das Netzwerk hat mit deinem Problem nichts zu tun!
Der RAID-Controller ist OK.
Bei den SSDs würde ich dir eher zu 4 x SAS und nicht SATA raten, der grund ist die doppelte Bandbreite (SATA 6G VS SAS 12G) zwischen Controller und SSD.
4 Stück reichen Vollkommen aus, jedoch solltest du den Verbund in RAID5 und nicht in RAID10 machen, ist vor allem beim Schreiben schneller.
Eine zusätzliche Boot-SSD benötigst du eigentlich nicht, du kannst bei den meisten RAID-Kontroller mehrere Virtual-Disks/LUNs pro RAID-Verbund einrichten. VD0 (200GB) zum booten VD1 (Restkapazität) für Daten.
Grüsse aus BaWü
Alex
Das Netzwerk hat mit deinem Problem nichts zu tun!
Das ist sicher richtig, denn ein gruseliger NetGear Billig Router wird ja wohl kaum im 10Gig Datenpfad liegen...?!!Wenn Client und Server Back to Back angeschlossen sind ohne aktive Komponente hat das Netzwerk in der Tat keinerlei Einfluss...wenn man dann mal von den verwendeten NICs und ihrer Performance absieht.
Moin Aqui,
ja, ganz sicher!!! 😉🤪
Bei einer Übertragung zwischen den Clients selbst, treten ja auch keine Performanceprobleme auf.
Ich mag Netgear auch nicht besonders, wir verbauen ausslisslich ARUBA, aber mögen und funktionieren sind zwei paar Schuhe.
Wir sprechen hier von einer simplen Datenübertragung über einen 10G Switch, dessen Bandbreite mit 240 Gbit/s angegeben wird.
Kein Trunk, kein AC, kein VLAN, kein SNMP, kein IP Routing, ... warum sollte das deiner Meinung nach nicht gehen?
Die NICs sind OK und bringen auch die Performance, hat Hubertus doch schon X Mal bestätigt.
@Hubertus
hat du den RAM-DISK Test schon gemacht?
Grüsse aus BaWü
Alex
ja, ganz sicher!!! 😉🤪
Bei einer Übertragung zwischen den Clients selbst, treten ja auch keine Performanceprobleme auf.
Ich mag Netgear auch nicht besonders, wir verbauen ausslisslich ARUBA, aber mögen und funktionieren sind zwei paar Schuhe.
Wir sprechen hier von einer simplen Datenübertragung über einen 10G Switch, dessen Bandbreite mit 240 Gbit/s angegeben wird.
Kein Trunk, kein AC, kein VLAN, kein SNMP, kein IP Routing, ... warum sollte das deiner Meinung nach nicht gehen?
Die NICs sind OK und bringen auch die Performance, hat Hubertus doch schon X Mal bestätigt.
@Hubertus
hat du den RAM-DISK Test schon gemacht?
Grüsse aus BaWü
Alex
wir verbauen ausslisslich ARUBA
Igitt...die sind ja noch schlimmer ! Jedenfalls wenn es die Billigreihe von HP ist (ex ProCurve) was auch alles überbuchter Billigmist von Accton OEMt ist. Einzig die Produkte aus dem H3C Zukauf (Huawei) sind tolerabel.Der Rest von HP ist einfach nur gruselig vom internen ASIC Design. Aber muss einen auch nicht groß wundern, denn das ist ja alles zugekaufter und OEMter Kram und keinerlei Eigentwicklung von HP. Aber auch verständlich, denn deren Kerngeschäft ist eben ja nicht das Netzwerk.
Aber na ja...jeder bekommt halt die Infrastruktur die er verdient
Wir sprechen hier von einer simplen Datenübertragung über einen 10G Switch, dessen Bandbreite mit 240 Gbit/s angegeben wird.
Ja, das sind wie immer banale Marketing Zahlen. Aber wenn du den internen Paket Walkthrough im verbauten ASIC dir mal genau ansiehst, dann wirst du sehen das es nicht stimmt. 10 Gig ASIC Ports werden hier interne mit 2 oder oft 4 physischen Ports geshared. Klar, denn denn die normale HP Clientel braucht solche Durchsätze nicht. In dedizierten Projekten verjauft HP übrigens niemals eigenes Equipment sondern fast ausschliesslich nur Arista, Cisco oder manchmal auch Juniper. Ein Schelm wer Böses dabei denkt...!Im Überlast Fall kommt es so intern zu Congestions was die Portbuffer dann auffangen müssten. Aber das an sich ist schon das Problem. Da HP Billigteile verbaut und spart sind die Portbuffer nur sehr klein und wenn die voll sind fängt der Switch an Pakete zu droppen so das es dann zu dem bekannten TCP Buffer Bloating kommt, den man oben sehr schön an dem Sägezahn sehen kann.
In solchen Umgebungen wo es wirklich auf Durchsatz ankommt sollte man niemals billige Access Switches einsetzen sondern idealerweise Cut Through Modelle mit Trill oder SBP. Sowas kommt aber bekanntermaßen nicht von HP !
Moin Aqui,
das aller Erste und das Allerwichtigste ist es immer die Kirche im Dorf zu lassen.
Hubertus hat ein paar Clients und einen Server, das ist definitiv die Domäne von Access Switchen und nicht Datacenter & Co.
Ja, ich weis Marketing ...
Komisch, ich kenne ein paar Kunden die sich aufgrund vom diesem Marketing zu einem CISCO-WLAN entschieden haben.
Dieses haben wir dann nach ein paar Monaten, gegen ein funktionierendes getauscht.
Aqui, bleib bitte auf dem Teppich, mache das ganze auch schon seit > 20 Jahren. 😉
Meine acht Jahre alte Tochter, hat schon > 5 Core-Switche der Terabit-Klasse zusammengebaut.
Grüsse aus BaWü
Alex
das aller Erste und das Allerwichtigste ist es immer die Kirche im Dorf zu lassen.
Hubertus hat ein paar Clients und einen Server, das ist definitiv die Domäne von Access Switchen und nicht Datacenter & Co.
Ja, ich weis Marketing ...
Komisch, ich kenne ein paar Kunden die sich aufgrund vom diesem Marketing zu einem CISCO-WLAN entschieden haben.
Dieses haben wir dann nach ein paar Monaten, gegen ein funktionierendes getauscht.
Aqui, bleib bitte auf dem Teppich, mache das ganze auch schon seit > 20 Jahren. 😉
Meine acht Jahre alte Tochter, hat schon > 5 Core-Switche der Terabit-Klasse zusammengebaut.
Grüsse aus BaWü
Alex
😉
Hallo Zusammen,
vielen Dank für die Hilfe.
Wie gesagt, wir sind weder Konzern, noch mittelständisches Unternehmen, es ist eine 10GBE Lösung am unteren Ende gesucht.
@MysticFoxDE: Bist Du sicher, dass RAID5 schneller schreibt als RAID10? Ich habe eigentlich überall anderslautende Aussagen gefunden. Für bessere Performanceausbeute und Rebuild wird immer RAId 10 empfohlen, für bessere Platzausbeute Raid5.
Ich tendiere daher eher zu RAID10.
Vielleicht mache ich einfach einen Test, wenn die SAS Platten da sind.
Extra Systemplatten machen tatsächlich keinen Sinn.
Apropos "Billigmist" noch eine "lustige" Anekdote. Hatte die ersten IntelX550t2 Karten bei Jacob.de erworben, diese hatten ein Hologramm. Bei einer IntelX550t2 Karte von notebooksbilliger.de , fehlt das Hologramm, sie ist mit mit hochoffiziellem IntelX550t2 Aufkleber beschriftet, aber andere Kühlerbefestigung, leicht anderes Platinenlayout, in der Systemsteuerung wird X550t angezeigt Lt. notebooksbilliger.de angeblich ein Fehler der Erkennung, Austausch läuft, ich bin gespannt. Entweder hat ein Kunde "getauscht" oder es ist Fake-Ware.
Gruß, Hubertus
vielen Dank für die Hilfe.
Wie gesagt, wir sind weder Konzern, noch mittelständisches Unternehmen, es ist eine 10GBE Lösung am unteren Ende gesucht.
@MysticFoxDE: Bist Du sicher, dass RAID5 schneller schreibt als RAID10? Ich habe eigentlich überall anderslautende Aussagen gefunden. Für bessere Performanceausbeute und Rebuild wird immer RAId 10 empfohlen, für bessere Platzausbeute Raid5.
Ich tendiere daher eher zu RAID10.
Vielleicht mache ich einfach einen Test, wenn die SAS Platten da sind.
Extra Systemplatten machen tatsächlich keinen Sinn.
Apropos "Billigmist" noch eine "lustige" Anekdote. Hatte die ersten IntelX550t2 Karten bei Jacob.de erworben, diese hatten ein Hologramm. Bei einer IntelX550t2 Karte von notebooksbilliger.de , fehlt das Hologramm, sie ist mit mit hochoffiziellem IntelX550t2 Aufkleber beschriftet, aber andere Kühlerbefestigung, leicht anderes Platinenlayout, in der Systemsteuerung wird X550t angezeigt
Lt. notebooksbilliger.de angeblich ein Fehler der Erkennung, Austausch läuft, ich bin gespannt. Entweder hat ein Kunde "getauscht" oder es ist Fake-Ware.Gruß, Hubertus
Moin Hubertus,
"Bist Du sicher, dass RAID5 schneller schreibt als RAID10? Ich habe eigentlich überall anderslautende Aussagen gefunden. Für bessere Performanceausbeute und Rebuild wird immer RAId 10 empfohlen, für bessere Platzausbeute Raid5."
RAID10 schafft maximal nur 50% der summarischen Schreibleistung aller verwendeten SSDs, da auf den anderen 50% lediglich eine Kopie der Daten abgelegt wird.
Bei RAID5 schreiben N-1 gleichzeitig die Daten weg.
Zwar muss beim RAID5 noch der Parity-Bit berechnet werden, dass machen moderne RAID-Controller aber im Schlaf.
Einfach mal ausprobieren. 😉
Aber bitte das RAID immer vollständig initialisieren lassen, bevor du mit Performancetests beginnst.
Grüsse aus BaWü
Alex
"Bist Du sicher, dass RAID5 schneller schreibt als RAID10? Ich habe eigentlich überall anderslautende Aussagen gefunden. Für bessere Performanceausbeute und Rebuild wird immer RAId 10 empfohlen, für bessere Platzausbeute Raid5."
RAID10 schafft maximal nur 50% der summarischen Schreibleistung aller verwendeten SSDs, da auf den anderen 50% lediglich eine Kopie der Daten abgelegt wird.
Bei RAID5 schreiben N-1 gleichzeitig die Daten weg.
Einfach mal ausprobieren. 😉
Aber bitte das RAID immer vollständig initialisieren lassen, bevor du mit Performancetests beginnst.
Grüsse aus BaWü
Alex
Nachtrag:
Bei der RAID Konfiguration bitte eine Stripesize von 64K verwenden.
Die Datenpartition sollte im Windows mit REFS und einer Blockgrösse von ebenfalls 64K angelegt werden.
Gruss Alex
Bei der RAID Konfiguration bitte eine Stripesize von 64K verwenden.
Die Datenpartition sollte im Windows mit REFS und einer Blockgrösse von ebenfalls 64K angelegt werden.
Gruss Alex
Hallo Alex,
ein Kurztest des raid controllers mit Mittelmaß SSDs in Raid5, Raid0 bringen total durchwachsene Ergebnisse, speziell write funktioniert nicht sauber, starke Pausen mit Sägezahn.
Ich habe ein "blöde Zwischenfrage": es gibt ja disk Geschwindigkeitstests bei allen möglichen blocksizes. (s.u.)
Welches ist denn nun der relevante blocksize bei einer Übertragung aus dem Netzwerk, der dann bei der Festplatte zum Tragen kommt?
Also Netzwerk write auf server festplatte: Blocksize = ? (= stripesize? = MTU size?)
In anderen Worten: welche der Zeilen kommt denn nun beim write einer 4GB Datei auf ssd beim Laden aus dem Netzwerk zum Tragen? (hier raid 0)
(Hintergrund: ich will jetzt irgendwo mal eine Performance sehen, meinetwegen mit raid 1, auch wenn es später nicht so gemacht wird, aber somit ggf einen Hinweis auf raid10 gibt)
Ziel ist ja weiterhin mit min 900MB/sec lesend und schreibend 4GB+ Dateien zu verwenden.
Viele Grüße, Hubertus
ein Kurztest des raid controllers mit Mittelmaß SSDs in Raid5, Raid0 bringen total durchwachsene Ergebnisse, speziell write funktioniert nicht sauber, starke Pausen mit Sägezahn.
Ich habe ein "blöde Zwischenfrage": es gibt ja disk Geschwindigkeitstests bei allen möglichen blocksizes. (s.u.)
Welches ist denn nun der relevante blocksize bei einer Übertragung aus dem Netzwerk, der dann bei der Festplatte zum Tragen kommt?
Also Netzwerk write auf server festplatte: Blocksize = ? (= stripesize? = MTU size?)
In anderen Worten: welche der Zeilen kommt denn nun beim write einer 4GB Datei auf ssd beim Laden aus dem Netzwerk zum Tragen? (hier raid 0)
(Hintergrund: ich will jetzt irgendwo mal eine Performance sehen, meinetwegen mit raid 1, auch wenn es später nicht so gemacht wird, aber somit ggf einen Hinweis auf raid10 gibt)
Ziel ist ja weiterhin mit min 900MB/sec lesend und schreibend 4GB+ Dateien zu verwenden.
Viele Grüße, Hubertus
Gestern habe ich eine interessante Grafik gefunden, die alles erklären könnte:
Die BX200 kam auch bei mir im Raid zum Einsatz
Die BX200 kam auch bei mir im Raid zum Einsatz
Hi Hubertus,
„ein Kurztest des raid controllers mit Mittelmaß SSDs in Raid5, Raid0 bringen total durchwachsene Ergebnisse, speziell write funktioniert nicht sauber, starke Pausen mit Sägezahn.“
Das ist schon mal keine gute Nachricht. Das deutet darauf hin, dass der RAID-Controller den CACHE der SSDs deaktiviert hat. Dadurch hast du bei „Mittelmaß SSDs“ erst recht eine sehr bescheidene Schreibperformance.
Bei Intel und bei Broadcomcontroller kann man den DISK-CACHE in den Einstellungen des Controllers wieder aktivieren.
Bitte als erstes prüfen und gegebenen Falls wieder aktivieren, solltest du diese Option nicht finden dann ist der Controller für SSDs vollkommen ungeeignet.
In diesem Fall bekommst du über die nativen SATA Ports des Boards bessere Ergebnisse hin als über den RAID, da bei den SATA Ports der Cache der SSD normalerweise nicht deaktiviert wird.
Kommt der Sägezahn sofort, wenn du die Übertragung startest?
Wenn ja, dann wird der Cache des RAIDs ebenfalls nicht benutzt, dein RAID Verbund sollte auf „Write Back“ stehen und nicht auf „Write Through“.
???
Auf den Rest gehe ich noch später ein, meine Hausdrachen wachen demnächst auf und ich habe noch nichts zum Frühstück vorbereitet. 😊
Gruss Alex
„ein Kurztest des raid controllers mit Mittelmaß SSDs in Raid5, Raid0 bringen total durchwachsene Ergebnisse, speziell write funktioniert nicht sauber, starke Pausen mit Sägezahn.“
Das ist schon mal keine gute Nachricht. Das deutet darauf hin, dass der RAID-Controller den CACHE der SSDs deaktiviert hat. Dadurch hast du bei „Mittelmaß SSDs“ erst recht eine sehr bescheidene Schreibperformance.
Bei Intel und bei Broadcomcontroller kann man den DISK-CACHE in den Einstellungen des Controllers wieder aktivieren.
Bitte als erstes prüfen und gegebenen Falls wieder aktivieren, solltest du diese Option nicht finden dann ist der Controller für SSDs vollkommen ungeeignet.
In diesem Fall bekommst du über die nativen SATA Ports des Boards bessere Ergebnisse hin als über den RAID, da bei den SATA Ports der Cache der SSD normalerweise nicht deaktiviert wird.
Kommt der Sägezahn sofort, wenn du die Übertragung startest?
Wenn ja, dann wird der Cache des RAIDs ebenfalls nicht benutzt, dein RAID Verbund sollte auf „Write Back“ stehen und nicht auf „Write Through“.
???
Auf den Rest gehe ich noch später ein, meine Hausdrachen wachen demnächst auf und ich habe noch nichts zum Frühstück vorbereitet. 😊
Gruss Alex
Hi Hubertus,
die Optane/XPOINT habe ich dir schon von Anfang an empfohlen. 😉
Zu den anderen beiden, weder die 750er von Intel noch die BX200 sind für einen RAID-Betrieb geeignet.
Bei Intel sollte man für RAID's immer eine SSD der Data Center Klasse wählen.
https://ark.intel.com/content/www/us/en/ark.html#@PanelLabel83425
Bei Crucial kann ich keine Empfehlung abgeben, da keine Erfahrung.
Gruss Alex
die Optane/XPOINT habe ich dir schon von Anfang an empfohlen. 😉
Zu den anderen beiden, weder die 750er von Intel noch die BX200 sind für einen RAID-Betrieb geeignet.
Bei Intel sollte man für RAID's immer eine SSD der Data Center Klasse wählen.
https://ark.intel.com/content/www/us/en/ark.html#@PanelLabel83425
Bei Crucial kann ich keine Empfehlung abgeben, da keine Erfahrung.
Gruss Alex
Also:
1. SSD eigener Cache wieder aktiviert: download konstant, 816MB/sec , upload 486MB/sec (mit stoppuhr gemessen + filesize 24GB)
Sägezahn, aber die Pausen in den Tälern dauern nur noch 1 Sekunde. der Sägezahn kommt nach ca. 5GB, davor konstant (siehe screenshot vom 13.06.2019)
Ich hatte gelesen: SSD eigenen cache bei raid definitiv deaktivieren, wegen Datenverlustproblem = Raid5 hinfällig.
Der Controller hat eine Batterie, die SSDs aber nicht.
2. Gehe ich richtig in der Annahme, dass ich mind. 14 SAS Disks in Raid10 benötige, um überhaupt 800-1000 MB/sec zu erhalten?
Wir haben ja zwei Themen: Die Gesamtgeschwindigkeit und die native speed bei 4GB+
3. Aus den Werten bei computerbase , Diagramm unten, meine ich zu lesen dass es native speed bei SSDs nur bei der Optane gibt, und bei ein paar NVME SSDs. Wenn kein native speed bei SSDs vorhanden (kein SSD cache aktiviert) , muß ich ja auch hier mindestens 8 SATA SSDs einbauen (mit plätschernden 100-150MB/sec write wie bei SAS), um auf 1000MB/sec bei native speed zu kommen?
https://www.computerbase.de/2017-11/intel-optane-ssd-900p-test/3/
Achtung, der Test ist alt, eine neuere Samsung 860Pro und eine MX500 wurde bei Toms Hardware mit nativen 480-500MB/sec write speed getestet (Sequential Sustained Write Performance)
Alte SSD:
Neue SSD:
Mögliches Fazit:
- Intel Optane:
PRO: bringt die Leistung
Contra: (viel) zu teuer bei mind. 4GB, keine Redundanz
- SAS RAID10 14x:
PRO: bringt die Leistung (???), Redundanz
Contra: viel zu viele Disks, zu wenige iops
- SSD RAID10 4x:
PRO: bringt die Leistung (???), Redundanz
Contra: ./. Offen: Klärung Punkt 3
Annahme: SATA SSD cache disabled
Ich tendiere zu Lösung 3
Hubertus
1. SSD eigener Cache wieder aktiviert: download konstant, 816MB/sec , upload 486MB/sec (mit stoppuhr gemessen + filesize 24GB)
Sägezahn, aber die Pausen in den Tälern dauern nur noch 1 Sekunde. der Sägezahn kommt nach ca. 5GB, davor konstant (siehe screenshot vom 13.06.2019)
Ich hatte gelesen: SSD eigenen cache bei raid definitiv deaktivieren, wegen Datenverlustproblem = Raid5 hinfällig.
Der Controller hat eine Batterie, die SSDs aber nicht.
2. Gehe ich richtig in der Annahme, dass ich mind. 14 SAS Disks in Raid10 benötige, um überhaupt 800-1000 MB/sec zu erhalten?
Wir haben ja zwei Themen: Die Gesamtgeschwindigkeit und die native speed bei 4GB+
3. Aus den Werten bei computerbase , Diagramm unten, meine ich zu lesen dass es native speed bei SSDs nur bei der Optane gibt, und bei ein paar NVME SSDs. Wenn kein native speed bei SSDs vorhanden (kein SSD cache aktiviert) , muß ich ja auch hier mindestens 8 SATA SSDs einbauen (mit plätschernden 100-150MB/sec write wie bei SAS), um auf 1000MB/sec bei native speed zu kommen?
https://www.computerbase.de/2017-11/intel-optane-ssd-900p-test/3/
Achtung, der Test ist alt, eine neuere Samsung 860Pro und eine MX500 wurde bei Toms Hardware mit nativen 480-500MB/sec write speed getestet (Sequential Sustained Write Performance)
Alte SSD:
Neue SSD:
Mögliches Fazit:
- Intel Optane:
PRO: bringt die Leistung
Contra: (viel) zu teuer bei mind. 4GB, keine Redundanz
- SAS RAID10 14x:
PRO: bringt die Leistung (???), Redundanz
Contra: viel zu viele Disks, zu wenige iops
- SSD RAID10 4x:
PRO: bringt die Leistung (???), Redundanz
Contra: ./. Offen: Klärung Punkt 3
Annahme: SATA SSD cache disabled
Ich tendiere zu Lösung 3
Hubertus
Moin Hubertus,
„1. SSD eigener Cache wieder aktiviert: download konstant, 816MB/sec , upload 486MB/sec (mit stoppuhr gemessen + filesize 24GB)
Sägezahn, aber die Pausen in den Tälern dauern nur noch 1 Sekunde. der Sägezahn kommt nach ca. 5GB, davor konstant (siehe screenshot vom 13.06.2019)“
Wir kommen der Lösung langsam näher. 😊
Sägezahn kommt immer, wenn der CACHE nicht benutzt oder geflutet ist.
Hast du deine Energieeinstellungen auf Hochleistung gesetzt? (sehr wichtig)
„Ich hatte gelesen: SSD eigenen cache bei raid definitiv deaktivieren, wegen Datenverlustproblem = Raid5 hinfällig.
Der Controller hat eine Batterie, die SSDs aber nicht.“
Ja das trifft auf fast alle SoHo SSDs zu, aber deshalb empfehle ich dir schon die ganze Zeit Enterprise-SSDs zu nehmen.
Diese haben das Problem nicht, zumindest nicht die von Intel und HGST/WD.
Bei Intel heisst das Feature „Enhanced Power Loss Data Protection“.
https://www.intel.com/content/dam/www/public/us/en/documents/technology- ...
In diesem PDF wird genau beschrieben, wie das Ganze funktioniert, ist zwar für ne alte 320er Serie, ist bei den neuen aber dasselbe.
„2. Gehe ich richtig in der Annahme, dass ich mind. 14 SAS Disks in Raid10 benötige, um überhaupt 800-1000 MB/sec zu erhalten?
Wir haben ja zwei Themen: Die Gesamtgeschwindigkeit und die native speed bei 4GB+“
Ich habe schon ein duzendes Mal auf unserer eigenen Hardware RAID 10 gegen RAID 5 getestet.
Jedes Mal war der RAID5 Verbund deutlich schneller, weshalb wir auch alle All-Flash Systeme auf RAID 5 fahren.
!!! A und O ist der richtige RAID-Controller und die passende SSD dazu, danach kommt erst der RAID-Level !!!
Lösung X:
SSD RAID5 4 x Enterprise-SSD (am besten SAS und nicht SATA):
PRO: bringt Leistung und Ausfallsicherheit
Grüsse aus BaWü
Alex
„1. SSD eigener Cache wieder aktiviert: download konstant, 816MB/sec , upload 486MB/sec (mit stoppuhr gemessen + filesize 24GB)
Sägezahn, aber die Pausen in den Tälern dauern nur noch 1 Sekunde. der Sägezahn kommt nach ca. 5GB, davor konstant (siehe screenshot vom 13.06.2019)“
Wir kommen der Lösung langsam näher. 😊
Sägezahn kommt immer, wenn der CACHE nicht benutzt oder geflutet ist.
Hast du deine Energieeinstellungen auf Hochleistung gesetzt? (sehr wichtig)
„Ich hatte gelesen: SSD eigenen cache bei raid definitiv deaktivieren, wegen Datenverlustproblem = Raid5 hinfällig.
Der Controller hat eine Batterie, die SSDs aber nicht.“
Ja das trifft auf fast alle SoHo SSDs zu, aber deshalb empfehle ich dir schon die ganze Zeit Enterprise-SSDs zu nehmen.
Diese haben das Problem nicht, zumindest nicht die von Intel und HGST/WD.
Bei Intel heisst das Feature „Enhanced Power Loss Data Protection“.
https://www.intel.com/content/dam/www/public/us/en/documents/technology- ...
In diesem PDF wird genau beschrieben, wie das Ganze funktioniert, ist zwar für ne alte 320er Serie, ist bei den neuen aber dasselbe.
„2. Gehe ich richtig in der Annahme, dass ich mind. 14 SAS Disks in Raid10 benötige, um überhaupt 800-1000 MB/sec zu erhalten?
Wir haben ja zwei Themen: Die Gesamtgeschwindigkeit und die native speed bei 4GB+“
Ich habe schon ein duzendes Mal auf unserer eigenen Hardware RAID 10 gegen RAID 5 getestet.
Jedes Mal war der RAID5 Verbund deutlich schneller, weshalb wir auch alle All-Flash Systeme auf RAID 5 fahren.
!!! A und O ist der richtige RAID-Controller und die passende SSD dazu, danach kommt erst der RAID-Level !!!
Lösung X:
SSD RAID5 4 x Enterprise-SSD (am besten SAS und nicht SATA):
PRO: bringt Leistung und Ausfallsicherheit
Grüsse aus BaWü
Alex
Hallo Alex,
vielen dank für die Rückinfo.
ich verstehe ein Sache nicht: Ja nach Kopfposition usw. kann eine SAS doch nur realistische 100-130MB/sec wegschreiben?
Wenn ich das stumpf in einen RAID Rechner eingebe, komme ich mit SAS Raid 5 auf: ca.350MB/sec?
Und das würde ja nicht reichen.
Ich glaube die ganze Zeit wir reden bei SAS über eine HDD mit SAS Schnittstelle? (SAS SSD = "zu teuer")
Hubertus
vielen dank für die Rückinfo.
ich verstehe ein Sache nicht: Ja nach Kopfposition usw. kann eine SAS doch nur realistische 100-130MB/sec wegschreiben?
Wenn ich das stumpf in einen RAID Rechner eingebe, komme ich mit SAS Raid 5 auf: ca.350MB/sec?
Und das würde ja nicht reichen.
Ich glaube die ganze Zeit wir reden bei SAS über eine HDD mit SAS Schnittstelle? (SAS SSD = "zu teuer")
Hubertus
Zitat von @hub22019:
Wenn ich das stumpf in einen RAID Rechner eingebe, komme ich mit SAS Raid 5 auf: ca.350MB/sec?
Und das würde ja nicht reichen.
Wenn ich das stumpf in einen RAID Rechner eingebe, komme ich mit SAS Raid 5 auf: ca.350MB/sec?
Und das würde ja nicht reichen.
Was für ein RAID-Rechner und wieviele Platten?
lks
Hallo,
hier liegt wohl ein Mißverständnis vor:
Ich glaube die ganze Zeit wir reden bei SAS über eine HDD mit SAS Schnittstelle?
SAS SSD sind mir extrem "zu teuer", Faktor 4?, Western Digital (WD) Ultrastar DC SS530 1TB = 500Euro.
Raid Rechner: Dell T440 mit PERC H730P und"ausreichend viel" Platten , um 1000MB/sec dauerhaft, sustained, file write und read speed abzudecken.
Für die o.g. Berechnung hatte ich 4 SAS HDD (keine SAS-SSD wegen Preis) berechnet.
Alles klar, dann gehe ich jetzt in Richtung SATA-SSD. Der Controller schafft ja die Geschwindigkeiten mit SATA 6G Platten, wie man oben sehen kann.
- 4x Micron 5200 PRO - SSD bestellt
Hubertus
hier liegt wohl ein Mißverständnis vor:
Ich glaube die ganze Zeit wir reden bei SAS über eine HDD mit SAS Schnittstelle?
SAS SSD sind mir extrem "zu teuer", Faktor 4?, Western Digital (WD) Ultrastar DC SS530 1TB = 500Euro.
Raid Rechner: Dell T440 mit PERC H730P und"ausreichend viel" Platten , um 1000MB/sec dauerhaft, sustained, file write und read speed abzudecken.
Für die o.g. Berechnung hatte ich 4 SAS HDD (keine SAS-SSD wegen Preis) berechnet.
Alles klar, dann gehe ich jetzt in Richtung SATA-SSD. Der Controller schafft ja die Geschwindigkeiten mit SATA 6G Platten, wie man oben sehen kann.
- 4x Micron 5200 PRO - SSD bestellt
Hubertus
Hi Hubertus,
mit HDDs kommst du bei deinem Controller wahrscheinlich erst ab 6-8 Stück und RAID5 hin.
Der Cache des Controllers ist mit 2 GB einfach viel zu klein um die Platten bei der Geschwindigkeit ausreichend zu puffern.
Bei 1 1GByte/s ist dieser im schlimmsten Fall in zwei Sekunden voll.
Bei HHDs darf man ferner den DISK-CACHE im RAID-Betrieb AUF KEINEN FALL AKTIVIEREN. !!!
Das dar man nur wie schon oben geschrieben, nur bei entsprechenden gepufferten Server/Enterprise SSDs machen.
Mit 4 x Micron 5200er SSDs sollte es hingegen bei RAID5 sauber funktionieren.
!! Stripesize auf dem RAID = 64K !!
!! Datenpartition im OS mit ReFS mit Blocksize 64K formatieren !!
Grüsse aus BaWü
Alex
mit HDDs kommst du bei deinem Controller wahrscheinlich erst ab 6-8 Stück und RAID5 hin.
Der Cache des Controllers ist mit 2 GB einfach viel zu klein um die Platten bei der Geschwindigkeit ausreichend zu puffern.
Bei 1 1GByte/s ist dieser im schlimmsten Fall in zwei Sekunden voll.
Bei HHDs darf man ferner den DISK-CACHE im RAID-Betrieb AUF KEINEN FALL AKTIVIEREN. !!!
Das dar man nur wie schon oben geschrieben, nur bei entsprechenden gepufferten Server/Enterprise SSDs machen.
Mit 4 x Micron 5200er SSDs sollte es hingegen bei RAID5 sauber funktionieren.
!! Stripesize auf dem RAID = 64K !!
!! Datenpartition im OS mit ReFS mit Blocksize 64K formatieren !!
Grüsse aus BaWü
Alex
Hallo Alex,
das Zittern hat noch kein Ende
Frisches windows 2019, nur computername geändert und x550 Treiber installiert.
Festplatten eingebaut, Raid5 oder Raid 10, 64KB, cache on/off, macht nicht gravierend viel aus:
Testfile gesendet (Mit Stoppuhr gemessen, 25.3GB Datei)
download vom server 790MB/sec, konstant
Upload (write) zum server 570MB/sec, Sägezahn:
Fazit: Der von mir vermutete Grund, die SSDs können die Daten nicht schnell genug wegschreiben und bilden dann diesen Sägezahn Effekt war wohl falsch
Dann habe ich unter windows C: verkleinert und Laufwerk E: als REFS angelegt mit 64K
download 816MB/sec, konstant
Upload (write) 970MB/sec, Sägezahn, aber ganz anders:
oder so:
oder so:
Da steig noch einer durch???? Als ob immer einer zu einem festzusetzen Zeitpunkt auf die Bremse tritt?
Es ist aber schön, dass es jetzt schneller geht!!!
Das ganze ist für mich aber etwas undurchsichtig, ABER ICH WILL NICHT JAMMERN
das Zittern hat noch kein Ende
Frisches windows 2019, nur computername geändert und x550 Treiber installiert.
Festplatten eingebaut, Raid5 oder Raid 10, 64KB, cache on/off, macht nicht gravierend viel aus:
Testfile gesendet (Mit Stoppuhr gemessen, 25.3GB Datei)
download vom server 790MB/sec, konstant
Upload (write) zum server 570MB/sec, Sägezahn:
Fazit: Der von mir vermutete Grund, die SSDs können die Daten nicht schnell genug wegschreiben und bilden dann diesen Sägezahn Effekt war wohl falsch
Dann habe ich unter windows C: verkleinert und Laufwerk E: als REFS angelegt mit 64K
download 816MB/sec, konstant
Upload (write) 970MB/sec, Sägezahn, aber ganz anders:
oder so:
oder so:
Da steig noch einer durch???? Als ob immer einer zu einem festzusetzen Zeitpunkt auf die Bremse tritt?
Es ist aber schön, dass es jetzt schneller geht!!!
Das ganze ist für mich aber etwas undurchsichtig, ABER ICH WILL NICHT JAMMERN
Moin Hubertus,
das sieht ja schon mal viel viel besser aus.
Hast du nach der Neuinstallation die folgenden Optimierungen vorgenommen ...
- Energieeinstellungen auf Hochleistung stellen oder auch Ultimative Leistung s.O.
- Leeren des Schreibcaches deaktivieren
- DiskCache der SSDs am RAID aktiviert?
- Falls ReadAhead aktiviert, bitte deaktivieren, bringt zwar beim Lesen einen kleinen vorteil, verlangsamt jedoch das Schreiben, da weniger Controller-Cache für die Schreibvorgänge zur Verfügung steht
---
Hast du die Tests gleich nach dem Aufsetzen gemacht?
Bei einem SSD Storage sollte man nach dem Initialisieren am besten, je nach Grösse 4-24h warten, bis man mit Performancetests beginnt.
Die SSDs benötigen nach der Initialisierung selbst ein bisschen Zeit für eine interne "Reorganisierung", erst danach steht die volle Performance am RAID zur Verfügung.
Grüsse aus BaWü
Alex
das sieht ja schon mal viel viel besser aus.
Hast du nach der Neuinstallation die folgenden Optimierungen vorgenommen ...
- Energieeinstellungen auf Hochleistung stellen oder auch Ultimative Leistung s.O.
- Leeren des Schreibcaches deaktivieren
- DiskCache der SSDs am RAID aktiviert?
- Falls ReadAhead aktiviert, bitte deaktivieren, bringt zwar beim Lesen einen kleinen vorteil, verlangsamt jedoch das Schreiben, da weniger Controller-Cache für die Schreibvorgänge zur Verfügung steht
---
Hast du die Tests gleich nach dem Aufsetzen gemacht?
Bei einem SSD Storage sollte man nach dem Initialisieren am besten, je nach Grösse 4-24h warten, bis man mit Performancetests beginnt.
Die SSDs benötigen nach der Initialisierung selbst ein bisschen Zeit für eine interne "Reorganisierung", erst danach steht die volle Performance am RAID zur Verfügung.
Grüsse aus BaWü
Alex
Hallo Alex,
ja, Disk cache ist aktiviert. Optimierungen durchgeführt.
Nachdem alles gut läuft, wurde heute noch eine Lüftung in den Schrank eingebaut, wegen der "hochperformanten hardware" ist halt eine andere Hitzeentwicklung als bei den Microserver Kisten.
Es gab noch ein Problem mit einem DHL Polling Programm, dies ist wohl so schlecht programmiert, das es tatsächlich regelmäßig die Leitung dichtmacht, trotz Firewall Öffnung, warum auch immer.
Ich würde mich gerne noch mit einem kleinen Gutschein in unserem Onlineshop bedanken, falls gewünscht.
Das ein oder andere hätte ich wohl wieder falsch gemacht. Sonst kann ich hier wohl nicht soviel zu den Themen beitragen.
Aber immerhin kann sich vielleicht der ein oder andere mit dem thread eine teure und langwierige trial and error Aktion ersparen.
Also, vielen Dank nochmal.
Viele Grüße, Hubertus
Meine 3 größten Lessons learnt (praxisgeprüft)
- nix ganz billiges kaufen
- "Darum Dell", bestätigt sich jeden Tag, unglaublich, wie gut die Verwaltungssoftware IDRAC harmoniert, einfach perfekt, und was ich mir an Zusatzsoftware sparen kann, weil schon integriert....
- Raid 5
ja, Disk cache ist aktiviert. Optimierungen durchgeführt.
Nachdem alles gut läuft, wurde heute noch eine Lüftung in den Schrank eingebaut, wegen der "hochperformanten hardware"
ist halt eine andere Hitzeentwicklung als bei den Microserver Kisten.Es gab noch ein Problem mit einem DHL Polling Programm, dies ist wohl so schlecht programmiert, das es tatsächlich regelmäßig die Leitung dichtmacht, trotz Firewall Öffnung, warum auch immer.
Ich würde mich gerne noch mit einem kleinen Gutschein in unserem Onlineshop bedanken, falls gewünscht.
Das ein oder andere hätte ich wohl wieder falsch gemacht. Sonst kann ich hier wohl nicht soviel zu den Themen beitragen.
Aber immerhin kann sich vielleicht der ein oder andere mit dem thread eine teure und langwierige trial and error Aktion ersparen.
Also, vielen Dank nochmal.
Viele Grüße, Hubertus
Meine 3 größten Lessons learnt (praxisgeprüft)
- nix ganz billiges kaufen
- "Darum Dell", bestätigt sich jeden Tag, unglaublich, wie gut die Verwaltungssoftware IDRAC harmoniert, einfach perfekt, und was ich mir an Zusatzsoftware sparen kann, weil schon integriert....
- Raid 5
