vafk18
Goto Top

Verkabelung von zwei HP ProLiant G7 MicroServer N54L über Twinax Direct Attach Copper (DAC)

Ich möchte die Übertragungsgeschwindigkeit für Replication-Tasks zwischen zwei HP ProLiant G7 MicroServer N54L mit DAC-Verbindung erhöhen. In beiden Microservern ist ein freier PCI-e (x16) Slot.
Ich habe recherchiert, daß ich mit folgenden Steckkarten klarkomme:

Low Profile Mellanox ConnectX-2 PCIe x8 NIC 10 Gigabit 10GBe SFP+ Server LP (z.B. https://bit.ly/2Gg5l4L)

Dazu benötige ich noch passende Kabel:
Cisco 3m SFP+ DAC Kabel 10GB 10 Gigabit Twinax Twinaxial Cable SFP-H10GB-CU3M (z.B. https://bit.ly/2A1DShu)

Als Switch habe ich einen D-Link DGS-1216T. Dies ist ein 16-Port 10/100/1000Mbps + 2 Combo Mini GBIC Switch. Damit ich die beiden Microserver über 10 GBit verbinden, benötige ich wahrscheinlich einen 10 GBit Switch, da die 2 Combos aus dem DLink nut 1GBit können.

Was feht mir noch, bzw. gibt es eine alternative Verkabelung? Danke.

Content-Key: 395817

Url: https://administrator.de/contentid/395817

Ausgedruckt am: 29.03.2024 um 04:03 Uhr

Mitglied: aqui
aqui 15.12.2018 aktualisiert um 14:03:56 Uhr
Goto Top
Warum teure Cisco Kabel wenn es die gleichen auf dem freien Markt auch gibt ??
https://www.reichelt.de/kabel-twinax-sfp-stecker-stecker-3-m-delock-8622 ...
<edit>Ooops...sorry, sind auch Gebrauchte. Zu spät gesehen...
Klar, die gehen dann natürlich auch. </edit>
benötige ich wahrscheinlich einen 10 GBit Switch, da die 2 Combos aus dem DLink nut 1GBit können.
Wie sollte es denn auch anders gehen ??
Aber wenn du nur 2 Server direkt verbinden willst, dann ist ein 10G Switch überflüssiger Overhead !
Mit dem DAC Kabel kannst du sie ja dann auch direkt Back to Back sprich von NIC zu NIC verbinden. Dafür ist kein extra Switch erforderlich.
Was feht mir noch
Nix mehr...
Mitglied: vafk18
vafk18 15.12.2018 um 14:19:05 Uhr
Goto Top
Hallo Aqui,

besten Dank für Deine Antwort face-smile

Kann es also das hier sein https://tinyurl.com/ybrxaour ?

Sorry, daß ich in meinem Eröffnungsbeitrag das "Guten Morgen" und "Allen ein schönes Wochenende" vergessen habe. War die lange Nacht schuld...
Mitglied: aqui
Lösung aqui 15.12.2018 um 14:24:26 Uhr
Goto Top
Jepp, Bingo ! Das ist es !

( "Allen ein schönen 3ten Advent") face-wink
Mitglied: vafk18
vafk18 16.12.2018 um 20:47:04 Uhr
Goto Top
Agui, ich hoffe, Du hattes einen schönen Advent face-smile

Mir gefällt die Idee mit den SFP Karten immer besser. Habe noch eine Quelle gefunden, wo eine HP MLX CX3 10 Gbit/s SFP+ nur 10 Euro kostet. Muß nur sehen, ob sie in die Rechner paßt. Es gibt auch die HP Infiniband FDR/Ethernet 544FLR-QSFP Dual 10/40 Gbit/s mit zwei Anschlüssen.

Könnte ich die Verkabelung so realisieren, daß ich vom Server in die erste NAS gehe und dann vom zweiten NIC auf die nächste NAS usw? Mit anderen Worten einen 10 GBit-Switch inzusparen? Den habe ich nämlich noch nicht entdeckt, zumindest nicht fürs kleine Portemonnaie.

Danke und gute Nacht!
Mitglied: aqui
Lösung aqui 17.12.2018 um 13:19:52 Uhr
Goto Top
Ja das geht sofern dein NAS 2 mal 10 Gig Ports hat.
Allerdings wenn das nur ein einziges IP Netz sein soll, dann müssen sich die 2 NAS Ports als Bridge konfigurieren lassen.
Nicht alle NAS Hersteller supporten das ! Check das im NAS Datenblatt !
Bei vielen die einen Shell Zugang per SSH haben kann man das dann auf dem Lunix CLI einrichten aber da das nicht übers GUI rennt dann offiziell nicht supportet.
Muss du also sehen.

Üblich bei NAS mit 2 Ports ist 2 IP Netze dann auf den Ports zu konfigurieren und das IPv4 Forwarding im NAS zu aktivieren. Das geht immer.
Das NAS ist dann quasi der Router und verbindet die 2 Rechner in ihren IPs untereinander und mit sich selbst.
Mitglied: vafk18
vafk18 17.12.2018 um 23:26:32 Uhr
Goto Top
Danke! Ich habe vergessen zu schreiben, daß es zwei FreeNAS sind auf je HP N54L. Ich denke, damit wird es möglich sein.
Mitglied: aqui
aqui 18.12.2018 um 12:28:47 Uhr
Goto Top
Ja, denn unterhalb von FreeNAS werkelt ein Linux und man hat Shell Zugriff. Damit sind dann beide Optionen von oben problemlos möglich !
Mitglied: vafk18
vafk18 07.01.2019 aktualisiert um 12:55:46 Uhr
Goto Top
Jetzt ist meine langersehnte Lieferung der beiden Mellanox MNPA19-XTR auch Hong Kong eingetroffen. Leider war nur eine der beiden Karten funktionsfähig face-sad

Ich habe die eine funktionsfähige Mellanox an einen D-Link DGS-1216T mit dem mitgeliferten Cisco SFP-H10GB-CU3M Kabel angeschlossen. Der Switch hat 2 SFP Combo-Ports (IEEE 802.3z, Full-Duplex). Leider leuchtet weder auf der Karte noch auf dem Switch eine LED und der Port ist down.

Kann es ein Kompatibilitätsproblem sein oder liegt es eher am Kabel?

Ich habe das Cisco-Kabel auch mit einer Fujitsu D2755 (D2755 SFP+ Dual Port 10 Gbit PCIe x8) am D-Link ausprobiert und bekomme ebenfalls keinen Link. Weenn ich die Mellanox mit der Fujitsu direkt verbinde, leuchtet ebenfalls kein Link.

Leider habe ich nur das eine Kabel, der Chinese meint, daß es eher unwahrscheinlich ist, daß es am Kabel liegt und die Ersatzlieferung kommt erst in einigen Wochen...

Noch eine Verständnisfrage: sind die SFP-Module bzw. Kabel untereinander kompatibel? Die Fujitsu D2755 hat zwei Finisar FTLX8571D3BCL (850 nm Laser SFP+). Könnte ich einen davon in die Mellanox stecken und die Verbindung mit einem LWL-Kabel aufbauen? Ich habe das noch nie gemacht und würde gerne experimentieren.

Danke!
Mitglied: aqui
Lösung aqui 07.01.2019 um 12:54:57 Uhr
Goto Top
Oha, keine gute Nachricht mit der einen Karte.
Das die andere bzw. das Kabel und Link nicht erkannt wird kann mehrere Ursachen haben:
  • Möglich das man auf dem D-Link explizit in der Konfig den SFP Port auswählen muss im Setup
  • Beim TwinAx gibt es sog. Active Cables und Passive Cables.
Sie unterscheiden sich darin das active cables einen im SFP integrierten Leitungsverstärker haben zur Signalverstärkung.
Passive cables haben das nicht.
http://www.chinacablesbuy.com/difference-between-passive-and-active-twi ...

Viele Switch oder auch NIC Hersteller supporten oft keine passive cables oder manchmal auch andersrum.
Dann hast du natürlich ein Problem. Z.B. wenn Mellanox nur active kann und der D-Link rein nur passive oder umgekehrt.
In der Regel fährt man mit active cables immer besser wegen der Signalqualität bei Kabellängen über 1m.
Du solltest also in erster Line erstmal checken ob deine Kabel aktive oder passive Twinax Kabel sind und wenn passive ggf. mal mit einem aktiven testen oder andersrum.
Mitglied: vafk18
vafk18 07.01.2019 um 13:50:47 Uhr
Goto Top
Hallo aqui,

vielen Dank für die Erklärung. Ja, das Cisco Kabel ist ein passives. Ich habe auch schon bei D-Link angefragt, welche Typen der Switch unterstützt. Ich bestellte mir mal ein aktives Kabel zum Testen.

Da ich auch schon ein LWL-Kabel bestellt habe (nach Spezifikationen von Fujitsu) und zwei SFP+ Module habe, kann ich das eine Modul in der Mellanox-Karte verwenden oder ist SFP nicht immer SFP?
Mitglied: aqui
aqui 07.01.2019 aktualisiert um 13:59:02 Uhr
Goto Top
Vom Form Faktor her gesehen schon. SFP+ ist 10G und SFP ist 1G bei gleichem Form Faktor. Passen also in die gleichen Steckbuchsen. Switches supporten in der regel in den 10G SFP Porets auch 1G Optiken aber oft muss man das im Speed Setting dann statisch anpassen, denn die SFPs machen KEIN Autonegotiation !

Du musst aber genau aufpassen was für 10G Optiken du hast.
Normal für Inhouse sind bei 10G SFP+ SR (Short Range) Optiken der Standard mit 850nm auf Multimode Kabel mit 50/125µ.
Steht unten auf deiner Optik kleingedruckt auf dem Typenschild face-wink
https://www.flexoptix.net/de/transceiver/sfp-multimode
Mitglied: vafk18
vafk18 07.01.2019 aktualisiert um 15:39:18 Uhr
Goto Top
Hättest Du einen Tipp für einen 10GBit-Switch? Dieser sollte den Server mit der NAS (bei 10 GBit vielleicht schon SAN). Von D-Link gibt es eine günstige Baureihe DGS-1510-xx (2x 1Gbit SFP, 2x 10GBit SFP+) ab 150 Euro. Oder aber über Steckkarten in den Servern und Peer-to-Peer-Verbindung? Könnte mir vorstellen, daß die 2 Stück 10GBit NIC im Dauerbetrieb mehr Strom verbrauchen als der Switch.
Mitglied: aqui
aqui 07.01.2019 aktualisiert um 17:55:19 Uhr
Goto Top
Cisco SG-350X oder SG-550X face-wink
Könnte mir vorstellen, daß die 2 Stück 10GBit NIC im Dauerbetrieb mehr Strom verbrauchen als der Switch.
Wie kommst du darauf ??
Wenn du die jeweils mit einer SR Optik verpasst und mit einem simplen 3 Euro LWL Patchkabel Peer to Peer verbindest ist das erheblich weniger als wenn ein 8 oder 16 Port SFP+ Switch irgendwo noch zusätzlich rumglüht.
Das sagt einem doch aber auch schon der gesunde Menschenverstand.
Mitglied: vafk18
vafk18 07.01.2019 um 18:35:06 Uhr
Goto Top
Momentan habe ich einen 16-Port-Gigabitswitch, der fast voll ist. Den würde ich gegen ein neueres Modell tauschen, das SFP+ Module aufnehmen kann. Damit hätte ich kaum mehr Stromverbrauch Aber ja, Du hast Recht, der Aufwand lohnt für die eine Peer-to-Peer-Verbindung nicht.
Mitglied: aqui
aqui 07.01.2019 aktualisiert um 18:53:54 Uhr
Goto Top
habe ich einen 16-Port-Gigabitswitch, der fast voll ist.
Der nützt dir natürlich nix bei 10G face-wink
Oder du nimmst einen kleinen Kombiswitch mit 2 oder 4mal 10G SFP+
Ein Ruckus 7150 Compact (2mal SFP+) oder Ruckus 7150-24 (4mal SFP+) wäre hier eine gute Wahl.
Wenn denn dein Budget dafür reicht.
Gibts aber bei den Cisco SG-250X auch für noch kleineres Geld:
https://www.cisco.com/c/en/us/support/switches/sg250x-24-24-port-gigabit ...
24 mal 1G und 4mal 10G (2mal CU, 2mal SFP+)