[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

Joah, mal schauen. Nach meinem Verständnis sind im Prinzip doch alle 100gb QSFP28 eigentlich 4x25...

Ansonsten muss ich halt nochmal nach 'ne Mellanox Ausschau halten. Da kenn ich mich mit den Einzelheiten etwas besser aus.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Joah, mal schauen. Nach meinem Verständnis sind im Prinzip doch alle 100gb QSFP28 eigentlich 4x25...

Ansonsten muss ich halt nochmal nach 'ne Mellanox Ausschau halten. Da kenn ich mich mit den Einzelheiten etwas besser aus.


du , alles fein, wollts dir nur sagen


bei mir steht : 620-QSFP28 1-port Ethernet adapter - 4 lanes 25GB, quad small form factor (QSFP)840134-001
 
hmmm…


…oder?…


EDIT & Nachtrag: ich lass mir mal die HP-Karte kommen… für etwas über 100 Euro bei der Serverschmiede direkt kann man das ja mal ausprobieren. Wenn’s klappt, kommt die in einen reinen Fileserver und die große VM-Schleuder wird nur noch bei Bedarf angeworfen.
Magst du mal berichten, was für ein Chip da drauf ist ?
 
Qlogic imho beim HPE

guck mal auf die PN ......
Dell QLExxxxx
HP QL4xxxxxx
 
Joah, mal schauen. Nach meinem Verständnis sind im Prinzip doch alle 100gb QSFP28 eigentlich 4x25...
Neeee, ne ne.

QSFP28 ist zwar 4x25G Lanes, aber bei der HPE QLogic präsentieren die sich als 4 einzelne 25G ports, während das auf den Mellanox ein einzelner 100G Ports ist. Ganz weiter unterschied.

Wenn du CX456A willst, sag Bescheid. Kann ich dir für deutlich weniger Geld besorgen als die du verlinkt hast.
 
Was isse letzte Preis? :d

Gerne per PN.
 
sollte von euch mal jemand eine 4*10GBe billigst abzugeben haben meldet euch bei mir gerne (mit breakout Cable)

ich muss hier einen Slot mit 4*10GBe SFP+ bestücken

damit ist gemeint eine 40GBit mit 4*10 GBit Breakout oder eine 4*10GBit

... linux kompatibilität reicht und als breakout würde sogar DAC reichen
 
Hier: 4x10G kann meiner Kenntnis nach nur die Intel XL710. Melllanox bis inkl cx4 jedenfalls nicht, das hatte ich mal getestet. Auf neuere Karten hatte ich bislang keinen Zugriff. Bei der XL710 steht das aber im Datenblatt als Feature.
 
Hier: 4x10G kann meiner Kenntnis nach nur die Intel XL710. Melllanox bis inkl cx4 jedenfalls nicht, das hatte ich mal getestet. Auf neuere Karten hatte ich bislang keinen Zugriff. Bei der XL710 steht das aber im Datenblatt als Feature.
Korrekt, keine der Mellanox Karten kann das (einschl. ConnectX-7)

Zusätzlich kann auch die Intel E810 das (bzw. diverse krude breakout modi)
 
Hey, vielleicht kann meine bestellte HP-Karte (s.o.) ja (nur) das. Wenn ja, kannste die haben (denn ich brauch die dann genau nicht).

Breakout-Kabel zum Testen hätte ich sogar da - müsstest Du Dir dann aber selber besorgen.
 
Bloede Frage aber da steht ja iwas mit inifiband dabei. War das nicht irgendwann mal nen spezielles protokoll, welches nicht ip sprechen kann?
Ist das nun ne 'gewoehnliche' netzwerkkarte, wo ich nen 40gbps gbic reinstecke und dann direkt netzwerk damit machen kann? :d
 
Bloede Frage aber da steht ja iwas mit inifiband dabei. War das nicht irgendwann mal nen spezielles protokoll, welches nicht ip sprechen kann?
Ist das nun ne 'gewoehnliche' netzwerkkarte, wo ich nen 40gbps gbic reinstecke und dann direkt netzwerk damit machen kann? :d
Die ECAT Variante kann Beides. Kann man per mlxtools umschalten.
 
Dankeschoen! Ich les hier gern bei euch mit. Finds super interessant. Zwar fuer mich aktuell nicht relevant aber wenn der Kram hier im Haus in dem Tempo weiterwaechst habt ihr vielleicht bald einen neuen Mitstreiter hier im Thread :d
 
Kühlung muss man ja eh bisserl schauen. Meine X-4 unter Wakü tut‘s jedenfalls noch… :d

Bei der X-5 muss ich mir evtl. noch was überlegen. Entweder nen kleinen 40er direkt drupp oder nen 120er in der Nähe, der in die richtige Richtung pustet, müsste ja eigentlich reichen.

Bei mir kommen die eh nicht dauerhaft unter Volllast - auf beiden Ports schonmal gar nicht.

Aber damit kann ich dann mal wieder ein bisserl spielen, ohne was am Hauptserver oder Desktop frickeln zu müssen… mein 3960X setzt schon Staub an, der könnte als Test-Server dienen, und nen 7700K als Test-Client hätt ich auch noch über… hach, mal schauen wann sie kommen und hoffentlich hab ich dann auch etwas Zeit. :(
 
Verstehe nur Bahnhof. Warum eine zurückschicken, wenn man zwei haben kann?!? ;)
 
CX5? Was? Ich habe veraltete Technik? Nein!
... Könntest Du möglichst bald dann nach Watt-Unterschieden im Betrieb schauen? Die cx4 ist ja schon eher bei 15-25Watt (bei Last) und produziert viel Wärme. Wenn das ein bisserl weniger kommt, würde ich Server-seits die CX5 in Betracht ziehen.
 
@danielmayer: Puh.... für einen Direktvergleich müsste ich ja dann doch einen Bestands-PC zerpflücken. Reicht Dir auch eine grobe Abschätzung (Verbrauch ohne NIC vs. mit NIC?).

Ansonsten: das Bessere ist der Feind des Guten. ;) Hab auch schon gebrauchte CX6er gesehen, aber als Spielzeug (noch) zu teuer. The hot shit / aktuell sind ja schon 7er... aber Ethernet können die auch "nur" max. 100Gb pro Port... <-- das war falsch
 
Zuletzt bearbeitet:
Richtig. Es gab auch mal eine Phase, in der CX6 Mezz-Karten extrem günstig waren. Jetzt habe ich so ein Board im Server, aber nix mehr günstig... Ich schaue hier erst einmal weiter zu.
Beitrag automatisch zusammengeführt:

400G.... Hmmm...
 
@java4ever: Hast recht - Datasheet sagt das auch. Keine Ahnung wo ich das gerade gesehen hatte.

Was ganz anderes: hat von Euch schon mal jemand mit Nvidia's ZTR (Zero-Touch RoCE) herumgespielt? Das scheint RMDA recht easy bei einer Direktverbindung zu erlauben.
 
Kurzes Update zum Stichwort „Augen auf beim Hardwarekauf!“ oder „wer billig kauft, kauft 2x“ oder „wenn’s zu schön ist, um wahr zu sein, isses das meiste“ auch“ oder … ach Ihr wisst schon…

Hab mich mal wieder selber nicht dran gehalten, und wie hier schon völlig richtig dargestellt, melden sich mit der hier:


4 Ethernet-Adapter. Daraus 1x 100Gbit zu machen ist eher nicht so easy/sinnvoll. Bonusthema: Treiber eher so selten. Für Windows als Client gibts auf Anhieb eher nix. Weder bei Microsoft von Haus aus noch bei HP(E).

Mal schauen, ob ich mal spaßeshalber nen (Win-)Server aufsetze, um zumindest mal die Nutzbarkeit mit Break-out Kabel dem Grunde nach zu testen.

Bei der Gelegenheit ist mir auch aufgefallen, dass mir die QSFP28-Transceiver ausgehen. Muss also mal wieder bei FS einkaufen, die CX5er kommen ja bald…

EDIT & UPDATE: die Win-Server Treiber von der HPE Seite funzen doch mit Win11. Zumindest wenn man sie entpackt und dann manuell die INF installiert taucht die Karte mit 4x als 25GBe NIC auf. Mit meinem 08/15 FS SR4 100Gbit Transceiver (FS „generic“) und nem breakout-Kabel auf nen 10GBe Transceiver funzt sie aber schonmal nicht.
 
Zuletzt bearbeitet:
Darf ich euch hier fragen, auch wenn meine Frage nur im Bereich 10-25G liegt? Irgendwie fühl ich mich bei euch besser aufgehoben als im Netzwerk-Forum...

Ich hab so die Idee, meinen Desktop mit dem NAS direkt zu verbinden per Fiber, für 10 GbE Zeug bin ich mir zu knausrig und 40er Lüfter mag ich auch keine. Mein 2.5 GbE reicht mir fürs meiste im Netzwerk, mein TrueNAS würd ich dann einfach direkt mit dem Desktop verbinden. 8 Lanes im NAS hab ich frei, im Desktop müsst ich sie von der Graka abzweigen, das muss ich mir noch überlegen.

Meine eigenltiche Frage, ist denn so der Stromverbrauch im Idle und unter Last von diesen Karten (10/25G)?

Ich hätte sowas hier gefunden (auf die Schnelle), 25G:
https://www.ebay.de/itm/134323364793?epid=722924741&hash=item1f464be3b9:g:kAUAAOSwZYFkbflA ( 25G Kit 2x Supermicro AOC-S25G-M2S 25GBe SFP28 Dual Port NIC +3m Kabel CX4121A L )
10G gäbe es ja von "nachgeworfen" bis "halbwegs günstig", welchen Chip sucht man sich hier? Sollte unter Debian (Desktop & TrueNAS Scale) und Windows 10 laufen.

Theoretisch würden mir die 10G ja (erstmal...) reichen... aber wenn ich mir das Theater mit dem Kabelziehen schon antue und 8 Lanes opfere... 25G haben ist doch besser als 25G brauchen, oder nicht? :d
 
Mit 25Gbit kenne ich mich leider Null aus und um Stromverbrauch hab ich mich bei diesem Teil meines Hobbies ehrlicherweise nie wirklich gekümmert…

Schon bei den 10Gbit-Karten ist der Spaß jedenfalls zum Teil mit einem deutlich spürbaren höheren Energieverbrauch verbunden. NICs für Glas/SFP+ immerhin weniger als Kupfer/RJ45, aber die günstigen Dinger bei Ebay sind halt recht alt, daher als Faustregel deutlich hungriger als aktuelle.
 
Mit 25Gbit kenne ich mich leider Null aus und um Stromverbrauch hab ich mich bei diesem Teil meines Hobbies ehrlicherweise nie wirklich gekümmert…

Schon bei den 10Gbit-Karten ist der Spaß jedenfalls zum Teil mit einem deutlich spürbaren höheren Energieverbrauch verbunden. NICs für Glas/SFP+ immerhin weniger als Kupfer/RJ45, aber die günstigen Dinger bei Ebay sind halt recht alt, daher als Faustregel deutlich hungriger als aktuelle.
Hängt von der NIC ab. Meine CX5 läuft mit QSFP+ Transceiver oder Adapter auf SFP+ mit MM Modul genauso heiß wie mit QSFP28. Größer ist in dem Fall nicht immer unbedingt besser, wobei meine CX4 SFP28 NICs und die CX4-Lx SFP28 sehr kühl läuft. Generell sollte man 100G+ NICs auch wirklich nur nehmen, wenn man damit auch die native Geschwindigkeit nutzen möchte. 2x 25G könnte jedoch sparsamer sein, als 1x 40G, da 25G ein neuerer Standard ist und es entsprechend neuere NICs in kleinerem Fertigungsverfahren gibt.
 
Gibts bei diesen NICs eigentlich sowas wie ein "idle", oder arbeiten die immer gleich?
Weil sie ja eigentlich "horchen" müssen, ob Signal kommt, und dafür die entsprechende Abtastrate brauchen?

Ich hab mich in der Zwischenzeit etwas schlau gemacht, ist aber gar nicht so einfach, was brauchbares zu finden. Die Intel "540" Karten (welche man "geschenkt" bekommt) dürften deutlich mehr brauchen als die neueren "770" Karten (welche es aber nicht günstig gibt).

Für die 25g finde ich z.B. folgendes:
Controller: Intel XL710-BM2
Port-Anzahl: Dual
Port Connectivity: 25G SFP28
Energieverbrauch: 14.1W max.
Slot: PCIe 3.0 x8
Jetzt frage ich mich eben, was wohl der "Maximal-Verbrauch" ist, angenommen man hat viel "idle" (wenn es das so gibt) und benutzt nur 1 Port der beiden.
Brauchen die Transceiver Module auch nennenswert Energie?

Ich verlink mal den Händler hier, da er im Shop schön übersichtliche Angaben macht, auch zum Thema Energieverbrauch:

Hab mich etwas durchgeklickt, der BCM57414 scheint mir "sparsam" zu sein, wie die Angabe zu deuten ist, ist natürlich eine andere Frage. Wenn ich aber nach BCM57414 google, haben die Karten tatsächlich sehr klein ausgeführte Kühler, was für mich auf einen geringen Energiebedarf (wird ja zwangsläufig zu Wärme) hindeuten würde.
https://www.servethehome.com/dell-emc-broadcom-bcm-57414-dual-25gbe-adapter-review/ Liest sich nicht so übel.


Jetzt bleibt eigentlich hauptsächlich die Frage, obs ein "idle" gibt, und wie dieses für gewöhnlich ausfällt.
 
Das gibt es bei NICs nicht im klassischen Sinne.
Unsere 57412 (also die 10GBE Variante) glühen in unseren HPE Chassis mit 95°C vor sich hin. Das bedeutet, dass die zum einen gut Wärme erzeugen, und zum anderen die Lüfterregelung 95°C als nicht problematisch einstuft.

Oder mit anderen Worten, schnelles Netzwerk geht immer mit Stromaufnahme einher. Das sind eben keine 0815 CU NICs, das ist Serverhardware und da bekommt man für sein Geld eben was geboten.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh