[Sammelthread] 10Gbit Homenetzwerk

[even.de]

Die Inter-Tech Argus ST-7211 kam heute tot hier an. Kann doch nicht sein

 

[even.de]

Es sind jetzt doch die Mellanox ConnectX-3 Karten von eBay geworden.

Bleibt nur abzuwarten, wann die ankommen aus China

 

[Bzzz]

Die Inter-Tech Argus ST-7211 kam heute tot hier an. Kann doch nicht sein

Inter-Tech kann nicht mal 3,5"-Schächte korrekt dimensionieren, meinst, bei denen gibt es sowas wie Qualitätskontrolle?
Ich hätte, um deine Aussage nochmal aufzugreifen, gleich die schon 10 Jahre gelaufenen Enterprisekarten genommen. Selbst zum gleichen Preis. Das Zeug läuft und hat auch Treibersupport.

 

[even.de]

Ich muss sagen, dass ich mit deren 19" 1.5U Case rechgt zufrieden bin. Auch qualitativ. Dass eine neue Karte bei Ankunft schon tot ist, scheint aber eher Pech zu sein. Aber wissen tu ich es natürlich nicht. Habe da keine Zahlen bzw. kenne deren Quoten nicht

anyways. Freue mich jetzt auf die Mellanox Karten. PCIe 3.0 x4 passt mir eh besser als 2.0 x8.

 

[besterino]

Die Intertech 19“-Gehäuse find ich völlig ok. Hab davon 3 Stück, erfüllen ihren Zweck. Ja, Supermicro oder Chenbro & Co. sind in Sachen Quali ne andere Hausnummer. Aber halt auch beim Preis.

 

[Bzzz]

Der Vorteil der Lanes direkt von der CPU ist, dass es keinen Flaschenhals wie eben die Anbindung des Chipsatzes geben kann. Nur ist die bei einer einzigen Karte die ja selbst nur eine Anbindung wie die des Chipsatzes hat, eben kein Flaschenhals. Zusätzliche Latenzen durch den Chipsatz kann man vernachlässigen, dafür hat man im Gegenzug eher weniger Einbußen durch Energiespareinstellungen der Lanes.

Hier nochmal zu den Fakes: Intel X540-T2 Fake/Chinese/Counterfeit

Weil ich gerade eine X540-T2 bekommen habe: Ist diese NIC-Fälscherei immer noch im Gange, oder hat sich das gelegt? Betrifft das die X540 stark, ich finde mehr zur X520 und I350?

 

[Holt]

Mein Post war vom 21.08.2019, aber auch am 24.09.2021 gab es in Intel Forum diesen Post:

Fake x540-t2?

Hi, I purchased 2 X540-T2's used and I kinda feel like these are fakes. I tried contacting Intel support since on the site it says I should send them my mac address and serial number and they'll check. They refused to help me and said that I should ask the seller who sold these as genuine...

community.intel.com

Die Antwort war: "Upon checking the pictures that you provided, this card is either fake or an OEM card."

Da es also offenbar immer noch eine Nachfrage nach den X540 gibt, dürfte die Fälscher ihr lukratives Handwerk wohl noch nicht aufgegeben haben. Ansonsten kann man Fakes wohl mit Update der FW erkennen:

You can also try updating the firmware to test for genuine or just to resolve the issue.

https://calvin.me/how-to-update-intel-nic-firmware

 

[even.de]

So die China Mellanox ConnectX-3 Karten kamen nun an. Mal wieder ein Meme von GLS. Von Shenzhen (China) nach Essen (Deutschland) 4 Tage. Von Essen nach Hannover zu mir durch GLS 8 Tage. Davon lag es 6 Tage im Paketzentrum. Hat also nichts mit Zoll oder so zu tun. Das fand alles schon in Essen statt.

Naja aber bin absolut begeistert von den Dingern. Plug an Play ohne Treiber zu installieren. Eine im Server (Win10) und die andere in meinem PC (ebenfalls Win10).
Server per 1m DAC Cable angebunden und meinen Rechner per 15m Mulitmode LWL Kabel und den 17 EUR QSFPTEK Transceivern von Amazon. Sind leider nur auverkauft seitdem ich die bestellt habe.

Nun kratze ich am SSD Limit der 4TB Samsung 860 EVO. Kommt natürlich der Gedanke zu einer M.2 PCIe SSD im Server auf . Mal sehen. Reicht mir erstmal um nicht immer an den blöden 112 MB/s zu kratzen.
Vielleicht teste ich noch mal mit einer RAM-Disk just for the lulz.

 

[Zeitmangel]

So die China Mellanox ConnectX-3 Karten kamen nun an. Mal wieder ein Meme von GLS. Von Shenzhen (China) nach Essen (Deutschland) 4 Tage. Von Essen nach Hannover zu mir durch GLS 8 Tage. Davon lag es 6 Tage im Paketzentrum. Hat also nichts mit Zoll oder so zu tun. Das fand alles schon in Essen statt.

1. OT, aber ich hatte ähnliche Kulturschocks in Asien. Im Krankenhaus in Südkorea (ging aber über die Firma):
Anlieferung und CT. CT war nach 10min. klar für mich. Nach weiteren 15min. waren wir durch. Die Ergebnisse waren 20min. später da. Die Besprechung mit dem Oberarzt 5min. später. Hier bei uns zählt man so einen Ablauf in Monaten durch... GLS waltet hier also sozusagen "gebietsgerecht".

2. Wow... Wenn das Netzwerk einmal platzen sollte, geht da noch wenigstens die Tür zum Klo auf? 😉

 

[even.de]

Dafür gibt es in China andere "Probleme" sage ich mal vorsichtig. Hat alles Vor- und Nachteile Aber sowas wie bei GLS geht halt gar nicht. Vermutlich ist das Weihnachtsgeschäft auch maßgebend noch für die Lieferdauer.

Zum Netzwerk: Wir haben hier knapp 200 m² quasi neue Wohnfläche mit Smarthome in einem 3 Pers. Haushalt. In der Liste werden nur die in den letzten 24 Stunden aktiven Geräte angezeigt. Da sind sicherlich noch ~10 Geräte mehr im Einsatz. Eng ist hier aber nichts. Das meiste ist Unterputz oder irgendwo "eingebaut".

Mit einer 0815 Fritzbox würde so ein Netzwerk sicherlich an seine Grenzen kommen. Allein aufgrund der vielen WiFi Geräte. Als nächstes werde ich mit den VLANs rumspielen. Allein wegen der Überwachungscams auf dem Grundstück schon interessant.

Edit: in die RAM Disk des SERVERs gezogen. 900MB/s
Für 1,x Gb/s müsste ich vermutlich Jumbo Frames aktivieren?

 

[even.de]

Mit LAN Bench zeigt er mir die vollen Netto 9.3 Gbit/s an. Also ist meine Config nicht verkehrt. MTU ist auf Stock (1518). Habe nur den aktuellsten Treiber von der Nvidia Seite genommen und die Firmware auif 2.42 geupdatet. Jetzt fehlt nur die PCIe SSD im Server

 

[hs_warez]

Hallo!


Preis/Leistung (Stromverbrauch) scheinen ja die Mellanox X3 sehr gut zu sein.
Wie verhalten sich die denn, wenn man sie unter Proxmox an TrueNAS weiterreicht?
Die X3 laufen nur auf 10G, oder?

Bzw. gibt es andere Alternativen?


Danke!

LG

 

[Swp2000]

Ich besitze seit ein paar Jahren eine Intel X540-T1. Ich weiß nicht warum mir das erst jetzt auffällt jedoch zeigt der Rechner beim Starten ja immer kurz einen Bootscreen der Karte an. Daher kam bei mir die Frage auf ob es für die Karte auch ein Firmwareupdate gibt. Kann mir das jemand sagen?

 

[mrpasc]

Gibt es, allerdings nur für das Option ROM bzw. Die UEFI Treiber. Einfach direkt bei Intel Intel Downloads für X540-T1

 

[Swp2000]

Wie installiere ich das dann?

 

[mrpasc]

Welches BS nutzt du? Entsprechend entweder Linux oder Windowsversion Downloaden, entpacken und den Anweisungen in der readme.TXT folgen…

 

[Weltherrscher]

Hallo!


Preis/Leistung (Stromverbrauch) scheinen ja die Mellanox X3 sehr gut zu sein.
Wie verhalten sich die denn, wenn man sie unter Proxmox an TrueNAS weiterreicht?
Die X3 laufen nur auf 10G, oder?

Bzw. gibt es andere Alternativen?


Danke!

LG

10G oder 1G.
Aber Obacht:
ESXi ab 8.0 erkennt sie nicht mehr!
(Sind dann nur noch durchreichbar, aber nicht mehr innerhalb des ESXi selbst als phys. Netzwerkkarte nutzbar!)
Warum willst sie durchreichen?
Die können doch auch SR-IOV...
Ist der virtuelle Switch in Proxmox nicht stronk genug?

 

[Swp2000]

Welches BS nutzt du? Entsprechend entweder Linux oder Windowsversion Downloaden, entpacken und den Anweisungen in der readme.TXT folgen…

Ich nutze Windows 10 Pro.
Ich hab das Preboot gestern mal runtergeladen und in Windows gestartet, da ist jedoch nichts passiert. Kannst du mir hier vielleicht ne kleine Hilfestellung geben? Dafür wäre ich dir sehr dankbar.

 

[besterino]

Bisweilen kann man auch im BIOS (gerne unter PCIE oder so ähnlich) die OptionROM von Steckkarten deaktivieren. Das wäre dann die einfachere Variante.

 

[hs_warez]

10G oder 1G.
Aber Obacht:
ESXi ab 8.0 erkennt sie nicht mehr!
(Sind dann nur noch durchreichbar, aber nicht mehr innerhalb des ESXi selbst als phys. Netzwerkkarte nutzbar!)
Warum willst sie durchreichen?
Die können doch auch SR-IOV...
Ist der virtuelle Switch in Proxmox nicht stronk genug?

Die können auch 1GB?
Sprich, übergangsweise könnte ich sie dann also noch am alten 1GB Switch betreiben?


Derzeit läuft auf meinem "Eigenbau-Server" (Signatur) nur TrueNAS Scale "bare metal" - da soll sich aber ändern.
Plan wäre Proxmox als Virtualisierer und da drauf dann TrueNAS Scale und ein paar Container.

Ich dachte, man muss die Geräte (auch NIC) dann durchreichen!?
SR-IOV sagt mir nichts - muss ich mir mal im Netz suchen.


LG

 

[Strikeeagle1977]

Die können auch 1GB?
Sprich, übergangsweise könnte ich sie dann also noch am alten 1GB Switch betreiben?

Kommt auf die Transceiver an, die du im SFP(+) einsetzt, oder?

 

[Shihatsu]

Die können auch 1GB?
Sprich, übergangsweise könnte ich sie dann also noch am alten 1GB Switch betreiben?


Derzeit läuft auf meinem "Eigenbau-Server" (Signatur) nur TrueNAS Scale "bare metal" - da soll sich aber ändern.
Plan wäre Proxmox als Virtualisierer und da drauf dann TrueNAS Scale und ein paar Container.

Ich dachte, man muss die Geräte (auch NIC) dann durchreichen!?
SR-IOV sagt mir nichts - muss ich mir mal im Netz suchen.


LG

Es gibt für SFP+ "normale" Transceiver und solche die Multispeed unterstützen - diese können dann 1, 10 und manchmal auch 2,5 und 5G. Musst du schauen was dein Transceiver, dein Kabel und dein Switch unterstützen. Grobe Fausteregel: Mellanox Karten mit FS.com Transceiver sind ziemlich unafgeregt, Intel macht durchaus mal zicken - beides je nach Switch wohlgemerkt.
Was das durchreichen angeht: Alles kann, nichts muss. Wenn dein Board, CPU und OS virtualisierung voll unterstützen, kannst du mindestens drei Wege gehen:

• Nichts durchreiche, die Netzwerkkarten sind dann am virtuellen Switch im proxmox angebunden und stehen allen VMs und Containern zur Verfügung (default und am einfachsten, reicht mMn für fast alle Szenarien)
• Einzelne oder alle Ports einer VM durchreichen - hier muss das im Kernel aktiviert werden, soche "proxmox iommu sr-iov pcie passthrough"
• Mit hilfe von SR-IOV alle NICs zu einem virtuellen NIC zusammenschalten un an den Switch anbinden, von dauas dann in virtuelle Devices "verwandeln" (z.B. eine 4*1Gbit Karte in einen virtuellen 4Gbit Anschluss) - Don't. Just don't. Viel zu kompliziert für viel zu wenig Benefit beim Heimanwender.

 

[hs_warez]

Kommt auf die Transceiver an, die du im SFP(+) einsetzt, oder?

Derzeit läuft eine Intel i350-F2 (SFP) im Server - diese Transceiver hätte ich dann übergangsweise weiterverwendet.
Hm, Versuch macht klug.

 

[Swp2000]

Gibt es, allerdings nur für das Option ROM bzw. Die UEFI Treiber. Einfach direkt bei Intel Intel Downloads für X540-T1

Also, ich glaube fast da gibt es kein FirmwareUpdate. Er sagt mir immer er kann den Adapter nicht initialisieren wenn ich aus der cmd das bootutil starten möchte. Oder was mache ich falsch?

 

[mrpasc]

Kann ich leider mangels Intel Karte nicht nachvollziehen. Ist schon ewig her dass ich eine Karte upgedatet habe, sorry. Aber durchaus möglich dass deine Karte schon aktuell ist, die X540-T1 ist ja schon was älter. Da musst du dich auf den verlinkten intel Seiten mal selbst „durchkämpfen“ oder jemand anderes hat noch einen Tipp….

 

[Bzzz]

Also, ich glaube fast da gibt es kein FirmwareUpdate. Er sagt mir immer er kann den Adapter nicht initialisieren wenn ich aus der cmd das bootutil starten möchte. Oder was mache ich falsch?

Admin-cmd, Netzwerkkarte normal im OS funktionsfähig verfügbar, Kabel/SFPs entfernt?

 

[Swp2000]

Die Karte ist ganz normal installiert ja. Ich habe den Rechner per abgesicherter Modus mit eingabeaufforderung gestartet und da dann versucht dieses Bootutil zu starten. Kabel hatte ich keines entfernt, wusste nicht das dies nötig ist

 

[hs_warez]

Es gibt für SFP+ "normale" Transceiver und solche die Multispeed unterstützen - diese können dann 1, 10 und manchmal auch 2,5 und 5G. Musst du schauen was dein Transceiver, dein Kabel und dein Switch unterstützen. Grobe Fausteregel: Mellanox Karten mit FS.com Transceiver sind ziemlich unafgeregt, Intel macht durchaus mal zicken - beides je nach Switch wohlgemerkt.
Was das durchreichen angeht: Alles kann, nichts muss. Wenn dein Board, CPU und OS virtualisierung voll unterstützen, kannst du mindestens drei Wege gehen:

• Nichts durchreiche, die Netzwerkkarten sind dann am virtuellen Switch im proxmox angebunden und stehen allen VMs und Containern zur Verfügung (default und am einfachsten, reicht mMn für fast alle Szenarien)
• Einzelne oder alle Ports einer VM durchreichen - hier muss das im Kernel aktiviert werden, soche "proxmox iommu sr-iov pcie passthrough"
• Mit hilfe von SR-IOV alle NICs zu einem virtuellen NIC zusammenschalten un an den Switch anbinden, von dauas dann in virtuelle Devices "verwandeln" (z.B. eine 4*1Gbit Karte in einen virtuellen 4Gbit Anschluss) - Don't. Just don't. Viel zu kompliziert für viel zu wenig Benefit beim Heimanwender.

Derzeitige Transceiver und Switch können nur 1GB.
"Kabel" ist dann kein Problem (LWL LC/LC OM4).

Werde mir mal eine Mellanox X3 besorgen.

Das mit dem "Durchreichen, oder auch nicht" wird sich erklären, wenn ich mal mit Proxmox arbeite.

LG

 

[Chemistry]

Gibt es eigentlich schon einen leistbaren 16 Port Switch mit RJ45 für idealerweise 10G Netzwerk? Wir machen ab und an LAN Party und zu herumkopieren von Daten wäre das fein. Aber eben RJ45 und nicht SFP+.....

 

[andrer250282]

Definiere "Leistbar"
CRS312-4C+8XG-RM habe ich im Einsatz, läuft anstandslos
EDIT: SOrry, 16 Port hatte ich nicht gelesen
EDIT2: FÜr LAN Party... haben die Clients denn alle 10G RJ45 Ethernet? Das ist ja nun nicht unbedingt verbreitet