[Kaufberatung] Welche 10GbE Netzwerkkarte ist empfehlenswert?

[shockwave10k]

Hi,

ich möchte meinem HomeServer in absehbarer Zeit eine 10 Gbe Netzwerkkarte gönnen. 1 Port reicht völlig!
Welche sind da empfehlenswert bei Betrieb unter TrueNAS Scale? Sollte natürlich nicht zu warm werden/Energie fressen und sich auch zuverlässig in den C-States runterstufen lassen

 

[Rarity]

Netzwerkkarten:
Generell sollten bei einer Netzwerkkarte (engl. NIC) die neueren Chipsatz-Generation energiesparsamer und tendenziell besser in tiefere C-States schalten können als ältere NIC-Hardwaregenerationen.
Die neueste NIC Hardware kostet aber €€€€, da fährst Du mit getesteter Gebrauchtware deutlich preiswerter.

Top Netzwerkkarten-Hersteller generell wären (in dieser Reihenfolge)
1: Chelsio
2: Intel
3: Mellanox (gehört jetzt zu NVidia)
4: Restliche Marken

Technologie	Leistungsverbrauch pro 1 Port	Reichweite	Steckertyp
10GBASE-T (=Kupferkabel)	ca. 4 - 6 W	Cat 6: 55m Cat 6a, Cat7: 100m	RJ45
DAC-Kabel (Direct Attach Copper) (ebenfalls Kupferkabel, benutzt aber ein anderes Signalverhalten als -T)	ca. 1 - 1,5 W	max. 10m	SFP+
10GBASE-SR bzw. -LR (Glasfaser)	ca. 0,8 - max. 1 W	SR: 300m LR: 10km	SFP+

Evtl. lesenswerter Link bzgl. 10GBe von fs.com community-forum.

Änderungen: Steckertyp in Tabelle eingefügt

 

[Fusseltuch]

Das mit Intel würde ich bei der aktuellen Generation, egal ob 1G, 10G oder noch mehr nicht so stehen lassen. Wir haben auf der Arbeit einen ganzen Schwung 10G und 25G Intel X710 im Einsatz. Nagelneue Karten von Supermicro und FS.com. So viele Workarounds wie bei dieser Generation musste ich noch nie in meiner gesamten IT-Laufbahn berücksichtigen. LLDP muss deaktiviert werden, wenn LACP/Bonding eingesetzt wird. VLAN Hardwareoffload macht nach 256 oder 3xx VLANs zu und spammt das Log mit Fehlern voll (früher ist die Verbindung gar nicht zustande gekommen inzwischen werden nur Fehler geloggt). Der Chipsatz mag gut sein, die Treiber (i40e) sind es ganz und gar nicht.

Dann kommt bei den 1G und 2.5G Chipsätzen (i225 und i226) hinzu, dass mindestens zwei in Umlauf befindliche Revisionen fehlerhaft sind. Aktuell ist Revision 3, wobei man sich da auch noch nicht sicher ist, ob diese wirklich fehlerfrei sind. Da ist inzwischen jeder Realtek-Chip stabiler...

Für mich ganz klar gebrauchte Mellanox-Karten (X4 oder neuer). Treibersupport gut, Firmware frei bei Nvidia verfügbar für alle Modelle, einbauen, Modul rein, läuft.

 

[sch4kal]

DAC-Kabel sollten nicht mehr verbrauchen als MM-Transceiver.

Ich würde außerdem den Hersteller der NIC nicht als Kriterium nehmen, eher die PHY-Hersteller.
Da fällt mir z.B. noch Marvell/Aquantia, Broadcom und Emulex ein.

 

[shockwave10k]

Vielen Dank für den Input. Die Anzahl verschiedener Karten-Typen muss man erstmal überblicken und das hilft schon enorm dabei.
Wie sind eure Erfahrungen im Bezug auf Adapter und Riserkarten um z.B. aus einer properitären HP Server Karte eine mit PCIe zu machen und von SFP+ auf Ethernet zu wechseln?
Teilweise wäre es preislich lohnenswert solche Wege zu gehen.

 

[Pandora]

Teilweise wäre es preislich lohnenswert solche Wege zu gehen.

Glaube ich kaum, die gängigen 10G Karten kosten gebraucht keine 50€ mehr, schon der zeitliche Aufwand für Recherche/Teilesuche frisst da jede Ersparnis.

 

[shockwave10k]

Glaube ich kaum, die gängigen 10G Karten kosten gebraucht keine 50€ mehr, schon der zeitliche Aufwand für Recherche/Teilesuche frisst da jede Ersparnis.

Ohne Garantie auf Vollständigkeit, aber die Karten in dem Preisrahmen hatten meistens SFP+Anschluss, ich bräuchte aber RJ45.
Ich war jetzt aber auch nur auf Ebay und Ebay Kleinanzeigen unterwegs. Vielleicht gibt es ja noch bessere und günstigere MArkplätze für sowas

 

[Trambahner]

RJ45 > Intel X550 (die X540 gehen auch, brauchen aber etwas mehr Strom und nutzen nur PCIe gen2 )

Achtung, bei X540 und X550 gibt es Plagiate (teilw. schwer zu erkennen) am Markt.

 

[underclocker2k4]

Das mit Intel würde ich bei der aktuellen Generation, egal ob 1G, 10G oder noch mehr nicht so stehen lassen. Wir haben auf der Arbeit einen ganzen Schwung 10G und 25G Intel X710 im Einsatz. Nagelneue Karten von Supermicro und FS.com. So viele Workarounds wie bei dieser Generation musste ich noch nie in meiner gesamten IT-Laufbahn berücksichtigen. LLDP muss deaktiviert werden, wenn LACP/Bonding eingesetzt wird. VLAN Hardwareoffload macht nach 256 oder 3xx VLANs zu und spammt das Log mit Fehlern voll (früher ist die Verbindung gar nicht zustande gekommen inzwischen werden nur Fehler geloggt). Der Chipsatz mag gut sein, die Treiber (i40e) sind es ganz und gar nicht.

Dem muss ich mich leider anschließen.
Es kann schonmal sein, dass ne X710 nicht hochkommt, weil der NVRAM irgendwie hängt.
Vorteil der Intel, gerade der älteren, ist der OS Support. ESX ist so ein Kandidat, der die NICs schneller wechselt als man selbst die Unterhose. Intel hingegen scheint im Quellcode von VMware hardgecodet zu sein.

Ansonsten CX3 Karten, wenn es SFP sein soll. Günstig und kein all zu hoher Stromverbrauch.

 

[Trambahner]

In Intel-Forum hatte ich auch bzgl. X710 schon von Latenzproblemen gelesen, der Thread wurde wenn ich mich erinner einfach geschlossen; ich kann diese Generation aber mangels Erfahrung damit nicht beurteilen.
Mit X540/X550 hatte ich nie Probleme.

 

[even.de]

Ich kann dir mal meine Erfahrung schildern. Habe auch vor kurzem meinen Server (NAS) und meinen Gaming PC mit 10G angebunden an die UDM Pro von Unifi bzw. Ubiquiti. Es liegen im gesamten Haus Cat7 Leitungen in den Wänden. Zusätzlich aber noch Leerrohre. Habe mich dann entschieden ein fertig gepatchtes Glasfaserkabel zu ziehen. Habe ein 15m OM3 LC Kabel gelegt und jeweils mit einem 17€ SFP+ Transceiver bestückt und den Server direkt per 1m DAC SFP+ Kabel verbunden.

So viel zu der Verbindung...

Bei den NICs hatte ich als erstes 2 dieser günstigen Inter-Tech Argus SFP+ PCIe Karten gekauft. Beide der Karten liefen aber weder in dem PC noch im Server im PCIe Slot. Waren entweder dead on arrival oder keine Ahnung warum die nicht liefen. 56€ pro Stück. Für neue 10G SFP+ Karten sehr günstig. Habe die dann zurückgeschickt und mir von eBay 2 Mellanox x3 Karten geordert. Mit denen lief es auf Anhieb. Kann die Mellanox x3 absolut empfehlen.

 

[Rarity]

Ich verwende auch mehrere Mellanox ConnectX-3 (als Gebrauchtware direkt in DE gekauft). Funktionieren alle und bin zufrieden 😇.

 

[linkplayer]

Wie sind denn die 10gbe Karten von Asus für den Heimanwender?

Ich frage deshalb ich möchte mir für den PC eine günstige 10gbe Karte kaufen.
In meinem unRaid NAS läuft eine Synology E10M20-T1 und als Switch habe ich ein ZyXEL XGS1250
Zu meinem PC liegt ein Cat7 Slim Kabel(10m).

Nun ist es aber so das der Switch schon zum zweiten mal defekt war nachdem ich ihr von Strom getrennt habe( Waren dann immer 2 10gbe ports defekt)
Wenn ich nun auf Glasfaser gehe und der Switch wieder ein Defekt hat habe ich kein Ersatz Switch hier für den Übergang.
Deshalb würde ich gerne bei RJ45 bleiben denn dafür habe ich ein billigen 1GBe Switch hier rumfliegen.

 

[Trambahner]

Für Windows-Client: kannst Du machen. Linuxe mein ich haben auch Treiber für den Aquantia-Chip.
Für Server-Betriebssystem/Appliances im Zweifelsfall "hands off". Entweder es gibt keine Treiber oder man muss sich was reinfrickeln.
Bei RJ45 hab ich bisher grundsätzlich Intel X540/X550 verbaut, da damit vieles out-of-the-box läuft, egal ob FreeBSD, Linuxe, ESXI, Solaris, Windows.


Ist das der XGS1250 mit 3xRJ45 10G + 1x SFP+ ? Hast Du mal gemessen, was der Idle ohne angeschlossene Kabel an Watt zieht? Wäre interessant.
Das mit den Defekten an dem Switch klingt jedoch relativ entmutigend; hatte den auch mal in Überlegungen.

 

[Ceiber3]

Die Synology E10M20-T1 hat doch glaube den selben Chip wie die Asus von Aquantia ?

 

[linkplayer]

Die Synology E10M20-T1 hat doch glaube den selben Chip wie die Asus von Aquantia ?

Ja haben beide den gleichen Chip

Ist das der XGS1250 mit 3xRJ45 10G + 1x SFP+ ? Hast Du mal gemessen, was der Idle ohne angeschlossene Kabel an Watt zieht? Wäre interessant.
Das mit den Defekten an dem Switch klingt jedoch relativ entmutigend; hatte den auch mal in Überlegungen.

Ja der XGS1250 hat 3xRJ45 10G + 1x SFP+. Verbrauch messe ich wenn mein Nachtbar morgen kommt und mir mein Paket geben kann.

 

[Flyerman]

Ich habe mir vor kurzem eine Intel X520 basierte Karte von 10Gtek (https://amzn.to/3HV3uir) und 2m SFP+ DAC Kabel von 10Gtek (https://amzn.to/3IfUeFR) gekauft. Eingebaut in meinen Ubuntu 22.04 AMD AM4 Homeserver eingebaut und in den Mikrotik CSS610-8G-2S+IN gesteckt und hat sofort funktioniert .
Werde mir jetzt eine zweite für den Win11 Client mit 2 10GBase-SR LC Transceiver und einer Glasfaser holen. Bin gespannt auf die Leistung.

Edit: Reflinks wegen URL shortener.

 

[linkplayer]

Ist das der XGS1250 mit 3xRJ45 10G + 1x SFP+ ? Hast Du mal gemessen, was der Idle ohne angeschlossene Kabel an Watt zieht? Wäre interessant.

So endlich habe ich die Zeit gefunden den Switch einzubauen.
Habe für dich auch den Energie verbrauch gemessen.

Idle ohne Kabel schwangt mein Messgerät zwischen 8,6 - 10,3W

Hoffe dich bringt das weiter.

Also kann ich mir bedenkenlos die Asus 10G Karte holen?

 

[hs_warez]

Möchte in nächster Zeit ev. auch mal auf 10G umrüsten.

Verwenden möchte ich die Karte (SFP – da LWL schon eingezogen) dann mit Proxmox/TrueNas und habe deshalb auch schon zahleiche Beiträge in div. Foren gelesen.
Man liest halt versch. Meinungen, aber unterm Strich kommt eigentlich meist raus, dass die X520er Intel NW-Karten über den gesamten Anwendungsbereich gesehen am problemlosesten sein sollen!?

Hat Jemand Erfahrung mit Intel X520 und X710?
Gibt es große Unterschiede im Stromverbrauch und der Wärmeentwicklung?

Wie sieht es mit „10gtek“ Netzwerkkarten mit Intel X520 Chip aus?
Interessant ist ja, dass man bei „10gtek“ für neue NW-Karte kaum mehr bezahlt, als im Netz für gebrauchte Intel X520 Karten verlangt wird!?
Haben die „10gtek“ irgendwelche Nachteile?

Danke!

 

[Potz]

Meines Wissens nach ist eine Connectx-3 einer X520 in Punkto Energiebedarf haushoch überlegen. Das schlägt sich auch im Belüftungsbedarf nieder. Bei der Performance sollten sie sich nichts tun, solange man kein RoCE1 nutzt (was nur die Connectx-3 kann) und bezogen auf die Kompatibilität ist mir als einziger Nachteil der Connectx-3 bekannt, dass sie nur bis ESXi 7.0 unterstützt wird. Ich habe eine CX311 und drei CX312 und erlebe sie als absolut unproblematisch.

Edit: zwei von den Karten laufen übrigens mit TrueNAS Core, eine unter Linux (verschiedenste Distributionen) und eine unter Windows.

 

[hs_warez]

Ok, danke für deinen Input!

 

[sch4kal]

Mellanox können idr. mehr VFs, aber das ist für dich vermutlich noch nicht interessant bzw. bei 10G allgemein.

 

[hs_warez]

Mit einer Mellanox X3 ist man also im "Hausgebrauch" gut beraten.

Gibt es eigentlich irgendwo eine Übersichtsliste, wo dieX3 als "OEM Modell" aufgelistet ist!?


LG

 

[Trambahner]

So endlich habe ich die Zeit gefunden den Switch einzubauen.
Habe für dich auch den Energie verbrauch gemessen.

Idle ohne Kabel schwangt mein Messgerät zwischen 8,6 - 10,3W

Hoffe dich bringt das weiter.

Also kann ich mir bedenkenlos die Asus 10G Karte holen?

Ich danke Dir, ja die Angabe ist das was ich gesucht hab. Danke fürs Nachmessen.

Für einen reinen Windows-Desktop kannst Du die Asus mit dem Aquantia/Marvell-Chip nehmen, yup.

 

[linkplayer]

Habe ich bestellt. Sollte morgen ankommen.

 

[Ceiber3]

Auch unter ESXI sollte es funzen, kann sein das du aber den Treiber über Konsole nachinstallieren musst.
ich konnte sogar früher mein 5G Lan USB Adapter in ESXI nachinstallieren und nutzen.

 

[hs_warez]

Hab etwas im Netz gesucht/gelesen und folgende Daten gefunden.

(jeweils Daten für 1 Port NIC)
Chelsio S310E-CR – max. 16,7 Watt
Mellanox ConnectX-3 – max. 4,8 Watt

Gibt’s bei den 10G Nics wirklich so große Unterschiede beim Stromverbrauch (in der realen Welt)!?

LG

 

[underclocker2k4]

Ja, weil die Chelsio eine der ersten NICs war. Die CX3 ist quasi noch im Säuglingsalter.

Das Thema Stromverbauch haben wir im 10G Thread schon mehr als ausführlich behandelt.

 

[hs_warez]

Ja, weil die Chelsio eine der ersten NICs war. Die CX3 ist quasi noch im Säuglingsalter.

Das Thema Stromverbauch haben wir im 10G Thread schon mehr als ausführlich behandelt.

Ok, danke - dann schaue ich dort mal rein.

LG

 

[PStran]

Ich nutze die Mellanox ConnectX-3 seit vielen Jahren in meinem Heimnetz und kann nur sagen, dass die einfach laufen.

Was mir allerdings aufgefallen war: Die CPU des Linux-Server (Ubuntu 20.04 mit Kernel 5.15) erreicht mit der Karte keine höheren C-States. Daher bin ich für die Linuxkiste auch auf der Suche nach etwas anderem.

Ich habe mir vor kurzem eine Intel X520 basierte Karte von 10Gtek (https://amzn.to/3HV3uir) und 2m SFP+ DAC Kabel von 10Gtek (https://amzn.to/3IfUeFR) gekauft. Eingebaut in meinen Ubuntu 22.04 AMD AM4 Homeserver eingebaut und in den Mikrotik CSS610-8G-2S+IN gesteckt und hat sofort funktioniert

.

Kannst du was zu der Thematik mit den C-States sagen?