[Sammelthread] 10Gbit Homenetzwerk

[besterino]

Och, siehste mal. Dass man Bidi sogar über eine Faser bekommt, wusste ich bis gerade gar nicht.

Macht aber ehrlicherweise auch nichts: ich hab jetzt 1x100Gbit, 1x10Gbit Glas und 2x10Gbase-T Kupfer auf dieser Strecke vom Keller ins 2. OG… und oben genau einen Client, der mehr als 1Gbit kann…

…bisher.

Als Nächstes muss ich mir dann mal wieder den Server vornehmen: bei den 100gbit kann man ja mal darüber nachdenken, lokales Storage auf ein Minimum zu reduzieren. Aber dafür muss ich alles von Oracle Solaris auf TrueNAS umziehen und generell Storage physisch mal neu organisieren… und das ist grad so hübsch eingegrooved, dass das alles einfach automatisiert läuft inkl. Snaps und Backup/Replizierung und weiß der Henker…

 

[craxity]

durch ein vorhandenes Rohr neben einem SAT-Kabel hochgezogen…

Was für ein Rohr war das eigentlich? Also welcher Durchmesser? Nur so aus Interesse...

 

[besterino]

Was für ein Rohr war das eigentlich? Also welcher Durchmesser? Nur so aus Interesse...

Das hier, Messschieber behauptet 1,5cm Innendurchmesser:

Mein Tipp für Nachahmer (nicht empfohlen): ERST die Glasfaser durchziehen und DANN das SAT-Kabel hinterher mit einer Einzughilfe hinterherziehen.

Sonst kann das so enden, die sind beide "blind & tot" ("gepanzert my a$$"):

 

[danielmayer]

Puh, also DN20 für Sat+LWL. Das kann ich mir als "Gefrickel" gut vorstellen
Wenn eine Umgebung mal läuft, mag man sie nicht wirklich anfassen, ja. ISCSI-Boot hatte ich bei 10G schon als recht fein in Erinnerung, ich war nur wieder davon weg, weil seinerzeit mein Server .. nunja... mehfach und immer mal wieder innerhalb 24 und je 7 lief :/
TFTP-/PXE-boot steht bei mir auf der low-prio to-do für den ganzen low-level Bereich, z.B. die Raspis oder low-power-htpcs à la Celeron. Ein Odroid C2 z.B. hängt an der Stromversorgung des TV/USB, da wäre das booten über Netz noch ein wenig weniger Strom und vermutlich schneller. Für 10G+Geräte allerdings die M2 einzusparen... macht im Zweifel auch wieder sehr abhängig vom Server.

 

[besterino]

Booten übers Netz hab ich mir auch mal angeschaut, dann aber irgendwann doch drangegeben. Meine Rechner sind auch zu unterschiedlich, als dass sich das wirklich lohnen würde. Dann lieber überall ein kleiner ~500GB OS-Datenträger lokal.

Was mich aber reizen würde, wäre dedizierte iSCSI-Shares für die ganzen Spiele-Bibliotheken! Wenn man zig-mal Steam, Epic, Origin, Battle.net & Co. vorhalten muss (mit zu einem Großteil identischen Spielen), sollte eigentlich Dedup richtig was reißen... und wenn dann noch die Lancache-VM auf'm gleichen Storage liegt...

Ich bin aber nicht sicher, ob Dedup über iSCSI mit ZFS/TrueNAS überhaupt richtig funzt. Und das alles mühsam austesten... aktuell kauf' ich lieber ab und an eine SSD dazu und häng sie halt in das System, wo der Platz eng wird...

 

[Weltherrscher]

Hab Steam, GoG, Epic, Origin, Ubi und Battle-Net auf nem 12 TB ZVOL TrueNAS-Volume (der Pool hat insgesamt 32 TB) im Keller ausgelagert (ohne Dedup, ich installier immer nur die bevorzugte GoG-Version bei doppelten Spielen).
Fluppt supi, 600 MB/s lesend.
Nie wieder was anderes.
Hab das iSCSI-Netz als VLAN mit statischen IPs ausgeführt, sonst zickt ab und an mal Windoofs rum.
Wichtig auch: Ruhezustand kannste dann bei DualBoot allerdings vergessen, sonst wird NTFS inkonsistent...

 

[Inviso]

Der erste Beitrag zu den Empfehlungen in diesem Thread ist leider nicht mehr aktuell. Existiert eine Liste mit aktuell empfohlenen Netzwerkkarten?

Bin auf der Suche nach 2-3 Dual Port 10G Karten für das neu aufzubauende Unifi Netzwerk (MM SFP+). Die Intel X540/550 scheinen die Premiumkarten zu sein, was ist denn noch empfehlenswert?

Edit: Die gelisteten Intel Karten sind anscheinend nur RJ45.

Edit 2: Sind die Karten echt so günstig: https://www.ebay.de/itm/393903530230 ? Oder muss man da extrem auf die Kompatibilität achten?

 

[Fr3@k]

Edit 2: Sind die Karten echt so günstig: https://www.ebay.de/itm/393903530230 ? Oder muss man da extrem auf die Kompatibilität achten?

Ich hab 2 HP NC552SFP Karten in meinen Supermicro Servern - funktionieren soweit ohne Probleme, man muss nur auf ausreichend Luftzug achten werden doch warm. Eine ist mir dadurch in einem anderen Server gestorben. Die NC552SFP funktioniert auch unter ESXi 7.0, ist jedoch schon als unsupported gelistet und dadurch funktioniert das ESXi-Host updaten nicht mehr über den Lifecycle Manager vom vCenter - (Fehler unsupported Hardware detected)

 

[Fr3@k]

Ich hab drei der HP 530SFP+ (https://www.ebay.de/itm/115130452775) hier in drei ESXi 7 Hosts laufen.
Hab sogar nur die Ubiquiti 10G SFPs damit in Verwendung.

Ich hab auch einen Ubiquiti ES-16-XG im Einsatz - ich verwende Lenovo/IBM Transceiver

 

[Weltherrscher]

Holy Sh.. sind die günstig geworden.
Hab ne X520-DA1 im Desktop.
Die gibts auch als DualPort (-DA2).

//Edith:
Obacht bei dem Kram mit Windows, wenn du VLANs machen willst, musst du den virtuellen Switch von Hyper-V installieren, da Intel ab Win11 keine VLAN-Konfig mehr im Treiber unterstützt...

 

[Inviso]

Holy Sh.. sind die günstig geworden.
Hab ne X520-DA1 im Desktop.
Die gibts auch als DualPort (-DA2).

//Edith:
Obacht bei dem Kram mit Windows, wenn du VLANs machen willst, musst du den virtuellen Switch von Hyper-V installieren, da Intel ab Win11 keine VLAN-Konfig mehr im Treiber unterstützt...

Danke für den Edit. Das werde ich mir auf jeden Fall in naher Zukunft angucken müssen, 2/3 Clients werden Windows sein (aber noch 10).

 

[danielmayer]

Die 530SFP sind mit Broadcom 57810s Chip. Das sind tatsächlich Recht leistungshungrige Karten. Ich habe die als Cu-Version, die nahmen etwa 15W... Bei SFP vermutlich weniger, aber nicht viel. Ich rate zu CX3.

 

[sch4kal]

Holy Sh.. sind die günstig geworden.
Hab ne X520-DA1 im Desktop.
Die gibts auch als DualPort (-DA2).

//Edith:
Obacht bei dem Kram mit Windows, wenn du VLANs machen willst, musst du den virtuellen Switch von Hyper-V installieren, da Intel ab Win11 keine VLAN-Konfig mehr im Treiber unterstützt...

50 € findest du günstig ? Dafür bekomm ich CX3 354A-NICs mit Dual 40G. Die waren vor einigen Jahren bei ~20 € (damals noch die CX2 NICs), das war ein guter Preis.

 

[Weltherrscher]

Joa, ich hab für je nen Fuffi damals(tm) meine CX3n (single 10GBit) in der Bucht geangelt.

 

[quotengrote]

Wenn ich die Layer3-Funktionen nutzen würde ok, aber für L2 imho etwas hoch.

Gestern den LANCOM GS-3510XP gefunden. Hat alles was ich brauche... aber so gut wie kein Gebrauchtmarkt, irgendwas ist ja immer.

 

[besterino]

Ich bin mit nem Qnap ganz glücklich: 2xSFP+, 1xKomboport SFP+/10Gbase-T und 8x1GBase-T.

QNAP QSW-300 Desktop Gigabit Switch, 8x RJ-45, 1x RJ-45/SFP+ ab € 212,42 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für QNAP QSW-300 Desktop Gigabit Switch, 8x RJ-45, 1x RJ-45/SFP+ ✔ Produktinfo ⇒ Funktion: Switch • Typ: Standalone, Rackmount (via Montagewinkel) • Netzwerkanschlüsse: 8x RJ-45, 1x RJ-4… ✔ Switches ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Hat meinen geliebten 1810-24 in Rente geschickt.

 

[Weltherrscher]

Kann man die inzwischen rebooten ohne die DACs ziehen zu müssen?
Mein QSW-800 hat sich damals immer in der Bootschleife aufgehängt.

 

[besterino]

öh... der ist so doof, da kann sich eigentlich nichts aufhängen (totally unmanaged).

 

[Weltherrscher]

Mach mal Strom weg, Strom dran.
Ich habe das Verhalten vor ca. 40 Seiten hier beschrieben. =)

 

[Azrael_ct]

Was ist denn momental Netzwerkkartentechnisch gut und günstig zu haben, wenn man 25 GBit/s mittels SFP28 machen möchte? Mellanox Connect-X4 àus der Bucht ? Ich habe momentan zwischen Workstation und Proxmox zwei ungenutzte OS2-LC Kabel liegen, und überlege gerade ob ich das brauche will.

 

[danielmayer]

Komm doch gleich zu 100G! Transceiver sfp28/25G liegen bei 107€/St bei fs.com, die qsfp28/100G bei 204€/St.
Karten cx455a liegen bei 230€/St...
Komm... Komm auf die dunkle Seite der Macht...!

 

[sch4kal]

Was ist denn momental Netzwerkkartentechnisch gut und günstig zu haben, wenn man 25 GBit/s mittels SFP28 machen möchte? Mellanox Connect-X4 àus der Bucht ? Ich habe momentan zwischen Workstation und Proxmox zwei ungenutzte OS2-LC Kabel liegen, und überlege gerade ob ich das brauche will.

Mikrotik PCIe Karte für 175 €, ist aber noch nicht lieferbar.

 

[Azrael_ct]

Komm doch gleich zu 100G! Transceiver sfp28/25G liegen bei 107€/St bei fs.com, die qsfp28/100G bei 204€/St.
Karten cx455a liegen bei 230€/St...
Komm... Komm auf die dunkle Seite der Macht...!

Würde ich lieben, aber mit den LC Kabeln geht das nicht, und was anderes bekomme ich da nicht mehr rein ohne das halbe Haus abzureißen (keine Leerrohre, ...). Die (immerhin gepanzerten) LC-Kabel habe ich auch nur ohne Rohr etc. in den großzügigen Dehnungsfugen des Bodens unter den Fußleisten entlang gelegt, die Deckendurchbrüche sind nur 10er Löcher, ... gerade durch die Durchbrüche geht ein MTP nicht durch, und ich hatte eigentlich nur den Weg des geringsten Widerstandes gewählt

Von daher ist nur SFP28 mit 25G oder 2x 25G drin.

Die Mikrotiks habe ich auch schon gesehen, aber da möchte ich erst einmal abwarten ob und wie gut Proxmox damit zurecht kommt.

 

[danielmayer]

Da Spiele ich doch nochmal die Versuchung: Klar geht das mit LC! Um genau zu sein: bei OS2-Kabeln basiert das nur auf LC.
Diese hier gehen mit duplex-LC-OS2:
100G CWDM

 

[underclocker2k4]

Um genau zu sein: bei OS2-Kabeln basiert das nur auf LC.

Meinste?

MTP Trunkkabel 1m, 12F MTP Buchse OS2, Polarität B, LSZH Gelb - FS.com Deutschland

Kaufen Sie MTP Trunkkabel, 12 Fasern MTP Buchse OS2 9/125 Singlemode Glasfaserkabel, Typ B Elite Plenum Gelb beim MTP/MPO Kabel Hersteller mit bestem Preis.

www.fs.com

+

Cisco 100G QSFP28 Modul | QSFP-100G-PSM4-S 100GBASE-PSM4 Transceiver-Modul - FS.com Deutschland

Kaufen Sie Cisco 100G QSFP28 Modul, QSFP-100G-PSM4-S 100GBASE-PSM4 QSFP28 Transceiver-Modul, Singlemode Kabel 1310nm 500m beim 100 Gigabit Glasfaser Module Hersteller mit bestem Preis.

www.fs.com

Wer schonmal vorbereiten will:

QSFP-DD Transceiver Modul mit DOM - Generisch kompatibel 800GBASE-2FR4 QSFP-DD PAM4 1310nm 2km DOM Dual CS SMF - FS.com Deutschland

QSFP-DD Transceiver Modul mit DOM - Generisch kompatibel 800GBASE-2FR4 QSFP-DD PAM4 1310nm 2km DOM Dual CS SMF, Product Specification:Teilenummer - QDD800-2FR4-C1, Hersteller - FS, Formfaktor - QSFP-DD, Max. Datenrate - 850Gbps (8x 106.25Gbps), Wellenlänge - 1271nm, 1291nm, 1311nm und 1331nm...

www.fs.com

Sieht nicht nach LC-D aus, trotz SMF.
Ansonsten ist natürlich ein überwiegender Teil auf LC-D ausgelegt, eben weil OS2 long haul ist und da kosten Fasern entsprechend, im Vergleich zum Transceiver.

 

[Weltherrscher]

<16 W Verbrauch.
Hahaha, wieviele passen dann von denen in einen Mikrotik?
(Rhetorische Frage)

 

[danielmayer]

Hehe, der underclocker sucht wieder Gegenbeweise für pauschale Aussagen.
Nun: wer unbedingt 8 Adern statt 2 verbrennen will, um dann für 500m Reichweite statt 2km für 410€ statt 210€ je Transceiver (bei fs) ausgeben will, findet natürlich auch solche Technik.
Ich habe natürlich für meine Aussagen immer ein gewissen wirtschaftliches Handeln vorausgesetzt.
Aber wenn Du schon gerade mit dabei bist: welches Szenario wäre für diese PSM-Module überhaupt denkbar? Selbst wenn schon MTP OS2 liegen sollte, würde ich dich dann immer über ein Breakout die CWDM-Module nehmen... Mir scheint das von Dir genannte keinen Einsatzzweck mehr zu haben.

 

[underclocker2k4]

<16 W Verbrauch.
Hahaha, wieviele passen dann von denen in einen Mikrotik?
(Rhetorische Frage)

Naja, 1W sind auch <16W.
Man darf nicht vergessen, dass sind 800GBE. Würde also grob reichen, damit der Toaster auch morgen noch die neusten Brandmuster aus der Cloud bekommt.

@danielmayer
Suchen muss man da garnichts, sowas hat man auf der Pfanne, oder auch nicht.
Man muss damit halt immer aufpassen, wenn man sowas generalisiert. Unter gewissen Aspekten macht LC Sinn unter anderen eben nicht. Pauschal ist die Aussage aber halt falsch, insbesondere vor dem Hintergrund, dass die Zukunft wohl kein LC (bzw. LC-only bei Duplexconnectoren) mehr ist. (dazu hatte ich mal vor Jahren eine riesen Abhandlung geschrieben)

Und es gibt im Bereich LWL so ziemlich alle Faxen. So mancher Hersteller macht noch ganz andere Rosinen-Dinkel-Marmelade-Körnerbrötchen.
Die PSM machen genau das, was sie machen sollen.
Der markante Unterschied ist, dass du beim -CWDM, wie auch -LR4, eine Quad-Lambda fährst und das führt zu dem Problem, dass du damit keine Breakout machst.
Das kann die PSM, da dort Single-Lambda mit Raummultiplexen im Einsatz ist.
Sprich also, du hast 4x 25GBE in einem Stecker. Machst/Brauchst du also Breakout über OS2, dann brauchst du sowas.
Sprich man kann dann so einen Transceiver zum Anbinden von 4x 25GBE nutzen. Analog zum 40GBE auf 4x 10GBE.
Macht man natürlich gerne im Bereich MMF, gibt aber auch Anwendungen, wo man mehr als die 100m vom MMF braucht.

Auch hier nochmal der Hinweis, dass -CWDM was anderes ist als -LR4. Und da fangen dann die Feinheiten an. Die sind, trotz Quad-Lambda, eben nicht kompatibel, da dort andere Wellenlängen zum Einsatz kommen.
Weiter ist zu bedenken, dass nicht jeder Hersteller -CWDM SFPs unterstützt. Manchmal wird/wurde das nachgepatchet, manchmal eben nicht, zumindest was die org. SFPs angeht, sehr wohl aber den pauschalen Standard -LR4.

Sprich also, damit könnte man die 25GBE vom Kollegen beglücken und du wärst nicht mehr "alleine" weil es ja nen 100GBE SFP ist.

 

[sch4kal]

Falls jemand aktuell eine günstige 10G Dual-NIC (mit Option, später auf 2x 25G zu gehen) mit integriertem Router sucht:

CCR2004-1G-2XS-PCIe | MikroTik

A smart PCIe network interface card that adds full-fledged router capabilities to your servers. The smart and easy way to create 25 Gigabit networks if you want to save space in your server room!

mikrotik.com

 

[pumuckel]

Falls jemand aktuell eine günstige 10G Dual-NIC (mit Option, später auf 2x 25G zu gehen) mit integriertem Router sucht:

CCR2004-1G-2XS-PCIe | MikroTik

A smart PCIe network interface card that adds full-fledged router capabilities to your servers. The smart and easy way to create 25 Gigabit networks if you want to save space in your server room!

mikrotik.com

also als "günstig" würd ich die nicht bezeichnen und auch nicht als NIC

... auf die Schnelle würde mir im Home Bereich nichtmal ein Einsatzzweck für den Hybriden Einfallen außer Spieltrieb

... auch der nette Satz "it will need time to boot up" negiert schonmal jede Anwendung als not 24/7

... hätten Sie statt 8x PCIe 3.0 ein 4x PCIe 4.0 genutzt wäre ich evtl sogar vom Spieltrieb erfasst