[Sammelthread] 10Gbit Homenetzwerk

Sparanus schrieb:
Eine Frage, braucht ihr diese Datenraten Privat oder Beruflich?
Mir würde Privat nichts einfallen wofür ich das bräuchte, selbst bei 50GB ISOs streamen.
Zum Vergrößern anklicken....

Ich will mein Linux Software RAID aus meinem Desktop ausbauen und durch ein NAS mit FreeNAS mit ZFS ersetzen. ZFS scheint unter Linux eine Krücke zu sein und unter Windows könnte ich das ZFS per NAS auch nutzen. Selbst in meinem (veralteten) H55 System schafft eine SSD 250-270MB/s und ein Linux Software Raid aus mehreren Platten geht auch locker über 200MB/s. Bisher habe ich nur PowerLAN - das ist aber zu störanfällig, selbst fürs Internet :(.

Also Planung:

- Die Platten sind mir zu laut und Energiemanagement ist schlecht (start/stop Zyklen) -> NAS muss her.
- Userdaten so schnell wie im Desktop - > also 10G
- 2 NAS Systeme wegen Backups.
- Neue Desktoprechner nur mit kleiner System SSD, den Rest per NAS.
- Verkabelung mit 1x CAT6 UTP und 1x LWL OM3 pro Zimmer. Mehr bekomme ich leider nicht vernünftig am Laminat vorbei in die Zimmer. Das Laminat im Flur muss mal kurzfristig raus, damit die Kabel drunter passen.
- Nächstes Jahr kommt ein neuer Router (AVM 7490) mit 5Ghz. Der wandert vom Schlafzimmer auch in den Flur, damit immer nur eine Wand dem WLAN im Weg ist.

Ist halt eine Infrastrukturmaßnahme, die mindestens 10 Jahre halten soll. In der alten Bude habe ich 2001 auch CAT5e gelegt. Den Speed richtig per NAS ausreizen konnte man als Privatmann erst ca. 5 Jahre später.
Schon bei 100MBit Ethernet habe ich zunächst Ende der 90er ohne Switch mit zwei Rechnern und crossover Kabel angefangen. Ist jetzt vergleichbar - nur auf einem etwas besseren Level. 10G Switches sind mir noch zu teuer.
Mit 10G kann man z.b. ein komplettes Image Backup einer 500GB SSD in etwa einer halben Stunde oder weniger fahren. Da wird ein Backup einfach komfortabel.

Gruß
Tampopo
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hallo,

nachdem ich mich nun sein Jahren mit diversen fertig-NAS-Systeme (TS-509Pro, TS-412, DS-1812+) beschäftigte wollte ich (vor allem aus Kostengründen) kein fertig NAS mehr erwerben.

Die Wahl viel daher auf einen ML-310e G1 (v1) mit M1015 HBA Controller. Als Hostsystem wurde Windows Server 2012 R2 installiert und sollte eigentlich per "Storage Spaces" die neuen Platten im Netz anbieten. Die NAS Systeme sollten dann nur noch als ISCSI-Storage angeschlossen sein und das Backup (für extrem wichtige Daten doppeltes Backup) dienen. [! Storage Spaces haben eine unglaublich grottige Performance !]

Glücklicherweise kann ich über meinen Arbeitgeber ein Sample eines neuen Switches (Switch mit 18x GBit + 2x SFP+ 10GBit) testen. [soll im April günstig! auf den Markt kommen]
Bei eBay gab es gerade 2 Port SFP+ NICs von HP (NC523SFP) für 99€ + VK sowie 2x Cisco Twinax DAC 5m für je 26€ (Abholung in FFM). Da leider 5m Twinax zu kurz sind, gab es noch 2x Intel 860nm SFP+ für je 42€ + VK.
Macht zusammen ~370 € (inkl. 15m OM4 LC/LC von Amazon) für das Netzwerk, sowie ~ 500€ für den Server (ohne HDDs).

In Anbetracht eine early aDEPPtor zu sein, finde ich die Lösung für einen Privatmann erschwinglich. Getreu nach dem Motto "Nicht weil ich es brauche, sondern weil ich es kann!".

Durchsatz beim SSD <> SSD kopieren ~300 MByte/sec und single HDD <> shr HDD lesen/schreiben ~150-180 MByte/sec.

Hier ist also noch Optimierungsberarf bei der Speicherung (das SHR läuft derzeit in einer per Hyper-V gehosteten DS-3612xs [xpenology]) das das Thema Storage Spaces schnell gegessen war.

Ich denke mir meinem Setup habe ich "klein" Angefangen und kann bei Bedarf (Erlaubnis meiner frau) auch noch erweitern.

BR
snoopy78

p.s. @Tampopo ich denke wenn du für die nächsten 10 Jahre planst, dann bleibt die nur OM4/OM5 als Verkabelung. Cu in Cat6/7 mag noch bei 10G gehen, aber technisch sind wir derzeit bei 40G und 100G kommt auch schon, aber dafür bräuchten wir erst mal die Daten um das auch nur annähernd auszulasten.
 
snoopy78 schrieb:
p.s. @Tampopo ich denke wenn du für die nächsten 10 Jahre planst, dann bleibt die nur OM4/OM5 als Verkabelung. Cu in Cat6/7 mag noch bei 10G gehen, aber technisch sind wir derzeit bei 40G und 100G kommt auch schon, aber dafür bräuchten wir erst mal die Daten um das auch nur annähernd auszulasten.
Zum Vergrößern anklicken....

Mir wird 10GBit erst mal reichen. Die Kabellängen sind hier kürzer als 10m Gerät zu Gerät, da sollte bei CAT6 10G gehen. Ok - ich könnte noch auf OM4 für die Verlegung umsteigen. Aber ob ich so schnell hier 100G einbaue wage ich zu bezweifeln. Mein Desktop Rechner schafft wahrscheinlich nur 30%-50% des 10G Rate als Maximum.
Muss mir das mit OM4 nochmal überlegen, weil ich momentan sehr knapp bei Kasse bin :rolleyes: und daher ein SFN5122F Päärchen gerade in der Bucht rumsteht :d.

Gruß
Tampopo

PS: Die sechs optischen10G SFP+ Module habe ich heute beim Zoll abgeholt: "Was ist da drin?" "Sechs abgeschnittene Finger aus Metall!" :haha:
 
Hallo Tampopo,

mein Desktoprechner schafft der derzeit auch NUR ca. 6 GBit im IPerf (mit Option -w 16M ), von der Performance der derzeitig verfügbaren HDDs wird das Netz nicht mal ansatzweise ausgelastet. Aber was noch nicht ist, wird mit zukünftiger Skalierung des HDDs (im Storage) sowie entsprechender SSDs im Client mehr oder weniger beseitigt.

Ich persönlich, komme beruflich aus dem Enterprise Bereich, finde die Anfangsinvestition in die Infrastruktur zwar höher, jedoch bin ich damit flexibler und zukunftsträchtiger. Zumal sich LWL Kabel (bei korrekter Anwendung) auch gut hinter den Fussbodenleisten verlegen lassen. Wichtig ist hier halt den Biegeradius nicht zu unterschreiten (obwohl bei kurzen Verbindungen das nicht so sehr ins Gewicht fällt).

Cu-Verkabelung ist leichter auf bestehender Infrastruktur aufsetzbar, jedoch Aufgrund des steigenden Widerstandes und der Frequenzen limittiert. Die Performance sollten aber im Heimbereich trotzdem noch verfügbar sein, da trotz evtl. schlechterer Kabel eine kürzere Entfernung zu überbrücken ist.
10G Cu-Switches sind aber erst noch im kommen, und daher vmtl. in der Anschaffung teurer. Gleiches gilt auch für die NICs.

Inifiband ist interessant, insbesonders im Hinblick auf mögliche Geschwindigkeiten (> 10GBit) und die bereits breite Verfügbarkeit. Einzig nachteilig sind m.M.n die relativ starren Kabel (fast genau wie die DAC Twinax).

Kostenmäßig sollten LWL und Infiniband DERZEIT die günstigste Möglichkeit darstellen im Heimbereich 10G zu implementieren.

Ist halt wie immer eine Frage des Bauchgefühls, wobei ich persönlich zu LWL tendiere.

BR
snoopy78
 
Ich bin Privatanwender und nutze 10Gbit über Dell Broadcom NICs zwischen Fileserver und Wörkstation im "Direktlink" PC->Wanddose->Patchfeld->Cat6a-Kabel->Patchfeld->Wanddose->Server. Läuft tadellos und mach Spaß, eine 30GByte-Datei mit ca. 280MB/s zu kopieren (max Lese-/Schreibgeschwindigkeit meiner SSD...). Ich will jedenfalls nicht mehr auf die lahmen 110MB/s zurück ;)

Ich "hätte" allerdings viel lieber meine drei Intel/Qlogic Truescale IB-Karten in Betrieb, die mit 40Gbit zwischen Linux-Rechnern auch gut Spaß bringen - und VIEL weniger Strom benötigen...
Allerdings gibt es nachwievor keine Treiber für Windows-Umgebungen, da hatte ich von Intel etwas mehr Engagement erwartet. Daher liegen sie derzeit ungenutzt im Schrank und warten auf bessere Zeiten.
Im Strombedarf zieht die Broadcom-Dual-10G-Karte ca. 20 Watt (beide Links up), die IB ca. 6W...
Ein "Home"-IB-Switch wäre z.B. der 8-port-Switch von Mellanox, der neu ca. 1.500€ kostet und echte 8x40Gbit Switch-Kapazität bietet. Dann noch den üblichen 1G-Switch daneben, an beide den Fileserver, und die im Haus benutzten Ports auflegen. Fertig ist das Hochleistungshaus. Und da ich (hoffentlich) noch dieses Jahr mit Hausbau anfange... -träum- :)
 
Nein, nur für Mellanox und Verwandte (Voltaire wohl...).
Intel/Qlogic ist im OFED = Linux mit drin, aber nicht im WinOFED = Windows. Es gab mal eine Ankündigung für V3.0, woraufhin ich auch die Karten bei EPforte günstig geschossen hatte. Treiber kam aber nicht. Es gab im Dezember einen Hoffnungsschimmer eines US-Programmierers, der den Treiber für >=Win8 schreiben will... mal sehen...
 
N'Abend zusammen, vielen Dank erstmal dass sich hier so viele bemühen, Infos zu günstigen Lösungen für 10GbE zusammen zu schreiben :)
Ich habe bei mir hier Zuhause einen HP ML310e G8 stehen, der als 2012R2er Hyper-V Host und NAS fungiert (Keller). Dieser ist momentan mit zwei 1GbE Links an einem LACP-fähigem Gigabit-Switch angeschlossen und von dort wird alles weiter verteilt an die Endgeräte.
Wie das immer so ist, gewöhnt man sich recht schnell an die Geschwindigkeit und will mehr. Klar könnte ich jetzt überall 2x 1GbE hinlegen, aber einzelne Verbindungen profitieren davon ja nunmal auch nicht. Außerdem sind die Komponenten ja nun auch nicht sooooo imens teuer.

Meine Überlegung ist nun:

  1. Mein Server (Keller) und mein PC (1.OG) bekommen beide eine Emulex OCe10102 inkl. 10GBase-SX GBICs für Multimode LWL.
  2. Als Leitung verlege ich normales OM3 LWL-Patchkabel (ST-ST), wovon ich circa 30 Meter benötige. (Wird durch einen stillgelegten Schornstein neben die bestehenden Cat.7 Duplex-Leitungen verlegt und sollte somit steif genug verlegt sein. Ich habe keine gefährlichen Biegeradien auf der Strecke.)
  3. Um flexibler zu sein möchte ich an beide Enden des Patchkabels DIESE NETZWERKDOSEN setzen.
  4. Von den Dosen zu den NICs möchte ich dann LC-ST Patchkabel verwenden.
  5. RX/TX natürlich auf einer Seite tauschen.

Durch Zufall habe ich eben eine OCe10102-NX mit GBICs bei Ebay ersteigert, weil ich bei dem Preis einfach nicht "Nein" sagen konnte.

Das Teaming der beiden 1GbE NICs im Server möchte ich mit dem einem 10GbE Port bridgen, sodass ich 1- und 10 Gigabit im selben Subnetz habe, damit ich nicht noch hin und her routen muss und bloß einen DHCP Pool brauche.

Gibt es in meiner Planung hier irgendwelche Lücken, oder grobe Fehler, oder kann das wirklich so funktionieren? Wohlgemerkt gilt es erstmal bloß eine P2P Verbindung zwischen Server und PC aufzubauen.

Wenn ich das funktionierend umgesetzt habe gibt's Bilder, versprochen! :d
 
Nun, klingt soweit erst mal vollständig. Allerdings würde ich Wanddosen-technisch auch bei LC bleiben, das ist der vorherrschende Standard. LC-LC-Kabel sind günstig zu schießen und auch für andere Anwendungen mal verwendbar (Direktverbindungen PC<->PC, Fibrechannel-Karten, etc).
Wenn Du vorkonfektioniert kaufst: Die Kabel sind höllisch empfindlich. Ich habe mein 200€-10m-Infiniband mit einem unachtsamen "Kabel unter einer PC-Seitenwand" innen gekappt und wegwerfen dürfen... Auch die Stecker halten keinen Zug aus. Freier Fall durch den Kamin - ok, danach sollte aber auch alles ohne Gewalt verlegbar sein...
Und dann bitte berichten ;)
 
Hallo LC/LC ist aktuelle Industriestandard.

Alles was APC/SC/ST ist, ist "historisch gewachsen".
 
Also wir haben im Rechenzentrum etliche LC Patchfelder, also geben tut es die schon ;) ich halte mal Ausschau nach Dosen, aber habe in der letzten Woche keine finden können.

Ich werde am WE jetzt mal nochmal schauen und dann nächste Woche bestellen.

Danke euch ;)
 
Hallo,

gibt es eine einigermaßen günstige, stromsparende Lösung zwei Rechner mit mind. 4GBit/s zu verbinden? Ich habe bereits mal mit IB rumgespielt, aber die Karten ziehen so viel Strom und Lösung ist zu viel gebastel (schlechter Windows Support und so).

Wie sieht es eig mit Windows Server 2012 NIC Teaming bei einer Direktverbindung zwischen zwei Rechnern (4 NICs) aus? Ist es dabei möglich die vollen 4Gbit/s bei einer Übertragung zu nutzen oder gilt dort die gleiche Einschränkung wie mit LACP?
 
IB ist bzgl. Leistungsaufnahme der Karten noch am unteren Ende. Wenn dir das schon zu viel ist, dann gibt es keine Möglichkeit.

Das Problem beim Teaming ist, dass du nicht mit einem Prozess alle vier Leitungen nutzen kannst. Um mit dem Setup 4 Gbit/s zu transportieren brauchst du 4 Prozesse, die jeweils eine Strippe auslasten. Es gibt einen Lösungsansatz dafür, allerdings ist mir gerade der Name entfallen und ich weiß auch nicht wie weit das Projekt schon gediehen ist.

Grundsätzlich würde ich dann also sagen, dass es keine Möglichkeit gibt.

Sobald du dich von der "Problematik" der Leistungsaufnahme löst gibt es einige denkbare Lösungen, je nach deiner Definition von "einigermaßen günstig":

1. 4 Gbit/s FC mit QLogic Karten und dem passenden Target Treiber:
Vorteil: Sehr günstige Karten und sehr günstige Verkabelung mittels LWL
Nachteil: Gebastel ohne Ende und der Target Host muss mit einem Linux laufen

2. 10GBase-T

3. 10GBase-SR

-T benötigt, im Prinzip, weniger Leistung als -SR, ist aber auch teurer in der Anschaffung, sofern man die -SR Transceiver nicht direkt beim Hersteller der Karte neu kauft.
 
IB ist bzgl. Leistungsaufnahme der Karten noch am unteren Ende. Wenn dir das schon zu viel ist, dann gibt es keine Möglichkeit.
Zum Vergrößern anklicken....

Echt? Ok, aber dennoch is IB keine "offizielle" Lösung mit Treibersupport für neuere Windows Versionen und Co., sondern funktionier nur über die OpenFabrics-Treiber. Oder lieg ich da falsch?
Ich hab hier alte Voltaire-Karten. Gibt es neuere, bessere Karten mit anderen Treibern?

zu 1. Ok, Fibrechannel ist ja kein IP-Netzwerk, sondern quasi ein SAN. D.h. der zweite Server funkiert nur als eine Art externe Festplatte, auf die auch auf keinem anderen Weg zugegriffen werden kann.
Ich hatte bereits mal versucht mich lokal im read-only Modus mit dem Target zu verbinden, um zusätzlich über LAN auf die Daten zugreifen zu können. Aber bei den Versuch bin ich gescheitert.
IPoverFC gibts ja leider nicht (mehr).


Was ist eigentlich der unterschied zwischen 10Gbase-CX4 und IB? Ist das nicht das gleiche?

Das Problem beim Teaming ist, dass du nicht mit einem Prozess alle vier Leitungen nutzen kannst. Um mit dem Setup 4 Gbit/s zu transportieren brauchst du 4 Prozesse, die jeweils eine Strippe auslasten. Es gibt einen Lösungsansatz dafür, allerdings ist mir gerade der Name entfallen und ich weiß auch nicht wie weit das Projekt schon gediehen ist.
Zum Vergrößern anklicken....

Ich meine über das Windows NIC Teaming gelesen zu haben, dass damit dieses Problem behoben wurden. Weiß es aber nicht genau. Das ganze müsste dann eine Art Netzwerk-RAID 0 sein.
 
Zuletzt bearbeitet:
IB ist eine offizielle Lösung für IB, aber wenn deine bzw. unsere Anwendungen keinen nativen IB Support bieten, dann muss man halt was anderes in IB kapseln. Zum Beispiel IP! :)
Die OFED Treiber sind allerdings, im Prinzip, die Standard Treiber für die IB Karten. Viele Hersteller aus dem Bereich sind ja Mitglied der OFA. Natürlich ist die OFED mehr als ein Treiber. Das ist ja eher eine ganze Software Suite bzw. ein Stack, der neben den reinen Treibern auch andere Funktionalitäten bietet. Ein reiner Treiber, so wie du ihn dir vielleicht vorstellst, wenn du nach anderen Karten mit anderen Treibern fragst, bringt dir ja garnichts, weil du dann immer noch keine Software hast, die nativ IB über diese Karten machen kann.

Die Geschichte mit den FC Karten und Target Treibern funktioniert parallel zu anderen Verbindungen, z.B. Ethernet. Der Server ist nicht nur eine externe Platte, da läuft ein vollwertiges Betriebssystem und das kann man dann auch als solches nutzen.
Es kommt für dich aber eigentlich sowieso nicht in Frage, weil es eine Bastellösung ist. Und eine relativ spezielle dazu, aber ich wollte es nochmal erwähnen, da es technisch und finanziell nicht uninteressant ist. Ich wollte dazu auch immer mal ein HowTo schreiben, vielleicht mach ich das irgendwann noch mal.

CX4 ist/war der erste 10G Standard auf Kupferbasis. Die Kabel sind vergleichbar/identisch mit denen für IB, aber da läuft natürlich was ganz anderes drüber ab. Nur weil das Kabel identisch ist müssen die Karten ja nicht zwangsweise das selbe darüber machen. CX4 Karten machen Ethernet, IB Karten machen IB.
 
Ist die IB-Lösung mit vmware kompatibel?
Könnte man dann nicht Netzwerkinterfaces auf den IB-Karten "erstellen" und dann quasi nur die Netzwerkkarten den VMs zur Verfügung stellen?
 
Mellanox zumindest hat OFED Krams für ESX. Ich glaub der IB Support war auch mal nativ eingebaut, aber das ist schon länger her. Details kann ich dir aber nicht liefern, dafür kenn ich mich damit zu wenig mit der Kombination IB/ESX aus.
 
Ja, sind es. Abgesehen davon, dass das Angebot beendet ist, scheint das auch ein relativ obskures Modell zu sein. Eine kurze Suche ergab zumindest nicht sonderlich viele Treffer.
 
Zuletzt bearbeitet:
Da war wohl nur ein Typo im Namen, MNPH29C-XTC statt MNPH29B-XTC. Preislich liegen die dann mit Porto und Zoll aber auf dem Niveau, zu dem man hier auch entsprechende Karten bekommt.
 
hm, nur SFP+ bracht man dann noch... - hm, die Karten wären ja schon verlockend... - aber macht das Sinn? - geht das mit Kupfer-GBICs auch?
Welche passen da? - oder hat jemand andere Empfehlungen?
 
SFP+ CU supporten nicht alle Karten und auch nicht alle Transceiver werden von allen Karten supportet. Preislich wird es dann plus Transceiver auch nicht mehr so sonderlich lohnenswert.
Wer noch was mit 10GBase-SR machen will kann sich bei mir melden, nach meinem Umbau auf 10GBase-T hab ich noch zwei Emulex OCe10102 von IBM mit jeweils einem Transceiver übrig.
 
Naja, ich würd ja auch lieber auf 10GBase-T gehn...
Schön wäre es 5 Hosts mit nem 10GBase-Link zu verbinden und den Rest am Switch mit 1Gb zu verbinden - nur leider scheinen solche Switches nicht zu den üblichen Preisen verfügbar zu sein, 4x 10GBase-T würden im Normal fall auch gehn...
 
Zuletzt bearbeitet:
also auf der ersten seite hier steht
8.5W TDP
Zum Vergrößern anklicken....
hoffe mal das einigermaßen passt, und wenn ich mir so die anderen karten anschaue wirds nicht viele geben die wehniger verbrauchen oder?
 
Anmelden, um zu antworten.

Ähnliche Themen

M
Proxmox - Netzwerk mit Broadcom NIC
Antworten
10
Aufrufe
2K
Nemetron
Nemetron
M
[User-Review] Switch im Lesertest: Testet den QNAP QSW-M2108R-2C!
Antworten
6
Aufrufe
898
mbrhwl
M
xmogelx
[User-Review] Lesertest mit ADATA/XPG und ASUS - XPG Invader X BTF - ASUS TUF Gaming Z790-BTF WiFi
Antworten
0
Aufrufe
233
xmogelx
xmogelx
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh