[Sammelthread] 10Gbit Homenetzwerk

[Weltherrscher]

Hmm, alles gut.
SwOS habe ich auf dem CSS326 hassen gelernt, seitdem kommt mir nur ROS druf.
Der CSS konnte ja nix anderes.

Eventuell zu warm?
Mikrotik schreibt selbst, dass man die SFP+-RJ45-Transceiver nur in jeden 2. Port stöpseln sollte und die dazwischen dann frei lassen.
Deshalb war ich auch kurz am überlegen, den 309 zu holen.
Momentan isses im Keller aber kühl genug, da funzen dann auch 2x DAC und 2x RJ45 im 305er.

 

[MisterY]

Was hast du denn gegen SwOS? Läuft doch gut?

 

[besterino]

Oha. Wo schreibt das Mikrotik denn?

Hatte auch Temperatur im Verdacht. Allerdings sind die Temperaturen bei max. 31°C (einer der SFP+-RJ45-Transceiver), ansonsten alle bei 22°C. Die Kiste selbst hat angeblich 45°C. Das sollte doch noch entspannt sein.

 

[Weltherrscher]

S+RJ10 general guidance - MikroTik Wiki

krass, 31 °C.
Hast du Minusgrade im Keller?
Meine liegen allesamt bei 60..70 °C...

Der dicke Passivkühler beim CRS309 scheint doch was zu bringen.

 

[besterino]

Ne, aber die langweilen sich vermutlich größtenteils.

 

[Stueckchen]

Wollte mal fragen ob jemand erfahrung mit den QNAP Erweiterungskarten hat, die M.2 Und 10G können - QM2-2P10G1TA

Also vor allem ob die halbwegs was taugen und auch in einem PC/Server laufen. Könnte damit mein itx Board länger am leben lassen, grade muss ich mich zwischen 10G und M2 entscheiden.

Vorne weg: Das ich keine Wunder erwarten kann ist klar, PCIe Gen2x4 für zwei M2 und 10G. Aber mir wäre die möglichkeit schneller als Gbit und gleichzeitig noch ein PCIe Boot Laufwerk zu haben wichtiger.

 

[Weltherrscher]

Zumindest Netzwerk sollte fluppen, habe die QNAP 10G-Netzwerkkarte auch im PC.
Die Frage ist, wie alt ist das ITX-Board und nimmt es eine M.2 SSD im PEG-Slot als Bootlaufwerk an?
Als normales Laufwerk sollte es kein Problem sein, da nach dem Boot ja sowieso der Kernel übernimmt.

 

[Stueckchen]

Naja M.2 in einem M.2 to PCIe Adapter geht, wenn es uEFI ist.
Die Frage ist ob der PCIe Switch propriäter ist oder einfach so funktioniert.
Sowie was passiert wenn Last auf der M.2 und der 10G ist, wird das einfach langsamer oder gibt es "aussetzer".

 

[martingo]

Kann Dein Board denn Bifurbication? Das ist ja schon Voraussetzung für zwei M.2s in einem PCIe Adapter.

 

[Stueckchen]

Kann Dein Board denn Bifurbication? Das ist ja schon Voraussetzung für zwei M.2s in einem PCIe Adapter.

Nein, daher ja die Qnap Karte, die hat ja angeblich nen PCIe Switch.

 

[Weltherrscher]

Hmm, da fällt mir ein, ich hab in meinem neuen ESXi eine 4x 1GBit-Karte mit einem PCIe-Switch drin.
Die erkennt der ESXi zwar als Hardware (kann sie durchreichen), aber die vier Realtek-Chips da drauf kann ich nicht direkt dem vSwitch zuweisen, weil sie in der ESXi-Netzwerkkonfig einfach nicht da sind.

//Edith:
Der PCIe-Switch sollte fürs OS transparent sein.
Im ESXi kann ich ihn zwar als Gerät sehen, aber nix mit anfangen.

 

[besterino]

Das Du die Nics keinem vswitch zuweisen kannst, liegt bei ESXi aber vermutlich daran, dass ESXi dafür von Haus aus keine Treiber an Board hat.

 

[Weltherrscher]

Für ne popelige Realtek-Karte...
Egal, das wäre ein Thema für den anderen Faden... =)

@Stueckchen:
Kaufen, ausprobieren, bei Nichtgefallen in den Marktplatz schmeißen. =)
Würde die QNAP dann wohl auch nehmen, wäre was für meinen Backup-ESXi.

 

[danielmayer]

+1. Klingt interessant genug für einen Versuch. 20Gbit PCIe-Anbindung ist für 10G + 2xM.2 wirklich nicht viel, aber auch das ist wieder eine Frage der individuellen Nutzungsstrategie.
Natürlich mit onboard-PCIe-Switch, heißt aber auch, dass die Geräte nicht getrennt in eine VM übergeben werden können. Zumindest diesen Fehler sollte man vorab vermeiden bzw. wissen.

 

[Weltherrscher]

Also, ich hab die 10G-Mellanox auch nur über den vSwitch am Haupt-ESXi und in den VMs dann die virtuellen Karten drin (geht für vMotion ja auch nicht anders).
Fluppt super und dauerhaft 10G zu irgendwelchen VMs hab ich sowieso nicht. =)
Schade, dass ESXi keine Spiegelung der Boot-Installation kann (wie FreeNAS), dann würden die beiden SSDs Sinn machen.
So reicht eine kleine als Boot-SSD und ne größere für die VMs.

Was willst DU damit eigentlich anstellen?
NAS, ESXi oder baremetal?

Das mit dem getrennt durchreichen würde ich so nicht sagen, ich kann die vier Realtek-Netzwerkkarten hinter dem PCIe-Switch schon einzelnen VMs zuweisen.
Eventuell sollte dann auch hier eine Trennung möglich sein.
Blöd wäre, wenn die M.2-Slots an einen Controller gehen...

 

[Stueckchen]

Ja, muss nochmal in mich gehen, 230€ (+ 60€ für RJ45 - SFP+) sind doch ne viel da ist der Abstand zu nem neuen System nicht mehr so groß.

Plan ist bzw. wäre Proxmox + Storage VM mit durchgereichten SATA Controller. PVE dann auf einer oder zwei kleinen Optanes 32G installieren.

Wenn SMB-Multichannel über LACP gescheit gehen würde, würde ich die Verränkungen glaube ich net machen

 

[numerobis]

Kann mir hier jemand sagen, ob irgendwas gegen einen Cisco SG250X in Kombination mit mit zwei Asus XG-C100C spricht? Ich bin auf der Suche nach einer günstigen und möglichst einfachen Lösung zur Anbindung von vorerst nur einer Workstation und einem Server per 10Gbit. Der Rest (11 Rechner+Router) kann erstmal bei 1Gbit bleiben. 24 Ports wären eigentlich nicht nötig, aber mit 16 scheint es ja nichts zu geben in dem Preisbereich.

 

[numerobis]

Nee, es muss schon alles an den Switch angebunden sein, da alle Rechner auf den Server zugreifen sollen.

 

[sch4kal]

399 € für das Cisco ? Würde eher gebrauchte Switche oder das CSS326 ins Auge fassen.
Das was Cisco für das SG250X will steht in keinem Verhältnis.

 

[martingo]

Ich würde auch den CRS326 in den Raum werfen (mir ist RouterOS lieber als SwitchOS - CSS ist auf SwOS beschränkt, der CRS kann beides):
MikroTik RouterBOARD CRS300 Dual Boot Rackmount Gigabit Managed Switch, 24x RJ-45, 2x SFP Preisvergleich Geizhals Deutschland
zum Vergleich noch der etwa 45€ günstigere CSS:
MikroTik RouterBOARD CSS300 Rackmount Gigabit Managed Switch ab Preisvergleich Geizhals Deutschland

In beiden Fällen würdest Du noch ein RJ45 Modul brauchen, wenn es denn zwingend 10GBASE-T sein muss:
MikroTik RouterBOARD 10G LAN-Transceiver ab Preisvergleich Geizhals Deutschland

Soweit möglich, würde ich aber zumindest den Server (wird wohl Nähe des Switches stehen?) mit einem DAC anbinden. dann brauchst Du aber auch eine andere Karte.

 

[Holt]

Nee, es muss schon alles an den Switch angebunden sein, da alle Rechner auf den Server zugreifen sollen.

Haben der PC und der Server denn nur den einen 10GbE Port? Wenn nicht, dann binde sie über einen anderen LAN Port an den Switch und machen die 10GbE als Direktverbindung zwischen dem Server und den PC, so habe ich es bei mir auch gelöst.

 

[martingo]

Nachdem er für den Server ja noch eine 10er Karte kaufen will, hat er wohl bisher nur mind. ein Gbit, wäre also auch eine Möglichkeit (wenngleich keine von mir präferierte).

 

[Firebl]

Wollte mal fragen ob jemand erfahrung mit den QNAP Erweiterungskarten hat, die M.2 Und 10G können - QM2-2P10G1TA

Also vor allem ob die halbwegs was taugen und auch in einem PC/Server laufen. Könnte damit mein itx Board länger am leben lassen, grade muss ich mich zwischen 10G und M2 entscheiden.

Vorne weg: Das ich keine Wunder erwarten kann ist klar, PCIe Gen2x4 für zwei M2 und 10G. Aber mir wäre die möglichkeit schneller als Gbit und gleichzeitig noch ein PCIe Boot Laufwerk zu haben wichtiger.

Nochmal als Ergänzung:

Ich habe den Tehuti-Vorgänger QNAP QM2-2S10G1T. Läuft auch normal im Windowsbetrieb. 1233MByte/s mit aktivierten Jumbo Frames. VM-Tauglichkeit habe ich mir nicht angeschaut. MSATA-SSDs werden problemlos erkannt, Booten habe ich nicht gestestet.

Bei der MSATA "S" Version sorgt ein Switch für volle 20GBIT an Netzwerk oder SSDs. Bei der NVME-Version "P" sind die Lanes fest getrennt. Daher ist dort die Netzwerkkarte auch nur mit 800MB/s angegeben.

 

[numerobis]

399 € für das Cisco ? Würde eher gebrauchte Switche oder das CSS326 ins Auge fassen.
Das was Cisco für das SG250X will steht in keinem Verhältnis.

Also laut Geizhals sind es rund 350€ Brutto, wären netto ca. 300€. Gebraucht ist eher schwierig und bringt mir preislich auch nicht wirklich was, da ich vom Nettopreis ausgehe (muss auch dieses Jahr noch gekauft werden, also keine Zeit, auf ein passendes Angebot zu warten).

- - - Updated - - -

Ich würde auch den CRS326 in den Raum werfen (mir ist RouterOS lieber als SwitchOS - CSS ist auf SwOS beschränkt, der CRS kann beides)

Das sagt mir leider nichts. Was hat das denn für Vorteile gegenüber dem Cisco? Ich denke, ich hab eigentlich keine besonderen Anforderungen an den Switch. Bisher hat mir ein Netgear GS716T gereicht. Mir geht es nur darum, die Bandbreite zwischen Server und WS und Server und Switch zu erhöhen. Letzteres, da es um die Verteilung von Renderjobs geht (10 Rendernodes), also zB. wenn dann alle Rechner beim Starten gleichzeitig die Daten vom Server laden.
MikroTik scheint nur 15 Monate Garantie zu haben?
Bei dem Cisco fand ich auch die zwei zusätzlichen 10G-Ports nicht schlecht. Aber klar, sind auch rund 100€ mehr.

Soweit möglich, würde ich aber zumindest den Server (wird wohl Nähe des Switches stehen?) mit einem DAC anbinden. dann brauchst Du aber auch eine andere Karte.

Das ginge schon, steht direkt unter dem Server. Was ist denn da der Vorteil? Ich hatte mich jetzt auf BASE-T beschränkt, da es mir einfacher erschien und die Kabel ja schon vorhanden sind.

- - - Updated - - -

Haben der PC und der Server denn nur den einen 10GbE Port?

Die sind momentan ganz normal per Onboard-1Gbit angeschlossen. Wie oben geschrieben, geht es mir darum, auch die Bandbreite zum Switch zu erhöhen, um den gleichzeitigen Zugriff aller Rechner auf den Server zu beschleunigen.

 

[besterino]

2x10gbit mit 8x1gbit (alles Kupfer) gibt’s doch ganz günstig ab ca. 189 Euro von ASUS: ASUS XG-U2008 Desktop Gigabit Switch ab Preisvergleich Geizhals Deutschland

 

[sch4kal]

Also laut Geizhals sind es rund 350€ Brutto, wären netto ca. 300€. Gebraucht ist eher schwierig und bringt mir preislich auch nicht wirklich was, da ich vom Nettopreis ausgehe (muss auch dieses Jahr noch gekauft werden, also keine Zeit, auf ein passendes Angebot zu warten).

- - - Updated - - -


Das sagt mir leider nichts. Was hat das denn für Vorteile gegenüber dem Cisco? Ich denke, ich hab eigentlich keine besonderen Anforderungen an den Switch. Bisher hat mir ein Netgear GS716T gereicht. Mir geht es nur darum, die Bandbreite zwischen Server und WS und Server und Switch zu erhöhen. Letzteres, da es um die Verteilung von Renderjobs geht (10 Rendernodes), also zB. wenn dann alle Rechner beim Starten gleichzeitig die Daten vom Server laden.
MikroTik scheint nur 15 Monate Garantie zu haben?
Bei dem Cisco fand ich auch die zwei zusätzlichen 10G-Ports nicht schlecht. Aber klar, sind auch rund 100€ mehr.


Das ginge schon, steht direkt unter dem Server. Was ist denn da der Vorteil? Ich hatte mich jetzt auf BASE-T beschränkt, da es mir einfacher erschien und die Kabel ja schon vorhanden sind.

- - - Updated - - -


Die sind momentan ganz normal per Onboard-1Gbit angeschlossen. Wie oben geschrieben, geht es mir darum, auch die Bandbreite zum Switch zu erhöhen, um den gleichzeitigen Zugriff aller Rechner auf den Server zu beschleunigen.

Wenns neu sein muss, nimm den CRS326, der hat auch 2 10G Ports, durch RouterOS mehr Features und einen geringeren Stromverbrauch als der Cisco SG250X.
Dazu ein DAC-Kabel für die Anbindung an den Server und nen 10GBase-T Transceiver, passenderweise auch von Mikrotik (S+RJ10).

 

[martingo]

Der Cisco hat nicht zwei 10G Ports zusätzlich. Der hat zwei Combo-Ports. Jeweils entweder SFP+ oder 10GBASE-T.

Der Vorteil von SFP+ mit DAC oder optischer Verbindung sind der geringere Stromverbrauch und weniger Abwärme. Der Vorteil von 10GBASE-T die von Dir schon genannte Weiternutzung bestehender Verkabelung. Es spricht nichts dagegen, zu mischen.

 

[Holt]

2x10gbit mit 8x1gbit (alles Kupfer) gibt’s doch ganz günstig ab ca. 189 Euro von ASUS: ASUS XG-U2008 Desktop Gigabit Switch ab Preisvergleich Geizhals Deutschland

Der ASUS unterstützt aber kein NBASE-T, welches aber immer mehr Verbreitung auf den Mainboards findet, von daher wäre der Netgear GS110 Desktop Gigabit Switch, 10x RJ-45 (GS110MX-100) für die meisten wohl interessanter, wobei aber zwei schnelle Ports sowieso eigentlich zu wenig sind.

Auch wenn man wie numerobis die Bandbreite der Anbindung des Servers zum Switch erhöhen möchte um mehr Clients eine bessere Anbindung zu ermöglichen, so bleibt da die Frage ob diese damit etwas anfangen können. Das hängt eben davon ab was der Server anbietet und wie er aufgebaut ist, so werden z.B. bei einem NAS mit HDDs die Transferraten bei parallelen Zugriffen mehrere Clients auf die gleiche Platte bzw. das gleiche RAID sowieso in den Keller gehen, da sich dann dauernd die Köpfe der HDDs auf die unterschiedlichen Positionen bewegen müssen. Anders ist es natürlich, wenn die Clients auf unterschiedliche Platten/RAID zugreifen oder man dem NAS gleich SSDs spendiert hat, dann dürfte die bessere Bandbreite auch wirklich genutzt werden können.

Wirklich interessant sind Switch für mehr als Gigabit eigentlich erst ab 4 schnellen Ports, eben weil man bei nur zwei Ports wirklich über die Alternative der Direktverbindung nachdenken sollte, die spart den Switch.

 

[martingo]

Vereinfacht aber die Konfiguration für den Laien. Ich persönlich würde mir auch keinen Switch mehr unter 4 SFP+ Ports kaufen. 2 Ports entweder als Alternative zur Direktverbindung oder zum Stacking.
Meine erste Wahl wäre der CRS328 weil die PoE Geräte doch mehr werden, aber der ist schon relativ groß und macht wahrscheinlich auch etwas mehr Verlust wenn kein Poe dran hängt. Lüfter ist auch recht deutlich hörbar.

 

[besterino]

Alles eine Frage des Bedarfs. Der TE will 2 Kisten mit 10G über Kupfer (ggf. möglichst günstig) ins ansonsten mit 1G betriebene Netz bringen. Dafür eignet sich der ASUS recht gut.

Ich würde mir den wohl auch nicht mehr zulegen, aber das liegt an meiner Verrücktheit und nicht daran, dass der verkehrt ist.