[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

[flyingjoker]

@flyingjoker
Nein, LC geht bei Multimode bis 100GBE.

Das Problem ist, dass du dich mit dem LWL Kram nicht wirklich beschäftigt hast.
Das muss man aber leider und das leider noch sehr intensiv.

Ein 100GBASE-SR4 sieht 4 Fasern für Senden und 4 Fasern für Empfangen vor. Demzufolge kommst du mit LC nicht weit, da man da keine 8 Fasern unterbekommt. Die logische Konsequenz (siehe @java4ever) ist der MPO Stecker.
Es gibt aber sehr wohl QSFP28 mit LC für Multimode. Das ist aber kein offizieller IEEE Standard, es gibt aber Hersteller, die das machen. Das ist am Ende ein bidirectional. Neben einer nonIEEE non bidirectional Variante.
Weiterhin gibt es 2 IEEE standardisierte 100GBE Varianten, wobei eine eine bidirectional Lösung ist und die andere nicht.
Von letzterer gibt es noch eine nach IEEE short short Range Variante.
Daneben gibt es noch eine weitere 100GBE IEEE Variante, die 2 Sende und 2 Empfangsfasern hat. Also wie die erste, nur mit der Hälfte an benötigten Fasern. Diese ist dann wieder MPO.
Halten wir also fest, es gibt für QSFP28 5 IEEE-Standards und min. 2 nonIEEE-Standards um 100GBE auf Multimode und LC zu machen.
Wären also schonmal min. 7 Varianten. Die alle nicht mit einander kompatible sind.
Es bringt also nichts zu sagen, dass man 100GBE über LC MM machen möchte. Man muss da leider sehr präzise sein, das wird insbesondere beim Auswahl der Geräte und deren Transceiver interessant.
Der unter anderem 100GBASE-SR1 hat dabei die Chance, dass er sich auf auf dem SFP112 durchsetzt.
Das ist also wie 10GBE, nur mit 100GBE Speed, wenn man so will.
Analog SFP28 und SFP56.

Zu dem ArubaCX 8325, kann ich die Aussage von @java4ever nur unterstützen.
Wenn es schon an sowas einfachem wir SFPs scheitert, wirds echt ne Hausnummer. Der Aruba kann sehr viel, wirklich sehr viel. Da holt man sich dann entsprechende Hilfe bei einem Integrator. Dem kann man ja gerne über die Schulter schauen. Aber so aus dem Trockenen? Ich weiß ja nicht. Zumal das ja scheinbar ein Core werden soll. Da sollte man schon wissen, was man tut, scheint ja wohl wichtig zu sein.

Wir haben blad ne 3 stellige Anzahl an 8320 im Einsatz. Wir waren early adapter, wir haben da also einen langen Weg hinter uns. Man muss echt wissen, was man da tut, ansonsten tut sich da gar nix. Das ist aber bei jedem Gerät dieser Klasse so. Das sind keine CU Accessswitche.
Für SFPs empfiehlt sich der Aruba SFP Guide.

https://arubanetworking.hpe.com/techdocs/Switches/xcvrs/PDF/AOS-S%20and%20AOS-CX%20Transceiver%20Guide.pdf

Ja ich und mein Kollege haben das als Aufgabe, wir haben aber noch einen externen den wir uns zu Hilfe holen können.
Ich bin für alle Tipps dankbar.
In den vorherigen Betrieben hat Kupfer mit 10 Gigabit gereicht.
Aber jetzt mit Ceph 6 Node Cluster und Proxmox Cluster und HA kommen wir mit 2 Server Räumen an die Grenzen.
Ich lese mich da seit Dezember rein.

 

[underclocker2k4]

Man kann bei so einem Netzwerkdesign echt scheiße bauen, ich spreche da aus Erfahrung. Wir rollen 20 Jahre Netzwerk auf. Alles hat seien Zeit. Aber das wird irgendwann nicht mehr zeitgemäß, das geht nur durch zuschauen von ganz alleine.
Wer ist denn der Externe? Ist das ne "Nulpe" oder weiß der, wie man Netzwerk macht, also so richtig im Bereich Datacenter und HA-Computing?
Gerade im Bereich Cluster, HA und Co. sehe ich da echt ne Baustelle.

Ich würde ehrlich gesagt an sowas die Computacenter, Bechtle oder nen anderen zertifzierten Aruba Reseller rantreten. Die verkaufen einem nicht nur Geräte, sondern machen auch Beratung und die Integration.
Der Spaß fängt schon bei der Auswahl des richtigen Releasetrain der Firmware an.
Heutige Switche muss man regelmäßig updaten, weil der Softwarestack so groß ist. Dazu muss der Aufbau, gerade im Clusterkontext entsprechend robust sein, damit man das machen kann.
Daher mein wirklich gut gemeinter Rat, holt euch entsprechende Hilfe von Leuten, die die Geräte, die Software und das Featureset kennen, also wirklich kennen, nicht nur vom Datenblatt, sondern auch aus der Praxis.

PS: Nimm mal den fullquote raus, das kostet nur Ressourcen.

EDIT:
Ich ja, solche externe Hilfe kostet Geld, mitunter richtig Geld. Aber man kann bei sowas auch sehr viel Lehrgeld zahlen. Die Frage ist, welche Zahl dabei größer ist.

 

[java4ever]

Es gibt da leider noch sehr viel anderes, auch proprietäre Lösungen. Gefühlt gibts das auch mit Gardena, weil sich da echt jeder anderes ausgedacht hat, in den letzten 10 Jahren.

Ja, waren auch nur Beispiele für die häufigsten Transceiver die man so findet (100GBase-SR4, 100GBase-CWDM4, 100GBase-SWDM4 - alles andere wie 100GBase-LR oÄ wird dann schon deutlich seltener)

Aber jetzt mit Ceph 6 Node Cluster und Proxmox Cluster und HA kommen wir mit 2 Server Räumen an die Grenzen.
Ich lese mich da seit Dezember rein.

Nur Einlesen hilft leider nicht. Nehmt euch bitte bitte jemanden an die Hand, der sowas wirklich regelmäßig macht (und nicht nur irgendwelche Pseudo-Zertifizierungen hat und dann Copy&Paste irgendwelche Standarddesigns deployed...)

Mal ganz davon abgesehen, dass insgesamt 2 Switche für 2 Serverräume direkt zu wenig sind (also einer pro Serverraum), da gibt's ja dann keinerlei Redundanz (ich gehe zumindest mal davon aus, dass bei eurer derzeitigen Planung jeder Node nur mit einem Switch verbunden werden würde)

 

[flyingjoker]

Ja, waren auch nur Beispiele für die häufigsten Transceiver die man so findet (100GBase-SR4, 100GBase-CWDM4, 100GBase-SWDM4 - alles andere wie 100GBase-LR oÄ wird dann schon deutlich seltener)


Nur Einlesen hilft leider nicht. Nehmt euch bitte bitte jemanden an die Hand, der sowas wirklich regelmäßig macht (und nicht nur irgendwelche Pseudo-Zertifizierungen hat und dann Copy&Paste irgendwelche Standarddesigns deployed...)

Mal ganz davon abgesehen, dass insgesamt 2 Switche für 2 Serverräume direkt zu wenig sind (also einer pro Serverraum), da gibt's ja dann keinerlei Redundanz (ich gehe zumindest mal davon aus, dass bei eurer derzeitigen Planung jeder Node nur mit einem Switch verbunden werden würde)

Die Redundanz sind die Server Räume.
Wenn einer ausfällt ist der andere da.
Ich glaube ich muss das mal aufmalen

 

[java4ever]

Oh weia.

 

[underclocker2k4]

Um beim letzten Absatz von @java4ever einzuklinken.
Wir haben nicht so viele Switche weil wir soviele Ports brauchen. Das ist primäre Redundanz und Segmentierung. (nicht im Sinne von IPs oder VLANs)

Du kannst das gerne aufmalen, das wird dadurch aber nicht besser.
Wenn wir in so nem Konstrukt anfangen, geht für eine Workload X unter 2 Switches pro Serverraum nichts, also so gar nichts, eher sinds 3 oder 4, je nach Konzept und Vorbebauung.

Und ja, wir fahren alles über zwei K-Fall sichere Datacenter, machmal sogar 4.

 

[java4ever]

Mehr als 2 ToR Switch pro Rack sieht man eher selten, bzw. nur bei Spezial-Workloads (das schließt auch ein dass du so viele Sachen im Rack hast, dass zwei Switche nicht genug Ports haben )

Üblich sind mindestens 3 Switche pro Rack: 2x ToR (Top-Of-Rack) + 1x Management / Out of Band.

Jeder Server wird mit beiden ToR gleichzeitig verbunden um Redundanz sicherzustellen. Wie die Redundanz dann konkret aussieht ist noch ne andere Sachen, da gibts viele Wege (bspw. die ToR Switche im MLAG Verbund und von den Servern aus LACP, alternativ EVPN-VXLAN, LACP von den Servern aus und die ToR Switche machen EVPN-MH oder alternativ die schöne Lösung und einen reinen Layer 3 fabric und ECMP...)

 

[underclocker2k4]

Ich sprach vom Raum, nicht vom Rack.
Es gibt btw. nicht nur ToR.

EDIT:
Aber auf eins kann man sich einige. Bezogen auf die Workload ist ein Switch pro Raum zu wenig. Außer das dient nur dem Spielen oder ist ne QS Stage.

2ndEDIT:
@flyingjoker
Wenn das mehr als nur ne Spielwiese ist, nimm bitte den Rat von @java4ever und mir an.
Das ist nicht böse gemeint.
Wenn man seriös arbeitet, dann weiß man, wo seine Grenzen liegen. Egal wie sehr man Profi ist oder meint. Jeder hat seine Grenze. Diese sollte man ohne eigene Befindlichkeiten oder falschen Stolz erkennen und auch gegenüber dem Chef klarmachen.
Die Konsequenz daraus ist, dass man sich dann entsprechend Hilfe holt.
Wenn der Chef sagt, das ist mir alles egal, ich will dafür keine Kohle investieren, weder in externe Unterstützung noch in die Bildung der Mitarbeiter, dann würde ich mir das schriftlich geben lassen.

Man unterstellt mir hier ja gerne den Besserwisser, Neunmalklug oder sonstwas.
Und ja, ich weiß ne Menge, aber eben nicht alles. Dazu ist die Welt er IT einfach zu groß, also wirklich groß., daher gibt es auch so viele Spezialisierungen. Und die Konsequenz daraus ist, dass ich/wir regelmäßig mit Beratern und Unterstützern arbeite, eben weil man nicht alles wissen kann.
Und bevor ich irgendeinen Scheiß zusammenbaue, weil ich weiß, dass ich keine Ahnung habe, lasse ich das (persönlich).
Das ist professionelles Arbeiten. Alles andere ist ein Egoproblem. (auch wenn ich dir damit ggf. zu nahe trete)

 

[Luckysh0t]

Und die Konsequenz daraus ist, dass ich/wir regelmäßig mit Beratern und Unterstützern arbeite, eben weil man nicht alles wissen kann

Ja, wir auch, das ist keine Schande, eher im Gegenteil - es soll funktionieren, da hängt ja am Ende eine Menge dann.
Als wir unser Switch Cluster (DELL XXXX-ON 48 Port 10 Gbit irgendwas) erst wieder tauschen mussten, war auch ein Dienstleister da, der die uns wieder so eingerichtet hat, dass das ordnungsgemäß funktioniert. Da fummeln wir auch nicht dran herum. Wir wissen, wie wir neue VLANS anlegen können und (vorher) die Configs sichern, und das war es im Grunde, mehr machen wir nicht.

Bei dem neuen Switch Cluster für den Backupraum wird es genauso sein.