[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

@flyingjoker
Nein, LC geht bei Multimode bis 100GBE.

Das Problem ist, dass du dich mit dem LWL Kram nicht wirklich beschäftigt hast.
Das muss man aber leider und das leider noch sehr intensiv.

Ein 100GBASE-SR4 sieht 4 Fasern für Senden und 4 Fasern für Empfangen vor. Demzufolge kommst du mit LC nicht weit, da man da keine 8 Fasern unterbekommt. Die logische Konsequenz (siehe @java4ever) ist der MPO Stecker.
Es gibt aber sehr wohl QSFP28 mit LC für Multimode. Das ist aber kein offizieller IEEE Standard, es gibt aber Hersteller, die das machen. Das ist am Ende ein bidirectional. Neben einer nonIEEE non bidirectional Variante.
Weiterhin gibt es 2 IEEE standardisierte 100GBE Varianten, wobei eine eine bidirectional Lösung ist und die andere nicht.
Von letzterer gibt es noch eine nach IEEE short short Range Variante.
Daneben gibt es noch eine weitere 100GBE IEEE Variante, die 2 Sende und 2 Empfangsfasern hat. Also wie die erste, nur mit der Hälfte an benötigten Fasern. Diese ist dann wieder MPO.
Halten wir also fest, es gibt für QSFP28 5 IEEE-Standards und min. 2 nonIEEE-Standards um 100GBE auf Multimode und LC zu machen.
Wären also schonmal min. 7 Varianten. Die alle nicht mit einander kompatible sind.
Es bringt also nichts zu sagen, dass man 100GBE über LC MM machen möchte. Man muss da leider sehr präzise sein, das wird insbesondere beim Auswahl der Geräte und deren Transceiver interessant.
Der unter anderem 100GBASE-SR1 hat dabei die Chance, dass er sich auf auf dem SFP112 durchsetzt.
Das ist also wie 10GBE, nur mit 100GBE Speed, wenn man so will.
Analog SFP28 und SFP56.

Zu dem ArubaCX 8325, kann ich die Aussage von @java4ever nur unterstützen.
Wenn es schon an sowas einfachem wir SFPs scheitert, wirds echt ne Hausnummer. Der Aruba kann sehr viel, wirklich sehr viel. Da holt man sich dann entsprechende Hilfe bei einem Integrator. Dem kann man ja gerne über die Schulter schauen. Aber so aus dem Trockenen? Ich weiß ja nicht. Zumal das ja scheinbar ein Core werden soll. Da sollte man schon wissen, was man tut, scheint ja wohl wichtig zu sein.

Wir haben blad ne 3 stellige Anzahl an 8320 im Einsatz. Wir waren early adapter, wir haben da also einen langen Weg hinter uns. Man muss echt wissen, was man da tut, ansonsten tut sich da gar nix. Das ist aber bei jedem Gerät dieser Klasse so. Das sind keine CU Accessswitche.
Für SFPs empfiehlt sich der Aruba SFP Guide.
Ja ich und mein Kollege haben das als Aufgabe, wir haben aber noch einen externen den wir uns zu Hilfe holen können.
Ich bin für alle Tipps dankbar.
In den vorherigen Betrieben hat Kupfer mit 10 Gigabit gereicht.
Aber jetzt mit Ceph 6 Node Cluster und Proxmox Cluster und HA kommen wir mit 2 Server Räumen an die Grenzen.
Ich lese mich da seit Dezember rein.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Man kann bei so einem Netzwerkdesign echt scheiße bauen, ich spreche da aus Erfahrung. Wir rollen 20 Jahre Netzwerk auf. Alles hat seien Zeit. Aber das wird irgendwann nicht mehr zeitgemäß, das geht nur durch zuschauen von ganz alleine.
Wer ist denn der Externe? Ist das ne "Nulpe" oder weiß der, wie man Netzwerk macht, also so richtig im Bereich Datacenter und HA-Computing?
Gerade im Bereich Cluster, HA und Co. sehe ich da echt ne Baustelle.

Ich würde ehrlich gesagt an sowas die Computacenter, Bechtle oder nen anderen zertifzierten Aruba Reseller rantreten. Die verkaufen einem nicht nur Geräte, sondern machen auch Beratung und die Integration.
Der Spaß fängt schon bei der Auswahl des richtigen Releasetrain der Firmware an.
Heutige Switche muss man regelmäßig updaten, weil der Softwarestack so groß ist. Dazu muss der Aufbau, gerade im Clusterkontext entsprechend robust sein, damit man das machen kann.
Daher mein wirklich gut gemeinter Rat, holt euch entsprechende Hilfe von Leuten, die die Geräte, die Software und das Featureset kennen, also wirklich kennen, nicht nur vom Datenblatt, sondern auch aus der Praxis.

PS: Nimm mal den fullquote raus, das kostet nur Ressourcen.

EDIT:
Ich ja, solche externe Hilfe kostet Geld, mitunter richtig Geld. Aber man kann bei sowas auch sehr viel Lehrgeld zahlen. Die Frage ist, welche Zahl dabei größer ist.
 
Zuletzt bearbeitet:
Es gibt da leider noch sehr viel anderes, auch proprietäre Lösungen. Gefühlt gibts das auch mit Gardena, weil sich da echt jeder anderes ausgedacht hat, in den letzten 10 Jahren.
Ja, waren auch nur Beispiele für die häufigsten Transceiver die man so findet (100GBase-SR4, 100GBase-CWDM4, 100GBase-SWDM4 - alles andere wie 100GBase-LR oÄ wird dann schon deutlich seltener)

Aber jetzt mit Ceph 6 Node Cluster und Proxmox Cluster und HA kommen wir mit 2 Server Räumen an die Grenzen.
Ich lese mich da seit Dezember rein.
Nur Einlesen hilft leider nicht. Nehmt euch bitte bitte jemanden an die Hand, der sowas wirklich regelmäßig macht (und nicht nur irgendwelche Pseudo-Zertifizierungen hat und dann Copy&Paste irgendwelche Standarddesigns deployed...)

Mal ganz davon abgesehen, dass insgesamt 2 Switche für 2 Serverräume direkt zu wenig sind (also einer pro Serverraum), da gibt's ja dann keinerlei Redundanz (ich gehe zumindest mal davon aus, dass bei eurer derzeitigen Planung jeder Node nur mit einem Switch verbunden werden würde)
 
Ja, waren auch nur Beispiele für die häufigsten Transceiver die man so findet (100GBase-SR4, 100GBase-CWDM4, 100GBase-SWDM4 - alles andere wie 100GBase-LR oÄ wird dann schon deutlich seltener)


Nur Einlesen hilft leider nicht. Nehmt euch bitte bitte jemanden an die Hand, der sowas wirklich regelmäßig macht (und nicht nur irgendwelche Pseudo-Zertifizierungen hat und dann Copy&Paste irgendwelche Standarddesigns deployed...)

Mal ganz davon abgesehen, dass insgesamt 2 Switche für 2 Serverräume direkt zu wenig sind (also einer pro Serverraum), da gibt's ja dann keinerlei Redundanz (ich gehe zumindest mal davon aus, dass bei eurer derzeitigen Planung jeder Node nur mit einem Switch verbunden werden würde)
Die Redundanz sind die Server Räume.
Wenn einer ausfällt ist der andere da.
Ich glaube ich muss das mal aufmalen
 
Um beim letzten Absatz von @java4ever einzuklinken.
Wir haben nicht so viele Switche weil wir soviele Ports brauchen. Das ist primäre Redundanz und Segmentierung. (nicht im Sinne von IPs oder VLANs)

Du kannst das gerne aufmalen, das wird dadurch aber nicht besser.
Wenn wir in so nem Konstrukt anfangen, geht für eine Workload X unter 2 Switches pro Serverraum nichts, also so gar nichts, eher sinds 3 oder 4, je nach Konzept und Vorbebauung.

Und ja, wir fahren alles über zwei K-Fall sichere Datacenter, machmal sogar 4.
 
Mehr als 2 ToR Switch pro Rack sieht man eher selten, bzw. nur bei Spezial-Workloads (das schließt auch ein dass du so viele Sachen im Rack hast, dass zwei Switche nicht genug Ports haben :d)

Üblich sind mindestens 3 Switche pro Rack: 2x ToR (Top-Of-Rack) + 1x Management / Out of Band.

Jeder Server wird mit beiden ToR gleichzeitig verbunden um Redundanz sicherzustellen. Wie die Redundanz dann konkret aussieht ist noch ne andere Sachen, da gibts viele Wege (bspw. die ToR Switche im MLAG Verbund und von den Servern aus LACP, alternativ EVPN-VXLAN, LACP von den Servern aus und die ToR Switche machen EVPN-MH oder alternativ die schöne Lösung und einen reinen Layer 3 fabric und ECMP...)
 
Ich sprach vom Raum, nicht vom Rack.
Es gibt btw. nicht nur ToR. ;)

EDIT:
Aber auf eins kann man sich einige. Bezogen auf die Workload ist ein Switch pro Raum zu wenig. Außer das dient nur dem Spielen oder ist ne QS Stage.

2ndEDIT:
@flyingjoker
Wenn das mehr als nur ne Spielwiese ist, nimm bitte den Rat von @java4ever und mir an.
Das ist nicht böse gemeint.
Wenn man seriös arbeitet, dann weiß man, wo seine Grenzen liegen. Egal wie sehr man Profi ist oder meint. Jeder hat seine Grenze. Diese sollte man ohne eigene Befindlichkeiten oder falschen Stolz erkennen und auch gegenüber dem Chef klarmachen.
Die Konsequenz daraus ist, dass man sich dann entsprechend Hilfe holt.
Wenn der Chef sagt, das ist mir alles egal, ich will dafür keine Kohle investieren, weder in externe Unterstützung noch in die Bildung der Mitarbeiter, dann würde ich mir das schriftlich geben lassen.

Man unterstellt mir hier ja gerne den Besserwisser, Neunmalklug oder sonstwas.
Und ja, ich weiß ne Menge, aber eben nicht alles. Dazu ist die Welt er IT einfach zu groß, also wirklich groß., daher gibt es auch so viele Spezialisierungen. Und die Konsequenz daraus ist, dass ich/wir regelmäßig mit Beratern und Unterstützern arbeite, eben weil man nicht alles wissen kann.
Und bevor ich irgendeinen Scheiß zusammenbaue, weil ich weiß, dass ich keine Ahnung habe, lasse ich das (persönlich).
Das ist professionelles Arbeiten. Alles andere ist ein Egoproblem. (auch wenn ich dir damit ggf. zu nahe trete)
 
Zuletzt bearbeitet:
Und die Konsequenz daraus ist, dass ich/wir regelmäßig mit Beratern und Unterstützern arbeite, eben weil man nicht alles wissen kann
Ja, wir auch, das ist keine Schande, eher im Gegenteil - es soll funktionieren, da hängt ja am Ende eine Menge dann.
Als wir unser Switch Cluster (DELL XXXX-ON 48 Port 10 Gbit irgendwas) erst wieder tauschen mussten, war auch ein Dienstleister da, der die uns wieder so eingerichtet hat, dass das ordnungsgemäß funktioniert. Da fummeln wir auch nicht dran herum. Wir wissen, wie wir neue VLANS anlegen können und (vorher) die Configs sichern, und das war es im Grunde, mehr machen wir nicht.

Bei dem neuen Switch Cluster für den Backupraum wird es genauso sein.
 
Unser externer Dienstleister hat öfter schon für andere Firmen LWL Switche verbaut und Firewalls eingerichtet.
Wie weit er Zertifiziert ist weiß ich nicht.
Meine Glasfaser Kenntnisse sind 25 Jahre alt und seit dem nur mit Kupfer gearbeitet.
Ich merke schon LWL ist eine ganz andere Welt.
Ich bin hier in einer kleinen Firma die Server und Netzwerkstruktur aufzuräumen, die haben vorher versucht eine Redundanz mit DRBD zu gewährleisten was aber nicht funktioniert hat.
Im Netzwerk habe ich schon 2 Loops entfernt und die Pseudo DMZ zu einer richtigen DMZ gemacht.
Ich habe nicht erwartet das Glasfaser so eine große Nummer ist, ich dachte das ist ähnlich wie Kupfer.
Ich habe auch schon ein paar Bildungszentren angefragt ob sie in LWL schulen, aber ich finde nur welche wie man LWL Spleißen und Grundlagen lernen kann.
Aber das was ich brauche habe ich noch nicht gefunden.
Gibt es eine Möglichkeit wo man so einen Lehrgang machen kann?

Was halten Ihr von den Kompatiblen Transceiver?

Es ist geplant das jeder Switch in Serverraum 1 und Serverraum 2 (20m Entfernung) an den JL624A angeschlossen wird mit QSFP28.
Die Switche sind JL586A, damit werden die Drucker und PCs usw. mit Kupfer angeschlossen.
Die Server werden in jedem Raum an die JL624A angeschlossen.
die JL624A sind mit 3x QSFTP28 direkt verbunden.
In jedem Serverraum sind 7 Server.
Derzeit läuft alles über 10 Gigabit Kupfer.
Wenn ein Serverraum nicht läuft, was schon passiert ist, übernimmt der andere und die meisten merken davon nicht mal was.

Und derzeit läuft es noch viel schlimmer als es eigentlich laufen müsste.
Die Firma ist klein aber bereit alles besser und stabiler und sicherer zu machen.
Ich bin Kritik verträglich und mag Besserwisser, auch wenn Ihr sagt das ist eine Nummer zu groß für mich, möchte ich zumindest die Zusammenhänge verstehen um nicht später übers Ohr gehauen zu werden.
Ich bin sehr Dankbar über eure Beiträge, mühe und Tipps.
 
Zuletzt bearbeitet:
Wie gesagt, du kommst mit 2 Switches einfach nicht hin, wenn man es richtig machen will.
Wenn ein Switch ausfällt, dann steht der Raum auch mal für ne Woche. Ist das euer Redundanzkonzept?
Switche sind das billigste Glied in dem Konstrukt und daran soll gespart werden?
Das wäre so, als wenn du dir nen Luxusurlaub gönnst, aber jeden Morgen zum Penny rübergehst, 2 Brötchen und ne Packung Billigsalami einsackst.

Ihr werdet an der Infrastruktur regelmäßig Wartungsarbeiten durchführen und das willst du sorgenfrei machen und das beißt sich mit 2 Switches.
Die Firma ist klein aber bereit alles besser und stabiler und sicherer zu machen.
Dann fangt damit an, dass du und/oder dein(e) Kollege(n ) 1Monat durchgängig auf Schulung geh(s)t.
Ihr seid im Moment keinen Schritt weiter, was die Kultur von IT angeht.
Da müsst ihr ansetzen und das fängt damit an, dass man dem Mitarbeiter Wissen in den Kopf pumpt.
Das ist die Basis für alles.
Ihr könnt da noch 20mio EUR reinfahren, sofern ihr nicht wisst, was ihr da tut, sind die nichts wert.

PS: Ob der SFP kompatibel ist, wird sich zeigen. Denn so einfach ist das nicht mit der Kompatibilität.
Aber auch MPO ist eine Baustelle für sich. Es gibt nämlich 3 verschiedene MPO Kabel. Weiterhin solltest du dir die Preise von solchen Kabel mal anschauen.
Ggf. ist der "845972-B21" die bessere Wahl. Der SFP ist freilich teurer, dafür könnt ihr aber ggf. vorhandenen Kabel einfach so weiterverwenden. Vom Handling her ist der aber quasi wie alle bisherigen LWL-Kabel auch. Ihr erkauft euch mit dem Mehrpreis also weniger Schmerzen.
 
Nur mal eine Geschichte aus dem wahren Leben: wir hatten in zwei Standorten (jeweils 2x Knoten-Kanten-redundant angebunden) je schön redundant 2 fette Cisco Gateways/Router, die dummerweise den gleichen Fehler in einer neuen Firmware hatten, alle relativ kurz hintereinander vom Dienstleister upgedated wurden und dann irgendwann hübsch gleichzeitig ausgefallen sind... im Detail ist Redundanz 'ne Bitch ...
 
@besterino kommt mir bekannt vor ^^ Wenns mal richtig dumm laeuft, dann fliegt oft komisches Zeug auseinander was man gar nicht auf dem Schirm hatte.
Ich finds immer wieder interessant, wie vA im Homelab Bereich so halbgar 'redundant' gebaut wird. Da kommt ohne Ende Komplexitaet ins System, was am Ende keiner mehr flicken kann.
Und sobald ne kleinigkeit passiert faellt der ganze Haufen auseinander.. :d
 
Nur mal eine Geschichte aus dem wahren Leben:
Sowas gibt es immer wieder. Wir haben auch Fälle, wo die Switche nachm Reboot nicht wiedergekommen sind. Wenn man dann so nen Patchday hat, überlegt man sich, ob man wie man das staget oder einfach stumpf alles gleichzeitig auskippt.
Das sind aber Sachen die man mitunter nicht beeinflussen kann. Aber anderes kann man beeinflussen.
 
@p4n0: Ey, mein Homelab hat ne bessere Uptime als alle Unternehmen, die ich bisher selbst erleben durfte! :d Und die wenigen Wartungsfenster liegen für mich regelmäßig megagünstig! ;)
 
Nur mal eine Geschichte aus dem wahren Leben: wir hatten in zwei Standorten (jeweils 2x Knoten-Kanten-redundant angebunden) je schön redundant 2 fette Cisco Gateways/Router, die dummerweise den gleichen Fehler in einer neuen Firmware hatten, alle relativ kurz hintereinander vom Dienstleister upgedated wurden und dann irgendwann hübsch gleichzeitig ausgefallen sind... im Detail ist Redundanz 'ne Bitch ...
Genau aus dem Grund baut man das mit verschiedenen Herstellern und NICHT als MC-LAG/mit proprietären Stacks, sondern, wie schon von @java4ever vorgeschlagen, als EVPN Fabric, ausser man spricht direkt BGP bis in die Container/Orchestrierung hinein, aber das glaub ich hier in dem Fall nicht.

Als zweiten Hersteller könntet ihr euch zB Arista anschauen.

Und bevor mir jetzt underclocker zuvor kommt: lass die Planung und Umsetzung besser von einem Dienstleister machen: Computacenter wurde ja schon genannt, bei Axians, Controlware, Syserso und HCD sollen auch fähige Network Engineers sitzen, hab ich gehört.
 
Zuletzt bearbeitet:
War ne komplexere Geschichte mit Kombination aus recht dicken Internet-Gateways (2x2Gbit) und Standort-zu-Standort mehrere hunderte km Punkt-zu-Punkt (2x10Gbit) - so wirklich tief steckte ich da in den Details aber nicht drin. Hab nur furchtbar über die Dämlichkeit von Cisco, Dienstleister und der Prozesse geflucht, das am Ende a) blöde / buggy Firmwares zum Einsatz kamen (kann man aber ja nie ausschließen) und b) alle Geräte in engem zeitlichen Zusammenhang upgedated wurden (vielleicht aber sogar mussten, weil die sonst nicht mehr miteinander gespielt hätten - keine Ahnung). Am Ende hatte der Dienstleister (übrigens ein wirklich GROSSER) halt das kommerzielle Problem, weil er eben die zugesicherten Verfügbarkeiten gerissen hat... was aber die Mannschaft in der Situation nur bedingt tröstet...

Wie underclocker schon schrieb: es kann immer irgendwas schiefgehen, 100% gibt's nicht.
 
Wobei EVPN Interoperabilität jetzt such nicht immer so das gelbe vom Ei ist 😂 Besonders Juniper hat die Angewohnheit, Standards auf sehr eigenwillige Weise zu interpretieren.
Ja, deshalb vorher vom Dienstleister, der das schon zich mal bei Kunden umgesetzt hat, vorab erklären und testen lassen. Is ja nich so als hätten die keine eigenen Labs dafür.

Zufällig Juniper QFX gemeint gewesen ?
 
Man kann den nehmen. Aber nur nen SFP verlinkten und zu fragen, ob der gut ist, ist zu kurz gesprungen.
Was heißt denn "gut"? Es gibt für sowas Gründe und auch dagegen.
Ich habe MPO aktuell verbannt, weil das hier keinen Sinn macht und die Komplexität unnötig erhöht. Das ist auf diese eine Situation bezogen. Andere machen/sehen das anders.

Für Schulungen wendest du dich am besten an entsprechende Stellen:
Beispiele (es gibt noch weitere)
Und ja, das kostet Geld.
 
So ne klassische Arista Level 1 Schulung oder CCNA wäre ein guter Anfang.

Ich selbst halte mich von Aruba und HP Netzwerkkram möglichst weit fern.. aber das ist Geschmackssache.
 
Man darf aber nicht vergessen, dass ArubaOS-CX nichts mit dem ProcurveOS bzw. ArubaOS oder dem ComwareOS zu tun hat.
Gerade bei letzterem darf man nicht vergessen, dass noch von 3Com stammt, das hat also ein paar Dekaden auf dem Buckel. (das ist erstmal nichts schlechtes)

Das AOS-CX ist nen komplett neuer Softwarestack. Der kann vieles, also wirklich vieles. Wenn man da mit AFC anfängt, dann wird es echt spannend. Das Keyfeatures für uns ist das Netedit. Damit nehmen wir Configanpassungen egal welcher Tiefe im laufenden Betrieb vor und stellen damit Konsistenz sicher. Da scheitern andere Hersteller schon beim Erweitern einer LACP....
Mit modernen Plattformen kommt aber ein regelmäßiges Patchen mit, ganz zwangsläufig. Das ist fast schon wie Windows Patchen, hatte ich oben schonmal erwähnt.
Kannst ja mal im ASP nachschauen, was die Firmwarezyklen eines beliebigen Majorreleases angeht.
 
Ist zwar schon lange OT hier, aber: Chef der Networking Division bei HPE wurde nach der Akquirierung der CEO von Juniper, also doch eher andesrum :fresse: (wobei ich bis jetzt von den Access Switchen von HPE/Aruba auch nie enttäuscht wurde).
 
Das sollte man sich nochmal überlegen.
Du bekommst nämlich bei Aruba ggf. keinen Support, also auch keine Firmware, wenn die Dinger nicht direkt von Aruba zertifiziert sind.

Wenn wir nen Problem haben, machen wir direkt nen Supportcase bei Aruba auf. Ist etwas defekt, kommt morgen direkt der UPS Mann mit dem Ersatzteil (bis hin zum ganzen Switch) von Aruba. Dieses Spiel geht glaube 5 Jahren bis nach EOL, ohne auch nur einen Cent zu zahlen.

Wie war das nochmal mit dem "wir wollen alles besser machen"
Mich düngt, dass das hier eher Lippenbekenntnisse sind. Gilt ja auch für die Consumer SSDs in einem Storagecluster.
Wirklich angekommen sind unsere Messages scheinbar noch nicht.
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh