T1700G-28TQ Stacking

[fdiskc2000]

Moin,

ich habe hier mittlerweile 2 T1700G-28TQ, je 1x v1 und v2.
Unterscheiden sich wie ich bisher sehe lediglich an der Farbe der Gui etwas und sind mit einem LWL verbunden. Funktioniert soweit auch alles, ich habe zwischen Keller (Server Rack) und 1. OG (Büro) eine funktionierende Verbindung.
Versuche ich allerdings die beiden als Stack zu konfigurieren habe ich zum einen keine Verbindung mehr zwischen den Stockwerken und Unit 2 (der v1 im Büro) meldet als Status "AuthFail".

Nun sollen sich die beiden Versionen nur in der Region unterscheiden, wo sie verkauft werden. Die deutsche TP-Link Seite redet nur vom V2, die internationale .com redet nur vom V1.
Jetzt wäre die Befürchtung, dass sich V1 und V2 nicht stacken lassen?!

Hat da jemand Erfahrungen mit eigenen Units? Also betreibt hier jemand erfolgreich einen Stack?
Rat wäre super, ich würde schon gerne alles zentral verwalten.

Danke für Euer Feedback und noch einen schönen Sonntag.

 

[fdiskc2000]

Keiner der 2 Geräte betreibt? Pumuckl wollte doch, oder?

 

[konfetti]

Wenn Du schon Unterschiede in der Gui hast, dürfte auch unterschiedliche Firmware-Versionen drauf sein.
Normal müssten alle die gleiche haben, sonst kann einer was, was der andere vlt. nicht kann.

Ist halt bei den meisten Herstellern so, das für ein ordentlichen Stack gleiche Firmware benötigt wird.
Meist gibts aber auch noch extra Stacking-Kabel - ob das über LWL überhaupt geht weis ich natürlich nicht bei den TP-Link. - und VSF werden die sicher noch nicht können...

 

[butcher1de]

Hast du inzwischen etwas erreichen können ? Ich habe das gleiche Problem bzw hatte eigentlich etwas anderes vor.

Ich habe auch 2 x T1700G-28TQ Switche und bin vom ESXI mit 2 x 10 GBE auf den Switch Port 25/26, dann bin ich mittels Glasfaser von Port 27/28 auf den Port 27/28 auf dem 2 ten T1700G-28TQ (1zu1 Verbindung). Dann war alles erstmal erledigt, kein Netz mehr da ... Fritz Boxen abgeschossen usw. Der Vigor 2925 hatte überlebt ^^

Mein Vorhaben war die beiden 10 GBE Leitungen vom Server über den Switch direkt auf den 2 ten Switch durchzuleiten. Der 2 te Switch ist komplett von den anderen Switchen im Gebäude getrennt.

Vorhaben: 7 Hoste gehen mit jeweils 1 GBE auf den Switch, der Switch leitet die RDP Zugriffe auf die Virtuellen Maschinen über 2 x 10 GBE Verbindungen zum Switch im Rack. Vom Switch im Rack gehen 2 x 10 GBE in den Server. Also quasi eine Weiterleitung vom Server auf den 2 ten Switch mit 2 x 10 GBE Leitungen. Geht das überhaupt so, wenn nicht wie bekomme ich die Durchleitung hin ?

 

[fdiskc2000]

Also zum Thema Stacking kann ich nur soviel beitragen:

laut Support soll es keine Probleme geben beim Stacking von V1 mit V2. Hinbekommen habe ich es dann aber leider doch nicht, die beiden wollen nicht miteinander reden. Mein Unterschied zur Doku: da wird immer von einem Ring gesprochen (war aber der Meinung auch Stern müsse gehen?). Also vom 27-1 -> 28-2 und danach vom 27-2 -> 28-1. Das habe ich mangels Kabel und Entfernung nicht mehr getestet. Könntest Du ja noch probieren. Ich habe das Thema mangels Zeit und auch ein wenig Frust auf unbestimmte Zeit verschoben.
Eventuell schaue ich mir das nochmal an, wenn mein neues Rack da ist und ich umgebaut habe. Laufen tut bei mir ja auch alles so, nur habe ich eben nicht beide Switches unter einer GUI vereint. Das war mein Ziel und daher eher "nice to have".

@butcher1de: wenn Du noch die Chance hast, versuch das mal mit der Ring-Config. Ich denke mal den Rest laut Doku mit einstellen -> reboot nacheinander und so hast Du bereits gemacht, oder?

Ich habe aktuell ganz stumpf Keller und Etage 1 (je 1 Switch) mit einem LWL-Kabel verbunden. Damit sehen sich beide Etagen untereinander und kommunizieren auch. Server sind unten an Switch1, Geräte oben an Switch 2. Zugriffe usw. laufen untereinander problemlos. Da macht der ESXI bei mir nichts. Ist auch nicht nötig. Zumal sonst ohne den ja keine Verbindungen da wären.

 

[butcher1de]

reboot nacheinander und so hast Du bereits gemacht, oder?

Natürlich nicht ^^

Ich schaue mir mal die Doku dazu an. Hast du deinen ESXI mit 10 GBE angebunden oder mit 1 GBE ? Ich werde beide Switche mal komplett resetten, da ich auch ums verecken bei Switch 1 nicht mehr das Stacking ausschalten kann (geht zwar aber die Gruppe bleibt bestehen), und ich nicht mehr auf den 2 ten Switch mit der eingestellten IP connecten kann (wohl durch das Stacking).

 

[fdiskc2000]

Meine ESXi sind die ML-Server. Beide sind Primär mit je 1x 10GBit am Switch1 und mit 2x 1Gbit als Fallback ebenfalls.

 

[konfetti]

@ butcher1de

Dein beschriebenes Problem klingt danach, das die Switche einen Loop gebaut haben und dadurch dann das Netz stirbt - funktioniert das denn, wenn nur 1 Link aktiv ist? - der 2te müsste fürs Stacking an sich ja erst mal uninteressant sein.
Je nach Beschaffenheit des Netzes, kann auch ein LACP/Etherchannel/Trunk, wie auch immer der Hersteller das nennt hilfreich sein (oder auch nicht supported - hatt ich bei den Aruba schon)

 

[fdiskc2000]

Also wenn nur die beiden "Netze" zwischen den Switches nicht kommunizieren war das bei mir das gleiche Bild, wenn Stacking nicht erfolgreich war. Innerhalb der jeweiligen Switches lief aber alles.

 

[konfetti]

...
2 x T1700G-28TQ Switche und bin vom ESXI mit 2 x 10 GBE auf den Switch Port 25/26, dann bin ich mittels Glasfaser von Port 27/28 auf den Port 27/28 auf dem 2 ten T1700G-28TQ (1zu1 Verbindung). Dann war alles erstmal erledigt, kein Netz mehr da ... Fritz Boxen abgeschossen usw. Der Vigor 2925 hatte überlebt

Ich meinen diesen Teil - rein physikalisch ist das ein Loop - ich kenn die Config nicht, aber ohne Spanning Tree passiert genau das! - Dann ist nicht nur die Verbindung zwischen den beiden gestört, sondern mit den Broadcast-Sturm werden auch alle anderen Geräte überfordert, bis diese quasi den Dienst einstellen.

-> daher die Frage, wenn nur 1 Link aktiv ist, gehts dann? - müsste ja eigentlich, da kein Loop vorhanden.
Am ESXi ist das kein Problem, da dieser ja kein LACP per default macht, bzw. das vSwitch dahinter als solches anders arbeitet.

Wenn 2 Netze auf den unterschiedlichen Switches (Switch A z.B. 192.168.0.X und Switch B 192.168.1.X) nicht kommunizieren können, ist es eher ein Routingproblem.

Ihr könnt ja mal die Config posten, vlt. hilfts?

 

[fdiskc2000]

Ne, gleiche IP Range bei mir. Daher schrieb ich auch "Netze" in Anführungszeichen. Gab nur keine Kommunikation mehr zwischen den Switches.

 

[butcher1de]

Ich meinen diesen Teil - rein physikalisch ist das ein Loop - ich kenn die Config nicht, aber ohne Spanning Tree passiert genau das! - Dann ist nicht nur die Verbindung zwischen den beiden gestört, sondern mit den Broadcast-Sturm werden auch alle anderen Geräte überfordert, bis diese quasi den Dienst einstellen.

Japps genau das ist passiert. Das ganze Netz ist zusammengebrochen...

Ich will ja überhaupt kein Stacking haben, sondern wir bei mir im ersten Beitrag beschrieben, quasi eine Direkte Leitung durch beide Switche auf den ESXI. Ich muss mich da mal richtig einlesen.

Ihr könnt ja mal die Config posten, vlt. hilfts?

Ich habe da bisher überhaupt nichts konfiguriert. Es sind auch die selben Netze kein Vlan nix....

Ich setze beide Switche mal zurück und schau mir dann in Ruhe das ganze (nach Einlesungen) wieder an.

 

[konfetti]

Also wenn nix konfiguriert ist, kann das aber definitiv ein Loop Problem sein, leider ist Spanning Tree nicht per default bei allen Herstellern aktiv

Ich verstehe nur nicht genau, was Du mit Direkte Leitung durch beide Switche auf den ESXi ?
1.) entweder, jeder ESX hat 1 Bein an jedem Switch und diese noch eine/zwei Leitung bei den Switches untereinander (würde man bei Ausfallsicherheit machen)
2.) der ESX hat 2 Anschlüsse an einem Switch und 2 weitere Leitungen gehen zum anderen Switch (erhöht die Bandbreite am Uplink, sofern das bei GigabitClients wirklich notwendig ist/der ESX auch die Performance liefert)

- sobald 2 zwischen 2 Switches redundante Leitungen verlegt werden, muss dies zwingend konfiguriert sein. - entweder per Spanning Tree, oder man fährt einen LACP/Etherchannel/Trunk drüber

Ohne Konfig führen die 2 Leitungen zwischen den Switches zum Loop - Gigabit is schon unlustig und schaukelt sich hoch, aber ich vermute im 10GE Netz gehts noch Schneller...

 

[butcher1de]

2.) der ESX hat 2 Anschlüsse an einem Switch und 2 weitere Leitungen gehen zum anderen Switch (erhöht die Bandbreite am Uplink, sofern das bei GigabitClients wirklich notwendig ist/der ESX auch die Performance liefert)

Japp so ist es eingerichtet.

Die Performance ist nicht das Problem. Storage ist eine MZPLK3T20 Samsung PM1725 Series 3.2TB TLC PCI Express 3.0 x8 NVMe HH-HL Add-in Card Solid State Drive (SSD) Form Factor: HHHL
CrystalDiskMark Default Maximal Unter Win 64 (1803) auf meinem TR4 System.
Die im ESXI ist im Moment Langsamer aber das hat sich mit dem Epyc System dann auch wieder erledigt.
Das kommt in der VM an ,

Von daher mache ich mir darüber jetzt keine Sorgen.

Momentan ist eine noch auf dem Backup ESXI (siehe meinem VK Thread der größere), und kommt später auf einem Dual Epyc System.



Ich möchte aber die Bandbreite nicht für die anderen Geräte freigeben, sondern nur die VM Zugriffe sollen über die 10/20 GBE Leitung laufen. Die anderen Rechner usw laufen auf getrennten HP Switchen und sind vom 2 ten Switch komplett getrennt. So ist zumindest mein Plan

Gigabit is schon unlustig und schaukelt sich hoch, aber ich vermute im 10GE Netz gehts noch Schneller...

Japp das ging sehr schnell.

Spanning Tree ist per Default aus auf den TP-LINK. Mein größtes Problem ist , das ich keinen Plan davon habe und ich mich erst einmal in die Materie einlesen muss.

 

[katzenhai]

der ESX hat 2 Anschlüsse an einem Switch und 2 weitere Leitungen gehen zum anderen Switch

Hier stellt sich die Frage ob alle Anschlüsse des ESX ein Trunk sind oder in getrennten vSwitchen enden.
Switchübergreifende Trunks können die wenigsten Switche, aber ich kenne keinen in der Preisklasse unter 5000 (fünftausend) Euronen die das beherrschen.
Also wenn ein Trunk, dann alle vier Anschlüsse des ESX an den ersten Switch und die Verbindung zum zweiten Switch als Trunk mit vier verbindungen.

 

[besterino]

Ne, ich glaub er will das ja mit den 10GBE Leitungen machen (also vom ESXi über Switch 1 zu Switch 2), davon hat der TP-Link nur 4.

ESXi>=====<Switch 1>======<Switch 2

Ich würde dafür versuchen an Switch 1 zwei Trunks mit je 2x10GBE Ports zu bauen:

Switch 1 Trunk 1 „endet“ am ESXi wo natürlich ebenfalls zwei 10GBE-Ports im Trunk konfiguriert sind.

Switch 1 Trunk 2 „endet“ am Switch 2, wo dann wiederum die entsprechenden Ports als Trunk definiert sind.

Wichtig dabei: Trunk-Konfig auf den Switches und im ESXi vor dem Stecken der (jeweils 2.) physischen Verbindung machen! Sonst haste im Zweifelsfall einen Loop gepatched und nichts geht mehr...

Müsste so jedenfalls ganz normal ohne Stacking & Co. funktionieren, dass der ESXi in beiden Switches theoretisch mit 2x10GBE erreichbar ist. Die real erreichbare Performance ist da ja immer eher schwer vorherzusehen.

 

[butcher1de]

@besterino Genau so wie du es aufgezeigt hast will ich es machen. Ich fahre heute Abend mal in die Firma und teste das. Wie lange bist du Wach ....

 

[besterino]

Wach ist nicht das Problem... eher mangelndes Know How.

Für meine Zwecke reichte bisher immer eine einfache 10Gbit-Strecke und mit dem Thema Portbündelung habe ich daher noch nicht wirklich beschäftigt. Wenn mir 10Gbit nicht mehr reichen würde, würde ich dann wohl auch eher über 40/100Gbit nachdenken („I know I‘m stupid, I keep it simple.“).

 

[butcher1de]

Mir reichen ja auch 10 Gbit aber das halt 2 mal (Redundanz). Koppeln will ich die ja gar nicht, sondern nur direkt durchverbinden.

Hier stellt sich die Frage ob alle Anschlüsse des ESX ein Trunk sind oder in getrennten vSwitchen enden.

Auf die VSwitche wird es wohl hinauslaufen, denke ich ?

 

[konfetti]

das von Katzenhai hab ich nicht verstanden...

also, als 1stes ist es Wichtig das die Verbindung zwischen den beiden Switchen als Channel/trunk/wieauchimmer das bei TP-Link heist konfiguriert ist.
Spanning Tree hat halt leider den Umschalt-Nachteil 30sec. Learning, 30sec. waiting, 30sec doing - entweder aktiv-schalten oder blocken <- Worst Case 90 Sekunden... - kann man mit RSTP (Rapid Spaning Tree) beschleunigen, ist aber immer noch nicht das gelbe vom Ei.

Der Channel hat die Möglichkeit, eben Lastverteilung und Redundanz zu bringen, idealerweise über 2 verschiedene Wege - aber (!) 2x 10GB sind nicht gleich 20GB. - sondern eben nur 2x 10GB, aber Du sagtest ja, es geht um die Redundanz.

Am ESX würde ich nichts konfigurieren. - sofern die 2 10G Interfaces an einem vSwitch ankommen, an dem die VMs hängen, passt das doch, hier kann man dann auswählen, wie er mit den beiden aktiven Verbindungen arbeiten soll.
RoundRobin/Active-Passiv/Active-Active.... - ich hab das meist auf RoundRobin gelassen, wegen der Lastverteilung. (also egal ob 4x 1GBit oder 2x 10Gbit)

@butcher1de - Das wichtigste ist also Deine Config auf den Switches - und zwar auf beiden! - erstmal 1 Link zwischen beiden aufbauen, dann konfigurieren, dann den 2ten dazustecken. - Dann kannste auch gleich den Ausfall einer Leitung wieder simulieren

Bei Cisco is es übrigens ein Etherchannel - bei HP/Aruba LACP und bei Dell müsste ich nochmal gucken ^^
Der Trunk is bei Cisco und HP/Aruba nämlich das, worüber mehr als ein VLAN laufen... - so eigentlich auch die Definition...

 

[Luckysh0t]

Aber für eine Redundanz wäre der Aufbau von
ESXi>=====<Switch 1>======<Switch 2
doch falsch ?


ESXi1>-------<Switch 1>-----
ESXi1>-------<Switch 2>-----

Ist das nicht eher eine Redundanz ?

Oben fällt Switch1 aus und alles ist weg, unten übernimmt Switch2 und alles läuft weiter.

 

[katzenhai]

Der Aufbau mit Redundanz von Switchen wie Z.B. [ESX vSwitch1 Port1]>---<Swtich1>---Switch2>---<[ESX cSwitch1 Port2] funktioniert nur, wenn Switch1 und Switch2 switchübergreifendes Trunking beherschen.
Dieses Feature beherrschen aber nur sehr wenige extrem teure Switche die es alle nicht in der SOHO Preisklasse gibt. Aus diesen Grund setzen wir in unseren Rechenzentrum auf Arbeit modulare Switche ein um Redundanz zu erreichen.

 

[butcher1de]

@Luckysh0t Nicht die Switche an sich sollen Redundant laufen sondern die beiden 10 GBE Leitungen.
@Katzenhai Dann wird das so wie geplant nicht mit den TP-Link Switchen funktionieren, denn die können das mit Sicherheit nicht.

Kann ich das über vSwitche realisieren ? Oder geht das nicht weil es ja dann auch wieder von Switch zu Switch geht?

Alternative gehe ich direkt von Switch 2 in den ESXI und als Backup Leitung mit 2 GBE auf den ersten Switch (Server Rack). Dann werden die 10 GBE Ports Vom Server Rack Switch nicht benutzt.

Die Lösung würde ich aber als nicht so Toll bezeichnen.

 

[konfetti]

Der Aufbau mit Redundanz von Switchen wie Z.B. [ESX vSwitch1 Port1]>---<Swtich1>---Switch2>---<[ESX cSwitch1 Port2] funktioniert nur, wenn Switch1 und Switch2 switchübergreifendes Trunking beherschen.
Dieses Feature beherrschen aber nur sehr wenige extrem teure Switche die es alle nicht in der SOHO Preisklasse gibt. Aus diesen Grund setzen wir in unseren Rechenzentrum auf Arbeit modulare Switche ein um Redundanz zu erreichen.

WAS?
Wenn zwischen Switch 1 und 2 eine Verbindung besteht und der ESX an jedem Switch 1 Beinchen hat, muss man dem ESX garnicht als Trunk per vsf über die Switche legen, dann nimmt man einfach die Round-Robin Methode.
Das macht der ESX im übrigen per default. - für die Switche ist der ESX nämlich kein weiteres Switch auf dem dann Loops entstehen, sondern ein Endgerät, hinter dem noch weitere MACs/IPs/Geräte kommen, ähnlich einer Firewall.

Ich kenn ja den physikalischen Aufbau nicht, aber wenn die Möglichkeit besteht, eines der beiden ESX 10G Interfaces über die selbe LWL-Strecke, die für die Switche verwendet wird, zu gehen, wäre das in Sachen Ausfallsicherheit schon eher ein Zugewinn.

@butcher1de, skizziere doch mal kurz den Aufbau (vlt. als Grafik, nicht in ASCII) wo steht welcher Switch, welche Kabelwege gibt es dazwischen und wie soll das aufgebaut sein.
vorallem, wo brauchst Du wieviele 10G-Ports? - wenn Du von Haus aus 2 am 2ten Switch brauchst und auf eine Redundanz zwischen den Switches verzichten kannst, ist das auch kein Problem

der vSwitch vom ESX hat damit garnichts zu tun!

 

[besterino]

Du kannst in einem vSwitch auch sowas wie failover konfigurieren, wenn es um Redundanz geht. Das heißt, du verkabelst vom ESXi direkt 1xSwitch1 und 1xSwitch2, und setzt einen Link im vSwitch auf aktiv und einen auf Standby. Fällt Switch 1 an Link 1 aus, schaltet ESXi den Link 2 zu Switch 2 scharf (und ggf. je nach Config wieder zurück, wenn Link1 wieder da ist).

Ich hab das so aus Bequemlichkeit/Lautstärke/Stromsparmodell: normalerweise reicht mir eine Direktverbindung zwischen ESXi Server 1 + 2. Will ich noch ein paar andere Kisten „schnell“ anbinden, werfe ich halt den 10Gbit-Switch an und beide ESXi schalten dann automatisch auf die Links zum Switch um (und auch wieder zurück, wenn ich den Switch wieder ausmache).

Ich hab das vor dem Hintergrund aber nur auf physische Erkennungs-Merkmale (Link Up/Down) getestet.

Dann gibts auch noch sowas wie vlans, mit denen man ggf. einen Loop zumindest verhindern könnte. Die Möglichkeiten sind vielfältig.

 

[butcher1de]

Das Problem ist gelöst.

Der erste Fehler war (Broadcast Storm) ich hatte eine 1 GBit Verbindung zwischen den Switchen übersehen, bzw aus versehen das Backup Kabel mit eingesteckt.

Heute kam endlich das Austausch Board an und nach Umsetzung des ESXI kamen die Switche dran. Erst einmal wurden beide Switche auf setup default gesetzt.

Dann alle Kabel ab und nur 1 Gbit dran um die Switche zu konfigurieren.

1: Spanning tree enabled. 1 x 10 Gbit kein Problem 2 x 10 Gbit .............. Monitor level_4 CPU RISING THRESHOLD: Total CPU Utilization is 90%.
2: Spanning tree disabled. 1 x 10 Gbit kein Problem 2 x 10 Gbit .............. Monitor level_4 CPU RISING THRESHOLD: Total CPU Utilization is 90%.
3: LACP eingestellt ging erstmal nicht. Immer wieder Fehler Meldung Out of Range...... Ich dachte nur WTF ????
4: Google ist ein guter Freund Configuring multiple LACP groups on a TP-LINK switch | ITworld
5: LACP mit Admin Key auf 2 (1 ist schon vom Switch benutzt)

1/0/27 2 32768 Active Enable LAG 2
1/0/28 2 32768 Active Enable LAG 2

Läuft !
6: ESXI dazugeschaltet Läuft wie Schmitz Katze ;-) Server Schrank Switch 25/26 ist der ESXI und 27/28 die Switch direkt Verbindung.

Link Aggregation und LACP Grundlagen – Thomas-Krenn-Wiki

PS: Spanning Tree muss bei LACP zwingend ausgeschaltet sein, sonst siehe 1.....

LACP ist mit ESXI ab V6 kein Problem.

 

[besterino]

Sehr gut und gratzi.