niklasschaefer
Experte
Zum Glück wart ihr zwei schneller sonst hätte ich schon zuschlagen müssen 😂😂😂
[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)
- Ersteller besterino
- Erstellt am
Da melde mich mal ganz vorsichtig Interesse an!
Um nochmal ein bisschen anzufüttern:
Konkret geht es um 2x Edge Core AS7716-32X - Das sind relativ seltene Switche, die soweit ich weiß hauptsächlich bei ein paar Hyperscalern zum Einsatz kamen. Im Gegensatz zu dem Bruder AS7712-32X und Celestica DX010 hat dieser Switch keine Atom Control Plane, sondern eine Broadwell Xeon-D, hat also definitiv keinen AVR54 bug und ein bisschen mehr Dampf als die Atoms.
Die Switche sind Pluribus gelabelt (Pluribus Freedom 9532-C Switch) und SoNIC kompatibel
Da ich für einen guten Preis an Mellanox SN2700 gekommen bin, werde ich mich wahrscheinlich relativ zeitnah (irgendwann in den nächsten zwei Monaten) von beiden trennen. Preismäßig muss ich mir noch Gedanken machen, aber ich denke es wird unter 4-stellig bleiben
So.
Der SN2700 ist da. Das Flashen von Cumulus auf MLNX-OS war ein wenig holprig, aber jetzt läuft alles soweit.
Das Ding braucht erschreckend wenig Strom, 55W im IDLE (nix verbunden, nur mgmt) nachdem die Lüfter sich drosseln, während die Lüfter ein bisschen höher drehen ca. 60W
Der SN2700 ist da. Das Flashen von Cumulus auf MLNX-OS war ein wenig holprig, aber jetzt läuft alles soweit.
Das Ding braucht erschreckend wenig Strom, 55W im IDLE (nix verbunden, nur mgmt) nachdem die Lüfter sich drosseln, während die Lüfter ein bisschen höher drehen ca. 60W
besterino
Legende
Na dann warte ich doch mal auf das Angebot. 
Also SN2700 hat der Verkäufer noch, 1650CHF Netto + 90CHF Versand + dann Einfuhrumsatzsteuer (Versand könnte man ggf. aber auch über ein eigenes FedEx Konto oÄ abwickeln, der VK hat mit der Post geschickt, das hat ewig gedauert und die Post möchte das dann auch gerne bei Zustellung passend in Bar haben)Na dann warte ich doch mal auf das Angebot.
Was die erwähnten Whitebox Switche angeht, da muss ich noch ein, zwei Experimente mit fertigstellen. Dann melde ich mich.
Ich habe heute übrigens nach über einem Jahr frickeln und mit Hilfe eines Retail Spenders für EEPROM Daten ein Engineering Sample Mellanox SB7700 (36x100G Infiniband) wiederbelebt.
Nachdem ich im laufenden Betrieb mit abgeschraubtem Kühlkörper In-Circuit flashing betrieben habe und mich stundenlang durch Mellanox binaries reverse engineered habe, kam ich dann bei der letzten Hürde an.
Ich hatte nämlich leider ein EEPROM beim Kopieren vergessen... Nämlich das FRU EEPROM. Ein kleines, 4kbit Ding (24LC32), das sich irgendwo versteckt hat. Ich habe es irgendwo auf dem Board mal gesehen, aber keine weitere Beachtung geschenkt.
Stellt sich raus: Auf diesem FRU EEPROM, welches extrem wichtig ist, denn es sagt dem Switch, welches Modell er überhaupt ist, war absoluter Müll. Hier waren nämlich Daten von einem SX6036 drauf. Wie die da drauf gekommen sind? Ich habe keine Ahnung.
Aber dass das nicht funktionieren kann ist klar. Vermutlich hauptsächlich, weil SX6036 = PowerPC und SB7700 = x86 und da sicherlich durch den Generationenwechsel ganz viele I²C Adressen und son Kram anders sind.
Anyway: Jetzt habe ich zwei SB7700
...obwohl ich ja eigentlich alles auf RoCE migrieren wollte. So viel zum Thema.
Nachdem ich im laufenden Betrieb mit abgeschraubtem Kühlkörper In-Circuit flashing betrieben habe und mich stundenlang durch Mellanox binaries reverse engineered habe, kam ich dann bei der letzten Hürde an.
Ich hatte nämlich leider ein EEPROM beim Kopieren vergessen... Nämlich das FRU EEPROM. Ein kleines, 4kbit Ding (24LC32), das sich irgendwo versteckt hat. Ich habe es irgendwo auf dem Board mal gesehen, aber keine weitere Beachtung geschenkt.
Stellt sich raus: Auf diesem FRU EEPROM, welches extrem wichtig ist, denn es sagt dem Switch, welches Modell er überhaupt ist, war absoluter Müll. Hier waren nämlich Daten von einem SX6036 drauf. Wie die da drauf gekommen sind? Ich habe keine Ahnung.
Aber dass das nicht funktionieren kann ist klar. Vermutlich hauptsächlich, weil SX6036 = PowerPC und SB7700 = x86 und da sicherlich durch den Generationenwechsel ganz viele I²C Adressen und son Kram anders sind.
Anyway: Jetzt habe ich zwei SB7700
...obwohl ich ja eigentlich alles auf RoCE migrieren wollte. So viel zum Thema.
Wie heisst das dass es noch einen 2700er zu kaufen gibt für 1650 CHF + Versand und Steuer ?
Mein letzter Stand ist, dass diese Firma aus der Schweiz noch ca. 10 SN2700 hat und bereit ist diese für 1650CHF pro Stück Netto abzugeben, ja.
PN ist raus.So lange man Onyx draufbekommt wäre das perfekt! Na dann würde ich gern wenn du die Firmendaten zur Verfügung stellst einen nehmen. Vor allem weil ich ja gestern meinen MSX1710 bei eBay reingestellt habe
So sah es übrigens noch vor kurzem hinten am Rack aus, aktuell ist die Verkabelung im Gange.
1x SN2700 32x100G Eth
1x SB7700 36x100G IB
2x ICX7450-48 48x1G 4x10G 2x40G
besterino
Legende
Ich würde auch 'ne "PN" nehmen... zumindest mal zum Gucken.
Kauf lieber meinen WhiteboxIch würde auch 'ne "PN" nehmen... zumindest mal zum Gucken.
Aber ja, kriegst PNbesterino
Legende
Mach mir'n Angebot, das ich nicht ablehnen kann. ;D Ich brauch echt nur'n billo 100gbit Switch der aber möglichst flexibel nutzbar wäre (Infiniband wie auch RoCE(2) usw.).
?
Gibt's nicht. VPI gibt's ab 100GBit nicht mehr. Entweder Ethernet oder Infiniband, aber beided in einem Switch gibt's nicht.
besterino
Legende
Ach schau an. Wie blöd, da müsste ich ja wissen, was ich will!?
Blöde Hersteller, die sowas erwarten.
Blöde Hersteller, die sowas erwarten.
besterino
Legende
Nicht aus Spaß, sondern...? "Wer länger hat, lässt schleifen?" Hach, ich wünschte, ich hätte Connections in irgendwelche RZ, die 100gbit Switche wegen "zu lahm" o.ä. ausmustern...
Hach, ich wünschte, ich hätte Connections in irgendwelche RZ, die 100gbit Switche wegen "zu lahm" o.ä. ausmustern...Ja also wenn du welche hast, sag Bescheid. Würd ich auch nehmen.
besterino
Legende
Bin in der absolut verkehrten Branche dafür unterwegs. Mal abgesehen 2x10Gbit Knoten/Kante-redundanten Strecken zwischen Standorten, reicht im Zweifel für alles hier 'n 10mbit Klingeldraht (es sei denn, ich werf' Netflix & Co. an).
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
Heya, wenn ich einen CRS326-24S+2Q+RM mit einem Server verbinden will via der QSFP anbinden will, unter Linux oder BSD (TrueNAS halt), für das Heimnetzwerk, ist da die Mellanox ConnectX-3 Pro CX314A nach wie vor die Karte der Wahl? Die gibt es ja unglaublich günstig in der Bucht...
underclocker2k4
Mr. Alzheimer
Naja, es gibt natürlich schon bessere NICs, nur nicht für den Preis eines Restaurantbesuches.
Man sollte bei der Nummer nicht vergessen, dass die NIC so um die 10W braucht. Und damit ca. 2x soviel wie eine vergleichbare 10GBE NIC.
Weiterhin sind die -LR4 Transceiver mit 3-4W nicht besonders sparsam. (im Vergleich zu 10GBE natürlich per Gb/s besser, aber nur, wenn man das auch nutzt)
Bei einem DAC natürlich weniger relevant, sollte man aber im Hinterkopf behalten, je nach Netzstruktur.
Man sollte bei der Nummer nicht vergessen, dass die NIC so um die 10W braucht. Und damit ca. 2x soviel wie eine vergleichbare 10GBE NIC.
Weiterhin sind die -LR4 Transceiver mit 3-4W nicht besonders sparsam. (im Vergleich zu 10GBE natürlich per Gb/s besser, aber nur, wenn man das auch nutzt)
Bei einem DAC natürlich weniger relevant, sollte man aber im Hinterkopf behalten, je nach Netzstruktur.
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
Als DAC wollte ich auf das XQ+DA0001 setzen. Würde zusammen halt um die 120 Steine kommen, die Konkurrenz sprengt das deutlichst.
Alternative ist halt die XL710, die aber gebraucht deutlich teurer ist und vermutlich auch gefälscht wird...
Alternative ist halt die XL710, die aber gebraucht deutlich teurer ist und vermutlich auch gefälscht wird...
underclocker2k4
Mr. Alzheimer
Wie gesagt, preislich führt da ka fast kein Weg dran vorbei. Wenn man nicht gerade die neusten NIC Features braucht, machen neuere NICs aus der Sicht ja auch keinen Sinn. Ggf. nochmal beim Kabel überlegen, ob man nicht direkt das 3m nimmt. Später ärgert man sich, wenn man den Rechner mal irgendwie es absetzen will. Kommt natürlich auch die mech. Struktur des Ganzen an.
Von daher, Attacke!
Sicherlich interessant, was der Strom sowohl auf der Rechner- als auf der Switchseite macht.
Von daher, Attacke!
Sicherlich interessant, was der Strom sowohl auf der Rechner- als auf der Switchseite macht.
Bzzz
Enthusiast
Aus der iuppiter-Newsletter (manche aus dem 10GbE-Thread erinnern sich):
Das ist eigentlich an gewerbliche Abnehmer gerichtet, aber wenn ein paar zusammenkommen, versenden die auch an Normalos. Nettopreis, ich glaub die Holländer sind bei 21% Märchensteuer, ne? Versand lag bei ~20€.
Das ist eigentlich an gewerbliche Abnehmer gerichtet, aber wenn ein paar zusammenkommen, versenden die auch an Normalos. Nettopreis, ich glaub die Holländer sind bei 21% Märchensteuer, ne? Versand lag bei ~20€.
Shihatsu
Legende
- Mitglied seit
- 16.08.2005
- Beiträge
- 5.014
Sodele, Gerät da und eingebaut, aber!
Für vernünftige IOMMU Unterstützung braucht es akteullen Treiber, der braucht aktuelle Firmware und das Ding ist leider HP branded - ich mach mich gleich mal auf die Suche, aber meine Zeit für sowas ist zumindest dieses WE sehr knapp, daher hier die Frage:
Hat jemand einen guten Crossflash Guide unter Linux zur Hand? Auf den ersten Blick find ich lauter batch files...
Da gibt's quasi nix zu beachten.
Passende Firmware von der Mellanox Seite ziehen (https://network.nvidia.com/support/firmware/connectx3proib/, ich würde MCX354A-FCCT nehmen, dann haste direkt Infiniband support zusätzlich statt nur Ethernet),
Dann
Code:
mst start
flint -d /dev/mst/<hier PCIe Pfad der Karte> -i ./<Pfad der Firmware> -allow_psid_change burnKiste neu starten, fertig (die ConnectX-3 können leider kein anständiges mlxfwreset, deswegen Kiste neu starten)
danielmayer
Enthusiast
- Mitglied seit
- 30.03.2005
- Beiträge
- 1.010
Davon abgesehen findet sich ein Link für einen schmalen crossflash (cx4) auf der ersten Seite...
Wo bleiben die Berichte der vielen sn2700? Ich bin doch so gespannt!
Wo bleiben die Berichte der vielen sn2700? Ich bin doch so gespannt!
Also meine sind da und laufen, wie die SN2100
Ich habe festgestellt: Mellanox SwitchX und SwitchX-2 unterstützen keine ACLs auf VLAN interfaces... Das Kommando ist seit 3.6.5000 da (3.6.8012 ist die höchste version für SwitchX), aber für SwitchX und SwitchX-2 nicht aktiviert. Geht erst ab Spectrum. Probiert mit SX6036 und SX6710..
Muss mir evtl. doch mal zwei SN2700 zum Spielen kaufen. Vllt dann wenn ich die AS7716-32X mal verkauft habe?