[Sammelthread] Der 100Gbit Netzwerk Thread, ein bisschen 40gbit und „beyond“ ;)

[littledevil]

Nicht 2x 40 Gbit. Also 2 karte d.h. in jedes gerät eine. Schnitt pc ist mit windows 10
RDMA kenne ich gar nicht. Wenn das nix kostet unter windows, dann gern auch so.
Der server dient nur diesem zweck also eine art slave. Wollte gern storage und arbeiten getrennt haben. Extrem datenlastige zwischenrenderings laufen eh lokal.
Für andere sachen hab ich unraid.

Verbrauchen dual port karten mehr als single, wenn nur ein port belegt ist?
100G wäre glaube ich übertrieben, auch bzgl. Stromverbrauch.der x4 slot limitiert ja eh.
Kabel eind auch ne ecke teurer als bei qftp

Klappt das mit dem umflashen easy oder lieber die 10 eur mehr für ne fertige FCBT?

Das datenkabel ist das richtige?

Das wäre die dualport für den server

Gibt es fertige kabel von qsftp+ auf sftp+, um die anbindung an den 10G switch über die gleiche karte zu realisieren?

 

[besterino]

Aahh. Ok. Dachte 2x40 für Link Aggregation. Würde das an Deiner Stelle einfach ausprobieren.

 

[littledevil]

Aahh. Ok. Dachte 2x40 für Link Aggregation. Würde das an Deiner Stelle einfach ausprobieren.

Grundlegend passend die Komponenten? Habe bisher nur mit rj45 und kupfer gearbeitet.

 

[craxity]

@littledevil Die Komponenten passen zusammen. Aber beachte, dass die Karten low-profile-Blenden haben. Keine Ahnung, ob das für deine System passt.

Dir würden eigentlich zwei Karten mit je einem Port reichen. Wenn du wirklich mal einen zweiten Computer an den Server anschließen willst, musst du dann eine mit zwei Ports holen und die in den Server einbauen.

Wenn 20-30 Gb für dich ausreichend sind, wären 25-Gb-Karten vielleicht auch eine Option.

 

[littledevil]

Welche vorteile haben 25G karten? Sind die sparsamer 8der günstiger?

 

[JBBERLIN]

Günstiger als die momentane ConnectX-3 (Pro) 40 Gbit Serie gibt es gerade nichts was DC-grade Netzwerke angeht. Egal ob NICs oder Switche. Die sind ja auch schon seit Jahren EOL.

Aber ich sage mal gleich weil deine Anforderungen einer Eierlegenden Wohlmichsau gleichen wirst du bis auf Speedtests beim Real Life niemals durchgehend 30 Gbit mit deiner Config haben und
bei der Latenz die dir wichtig ist würde ich erstmal testen wie sich deine (Consumer?) SSDs verhalten ob die überhaupt in RealLife deine Anforderungen decken können. Sprich teste doch mal mit einer 1GBit und/oder einer vorhanden 10Gbit Karte wie deine Latenz sich verhält.

Auch was deine Anforderungen an den Stromverbrauch angeht ist es immer so eine Sache mit Hardware die eine Dekade alt ist und für den Rechenzentrumbetrieb konzipiert war auf einmal für Energiesparsame Homeuser wird dich wahrscheinlich enttäuschen.

Wir haben paar Film- & TV-Produktionsfirmen, auch kleine aber die setzen für den Videoschnitt ganz andere Konzepte an als du das vor hast.

Ja es gibt entweder fertige AOC oder DAC Kabel von QSFP+ auf SFP+ oder halt QSA Adapter.

 

[littledevil]

Wir haben paar Film- & TV-Produktionsfirmen, auch kleine aber die setzen für den Videoschnitt ganz andere Konzepte an als du das vor hast.

Was wäre da zu empfehlen?

Meine ssd sind schnell genug lokal. Da ist nicht der Flaschenhals.

Es ust ja kein 24/7 system. Wenn das ding an ist, wird gearbeitet und rann darf es auch etwas strom verbrauchen. Wenn es 300 eur mehr kostet eine neuere Generation einzusetzen, die vielleicht 5w pro system spart, kann sich das n7cht amortisieren.
Ist ja eher nebenberuflich d.h. das ding läuft ein paar tage im monat. Ich hatte auch überlegt das schnittsxstem dann mit TR oder epyc auszurüsten, aber das verbraucht dann 3her mehr und ich habe keine trennung von daten und arbeitssystem.

Aktuell läuft es ja lokal und der pc hat 2,5G, was sehr sparsam ist. Der switch braucht 2,5-5 w

 

[JBBERLIN]

Du ich kann nur sagen was unsere Kunden bei uns aus diesen Gewerken bestellen, die machen das aber auch Gewerblich.

Und die Lösungen sind unterschiedlich wie halt jeder Kunde es ist, aber der Grossteil setzt auf lokale NVME Raids entweder Highpoint oder halt Klassisch mit Broadcom 9x60-16i und U2 NVME wie den Micron 9300 Max.

Auch haben wir Kunden die super zufrieden mit Ihren Areca ARC-8050T3U-6 Thunderbolt Raid Boxen sind, welche mit den richtigen SAS SSDs die Thunderbolt3 Schnittstelle komplett ausreizen.

Aber auch haben wir Technikfreaks bei denen Geld keine Rolle spielt und sich ein QNAP TS-h1290FX mit 12x Optane 1,5TB U2 und 100Gbit NIC von uns liefern lassen.

Vor paar Jahren waren die QNAP TS-2888X auch ein Renner weil dort praktisch alles in einer Box zusammen kommt wie Ultraschnelle U2 NVME, schnelle SATA SSDs und grosse HDDs welche dann die Snapshots der Work Daten machen.

Was Stromsparmassnahmen betrifft fragst du mit mir leider den falschen, der einen eignen Stromzähler für seine Garage hat und einen mittleren dreistelligen Betrag monatlich für sein Hobby an den Energieversorger ausgibt.

 

[java4ever]

Mein Ami-Händler ist fies...

"Ja wir haben da einen Super-Sonderverkauf für Celestica DX010 (gelabelt als Plexxi PX-S3EQ). Du hast doch schon zwei von uns gekauft. Willst du noch mehr?"
"Was letzte Preis?"

Und dann folgte ein wirklich extrem guter Preis. So gut, dass selbst der AVR54 Bug, von dem die Switche leider betroffen sind, komplett egal ist.

Ok, also flux eine kleine Sammelbestellung Bestellung organisiert.


Der Clou: Ich hab mittlerweile eine sehr gut funktionierende Firmware für die Teile, die nicht SONiC, OcNOS oder Cumulus heißt

Oh und dazu gab es noch 4x 7050TX-72Q

Das 100G Lager eskaliert grade ein wenig. diverse SN2700, SN2410, DX010 und noch ein paar Exoten wie SN2010, Delta AGV424, Brocade ICX7650-48ZP und demnächst ein EX4300-48MP usw...

Ja, ich habe keinerlei Selbstkontrolle.

 

[sch4kal]

Was wären denn gute Preise für ein SN2700 oder ein SN2010

 

[java4ever]

Was wären denn gute Preise für ein SN2700 oder ein SN2010

Jeweils so um die 1k€ rum


Morgen kommen auch nochmal 4x ConnectX-6 Dx an. Wenn die taugen kauf ich nochmal 6 Stück vom selben Verkäufer zum sehr fairen Kurs

 

[java4ever]

...und nochmal 2 SN2010 aus UK für ~400 pro Switch geschossen. HILFE

 

[craxity]

@java4ever Blöde Frage: Nutzt du den Kram auch? Das sind ja alles Teile, die ich auch gerne hätte, aber ich könnte sie kaum sinnvoll nutzen. Was machst du alles damit?

 

[sch4kal]

...und nochmal 2 SN2010 aus UK für ~400 pro Switch geschossen. HILFE

Falls du doch einen davon abstoßen wollen solltest…

 

[java4ever]

@java4ever Blöde Frage: Nutzt du den Kram auch? Das sind ja alles Teile, die ich auch gerne hätte, aber ich könnte sie kaum sinnvoll nutzen. Was machst du alles damit?

Jau.

Temporäre deployments für Kunden (bspw. auf Veranstaltungen), Testsetups. Oder so Sachen wie demletzt auf der GPN (Gulaschprogrammiernacht): Pixelflut-Eskalation. Wo wir uns mal eben eigene Fibern gezogen haben weil das NOC der GPN unwillig war

 

[Robocop1981]

Guten morgen
ich würde gerne mal wissen was der aktuelle stand der Technik so ist zb. für bezahlbare (25) /40/50?/100gbit lan karten ?+ kabel für eine direkt-Verbindung ~20m
derzeit 2 Melonox connect x2 10G karten in Betrieb.

welcher Speed wäre zwischen 2 Windows 11 pro Clienten möglich ? (bei win 10 gab es doch so ein limit)

(elektrisch pcie3 x4 in beiden pc,s)

 

[andrer250282]

PCie 3x ist ja 1GByte\s pro Lane, also 4GByte\s Bandbreite möglich
Heißt 40gbit wäre das Maximum in den Slots.

Speziell Hardware kann ich allerdings mangels Erfahrungen keine empfehlen

 

[danielmayer]

40G-Karten sind tatsächlich vergleichsweise unwirtschaftlich. Das wären die entsprechenden Cx3- oder Intel Xl710-Karten mit Transceivern.
Während die 100G -Karten CX4 aufwärts nicht ganz geschenkt sind, sind passende Transceiver billiger als für 40G.

 

[craxity]

@Robocop1981 Ich habe hier noch zwei Connect-X3 CX354A und zwei Cisco QSFP-40G-CSR4-Transceiver, die ich nicht brauche.

 

[java4ever]

UNLIMITED POWEEEEEER

 

[soulreaver]

einer übertreibt immer

 

[besterino]

Da handelt doch einer mit den Dingern.

 

[underclocker2k4]

Nein, das sind Regalbeschwerer, damit es nicht weggeweht wird, wenn das Fenster offen ist.

 

[java4ever]

Da handelt doch einer mit den Dingern.

Nene, ich kaufe viel Kram und verkaufe immer mal obsoleten Kram um Platz zu schaffen, aber Handel ist das nicht

Tatsächlich war das ne Sammelbestellung aus USA, wo ich noch für ein paar andere Leute Kram mitbestellt hab (uA ein paar mehr dieser Switche und noch ein paar andere wie SX6036) und das zum Selbstkostenpreis ohne Gewinn weitergegeben hab.

 

[Haldi]

Auf den ersten Blick dachte ich das wäre in nem Rack drin und dachte schon du willst nenn12 Stockwerk Grossraumbüro damit befeuern ^^

 

[Shihatsu]

Wie sind eigentlich die "kleinen" aka SN2201? Die würd ich ja gern mal ausprobieren, aber dafür sind sie etwas.... "kostenintensiv"...

 

[java4ever]

Wie sind eigentlich die "kleinen" aka SN2201? Die würd ich ja gern mal ausprobieren, aber dafür sind sie etwas.... "kostenintensiv"...

Sind schöne Switche, aber ziemlich unobtanium... Ich weiß jetzt auch nicht, ob bei nem Gigabit Switch son Spectrum ASIC nicht ein wenig Perlen vor die Säue ist.

 

[Shihatsu]

"Perlen vor die Säue" ist wohl etwas untertrieben, aber hey, von dir kommend hat das noch mal nen ganz anderen Spin:

Spoiler

*scnr*

Also viel schwerer ranzukommen als an die "kleinen" großen Brüder? Thought so bei den Ebay- und Refurbisher PReisen.... Schade

 

[java4ever]

Also viel schwerer ranzukommen als an die "kleinen" großen Brüder? Thought so bei den Ebay- und Refurbisher PReisen.... Schade

Der SN2201 ist ziemlich Nische und dazu vergleichsweise neu... Das wird dauern bis man den gebraucht findet

 

[java4ever]

Ich mache wieder eine Sammelbestellung aus USA. Wer will: ein DX010 müsste all in inkl. Hermes Versand in Deutschland bei ca 210€ liegen - wer will entscheide sich bitte SCHNELL (spätestens morgen Abend)

Die DX010 sind Plexxi gelabelt (rote Frontplatte siehe oben), new in box (inkl Railkit) und kommen mit B0 CPU (-> ABR54 bug) ABER board level fix, sollten also ca 10 Jahre Dauerbetrieb durchhalten.

@besterino