[Sammelthread] Server Zubehör Sammelthread (m.2-Adapter, Performance, Kompatibilität...)

[Consti]

Moin Leute,
Ich lese schon länger hier im Bord mit, habe mich allerdings jetzt erst registriert.
Ich brauche eure Hilfe bei der Zusammenstellung des Hardware-updates für meinen Server.

Wichtig ist mir, das der Server mindestens 40GB/s im Netzwerk schafft und dass nicht nur für die Übertragung von 10 GB …heißt also ein Raid 0 mit den schön günstigen SM961 NVME SSD´s ist geplant damit die 40GB Netzwerk auch WIRKLICH ausgelastet werden! Stromfresser Nummer 1 sollte der Server auch nicht sein und irgendwie 32 kerne im CPU sind völlig überflüssig. Primär soll der Server Daten aufnehmen, abspeichern (ein paar sata Ports dürfen es auch sein) und im Netzwerk zur Verfügung stellen. Mehr nicht. das dann aber auch schön fix.
Der Server steht 1,5 entfernt in einem anderen Raum (Loch in der Wand für die Kabel…) und mein Desktop wird auch mit 40GB/s ausgestattet und NVME Raid 0 dafür waren dann die schön günstigen teile angedacht: mellanox 40gb | eBay. Ein kurzes Kabel dazu und fertig oder nicht?

In meinem Server(Windows Server 2012) habe ich aktuell das Bord: ASRock Rack > C2750D4I
Hier also leider nur 1x Pcie vorhanden…wird also schwer 40GB/s auszulasten
Und im meinem Desktop das hier: ASRock > Z87 Extreme6 und hier leider wohl?? Keine Möglichkeit bifurcation einzusetzen. Das neuste biosupdate zeigt mir keine Möglichkeit Pcie 4x4x4x4 für die Asus Hypercard….

Ich hoffe ihr könnt mir helfen achja….im Lotto habe ich nicht gewonnen
LG
Consti

PS: davon steht noch nix fest, sonder das habe ich mir alles so grob im Kopf und mit google zusammengebaut.

 

[Trambahner]

Kleiner Tipp: Vergiss 40Gbit bei dieser Hardware-Konstellation im Desktop und Server. Erst recht, wenn reguläres Windows Home/Pro im Desktop dabei ist. Im 100Gbit-Thread haben ein paar Foristen hier schon Erfahrung machen müssen/dürfen, wie schwer es ist brauchbare Raten deutlich oberhalb von 1Gbyte/s zu bekommen.
Nur von der ausgehandelten Link-Geschwindigkeit hast Du erstmal nicht viel.

Den Atom als Server kannst Du da auch knicken, der bringt nicht andeutungsweise genug CPU-Power.
Für Raten oberhalb 2 Gbyte/s brauchst Du RDMA fähige Karten, Betriebssysteme und Treiber.

Abgesehen davon, warum muss der Desktop diese hohen Raten können? Hast Du überhaupt Software, die das ausnutzen kann? Über längeren Zeitraum? Dann läufst Du als nächstes Gefahr, dass Dir SSDs der Consumer-Klasse einbrechen, wenn Du da lange "draufdonnerst". Diese Teile sind nämlich nicht konzipiert, lange Dauerbelastung beim Schreiben zu durchzuhalten.
Von einem Raid0 in einem Server grundsätzlich mal ganz abgesehen...

 

[Consti]

Hey, danke für deine fixe Antwort!

Es geht primär darum größere Datenmengen von meinem Desktop auf den Server zu schieben und das möglichst einfach mit Windows bordmitteln also dem Explorer.
Aktuell Bündel ich halt meine zwei 1GB Katen zu 2Gbit/s und erreich damit saubere 225MB/s Übertragung zum Server. Mein Ziel ist es diese 225MB/s mindestens zu verzehnfachen und dafür suche ich geeignete Mainboards die bifurcation und damit ein NVME Raid 0 ermöglichen. Damit sollten doch dann solche Datenraten möglich sein oder etwa nicht und ja, mag sein da ich da etwas blauäugig rangehe

Und am besten wir fragen nicht warum ich es brauche, sondern welche Hardware dafür möglich ist.
Und ich glaube du hast es etwas zu groß dimensioniert was ich vorhabe. es geht „einfach“ darum, dass wenn ich Daten auf den Server spiele dies dann auch fix geht. Da können mal 100GB sein oder „nur“ 40GB oder mal 300GB.
LG

 

[besterino]

Dein Server wird vermutlich die 40gbit nicht packen - schon nicht weil der PCIE-Slot nur 2.0 x8 ist - der liefert maximal 8x5GBit/s, von den rechnerisch theoretisch möglichen 40gbit dürften da in der realen Welt best case wohl eher so ca. 30-35gbit netto bei der NIC rauskommen. Dann ist das auch noch ein Atom, keine Ahnung wie da die Performance pro Kern ausschaut.

Der Rest hängt dann von der Übertragungsart ab, insbesondere ob das Übertragungsprotokoll mehrere Streams parallel aufmachen kann oder nicht und das Multi-Core funktioniert. Das hängt wiederum auch vom eingesetzten OS rechts und links vom Kabel ab.

 

[Consti]

hey besterino danke für deinen Beitrag!
ich habe vorhin dein 100GB Thread durchvorstet und mir sind viele unbekannte Wörter aufgefallen
Also um das vielleicht ins richtige Licht zu rücken, mir ist bewusst, dass ich mit meinem aktuellen Server Bord diese Geschwindigkeit nicht ausfahren kann. Genau deswegen bin ich ja hier. Ich suche ein Bord für meinen Server mit dem ich die 40Gbit schaffe und das zudem dann die Möglichkeit hat über den NVME Raid auch diese 40Gbit zu verarbeiten.

Am liebsten wäre mir Windows da ich nur damit Erfahrungen habe.

 

[danielmayer]

Puh, C2750? habe ich hier auch noch rumliegen, soll als Backup Mal eingerichtet werden. Ich würde aber auch den eher auf 10Gbit setzen, 1,1GB/sek sind ja schon nicht zu verachten. Das Board wird eher die Probleme haben, die Speed auf die SATA umzusetzen, aus meiner Erfahrung. ... in ein paar Wochen kann ich 10/40Gbit gerne Mal testen, aber kurzfristig wird das nix.

edit: für das Asrock C2750 habe ich ein bifurcation BIOS. Dann sind 2 PCIex4 verfügbar.

 

[Ceiber3]

Da bleibt doch nur AMD EPYC von den Lanes her, vielleicht auch X299 und größer..
Vielleicht geht auch ein AMD Threadripper dafür, weiß nicht wie es da um ECC usw steht.

Ich frag mich aber noch immer wofür 40 Gbit gut sein soll. 10 Gbit ist gerade in kommen im Mainstream Berreich, alle anderen sind Firmen oder Rechenzentren. Die meisten haben noch 1 Gbit Lan.
Selbst wenn du schnelle NVME nutzt, was erhofst du dir davon ? NVME SSDs die bezahlbar sind, sind klein vom Speicher, Max 4 TB und die sind schon recht teuer.
Ich schiebe hier rund 60TB über eine 10G Lan verbindung und komme damit gut klar.

 

[Consti]

hi danielmayer
ich sehe gerade dass ich beim Kopieren über das beschriebene Netzwerk beim Desktop 35% CPU Last habe und im Server ca. 20% bei 225MB/s...hier muss also was passieren. meine NVME´s langweilen sich natürlich bei dem Speed

Stimmt 1,1GB/s sind nicht zu verachten aber ich habe mich in den letzten Tagen damit abgefunden, dass ich sowieso neue Mainboard brauche...für beide Systeme um diese Geschwindigkeit sauber zu fahren. außerdem...wenn ich sowas schon mache dann richtig. und mein Ziel sind nun mal die 40 Gbit

 

[Trambahner]

Genau drum fragte ich "wofür". Der Inhalt geht mich nichts an (will ich gar nicht wissen), aber ich möchte damit die Sinnhaftigheit ernsthaft hinterfragen. Insbesondere mit Desktophardware und Windows.
Desktop-Windows muss man ja in der Regel schon tunen, um 10G auslasten zu können. Selbst getuned ist bei unter 2Gbyte/s schluss.

Wirklich 40G und höher ausfahren: E5-Xeons oder AMD Epyc, entsprechende Storage und unixoide Systeme. D.h. wir bewegen uns beim Budget schon in Bereichen, die an Lotto erinnern lassen. Und for what?
Nur weil man ein paar Karten günstig auf der Bucht sieht und vielleicht ein YT-Video sieht.
Der Sprung von 1G aug 10G macht inhaltlich noch Sinn, z.B. um Videofiles und VM-Images flott durch die Gegend zu schubsen. Aber höher ist dann reine Experimentierfreude an der Sache, mit Preis-/Leistungsverhältnis hat das dann nichts mehr zu tun.
Genau aus dem Grund hab ich mir die Schnäppchen 100er CX4 Melli's nicht geholt: weils viel Aufwand drumherum erzeugt für unterm Strich sehr wenig Vorteile ggü. meinem heutigen 10G-Setup. Drum bin ich bei 10G Kupfer (mit Intel X540/X550ern) geblieben.

Und: was Bandbreite brauchen könnte ist bei mir eh alles im All-in-One ESXI Server und geht nicht übers physikalische Netzwerk.

Hol Dir ein paar 10Gbit-Karten, Kupfer oder Glas, und lass gut sein damit. Andernfalls wirst Du im Lotto gewinnen müssen (oder hast genug Geld, um es rauszuwerfen).

 

[besterino]

Ich sag mal, während man 10Gbit noch mit normalem Netzwerk-Wissen betreiben kann, wird es jenseits davon komplizierter - und damit kenne ich mich auch noch lange nicht so gut aus, wie ich mir das wünschen würde...

Ich habe jedenfalls den Eindruck, dass man einiges an Potenzial liegen lässt, wenn man sich z.B. NICHT mit RDMA auseinandersetzt - dummerweise ist das eben schon was komplexer, als einfach nur Karten zusammen (oder in einen Switch) zu stöpseln und die MTU auf 9000 hochzusetzen.

Nur mal hier ein Guide, wie das unter Server / Hyper-V 2016 aussieht: Windows Server 2016 Converged NIC and Guest RDMA Deployment: A Step-by-Step Guide

Da brauchste dann offenbar auf einmal z.B. VLANs, QoS und was weiß ich.

Aber ich will dich überhaupt nicht abhalten, nur vor früher Enttäuschung schützen. Ganz im Gegenteil: je mehr hier rumfrickeln, desto mehr hilfts ja auch mir.

Zurück zur Hardware: überleg dir jetzt gut, was Dein Server so alles können soll. Ein reiner Filer braucht natürlich viel weniger Bumms als eine VM-Schleuder.

EDIT & @Trambahner: signed. 40/100gbit ist für den Laien für wohl längere Zeit wirklich Experimentierfreude. Aber der Funfaktor ist groß und wenn mein nächstes Experiment klappt, hab ich zumindest Connectivity der 100gbit NICs zum 10Gbit Netz. Dann waren das schlimmstenfalls vielleicht etwas überteuerte 10Gbit NICs mit einer großen Portion Zukunftssicherheit...

 

[Consti]

na da habe ich mir ja was ans Bein gebunden

kann man den Daten Transfer etwas CPU unabhängiger machen?

 

[besterino]

Ja... eben mit RDMA...

 

[Consti]

Günstiges 40 Gbit Netzwerk - Mellanox ConnectX-3 VPI [Deutsch/German] - YouTube
Am Ende sagt er, dass Windows (10)? der limitierende Faktor ist. Könnt ihr das bestätigen?
So wie er das gemacht hat sieht es ja im ersten Moment nicht ganz so schwer aus

 

[Consti]

moin, hat jemand von euch Windows Server 2012 mit einer NVME SSD am laufen?
Speziell geht es mit um die 970 pro von Samsung. Leider finde ich keine passenden Treiber....

 

[pumuckel]

moin, hat jemand von euch Windows Server 2012 mit einer NVME SSD am laufen?
Speziell geht es mit um die 970 pro von Samsung. Leider finde ich keine passenden Treiber....

wenn mich nicht alles täuscht sollte 2012 Server = Win 8.1 sein

aka die Treiber der Samsung range sollten lüppen (notfalls manuell) ... falls nicht einfach die *.inf anpassen

 

[Consti]

danke für deine Antwort aber wie kann man eine .inf anpassen?

Edit: Win-Unattended.de - Downloads - Win8.1 64-Bit Samsung NVMe Treiber
habe eine .inf gefunden allerdings habe ich null Ahnung was ich da ändern muss. Über den manuellen Weg finde er auch diese Treiber im Gegensatz zu den originalen von Samsung.

 

[pumuckel]

danke für deine Antwort aber wie kann man eine .inf anpassen?

haste schon mal das hier probiert:
Samsung NVMe drivers for MS Windows Server 2016 ? | ServeTheHome and ServeThe.Biz Forums
oder den I'm Post dort genannten / verlinkten Weg

 

[Consti]

Danke für den Link. Klappt aber leider auch nicht:



Edit:
Ich habe mich mal hier reistriert...mal schauen ob da eine Lösung kommt.

 

[danielmayer]

Der hier unter Win8 (x64 vermute ich) funktioniert. Habe eben selbst von 1.0 "upgedated".

 

[Holt]

Oder nimmt halt den Microsoft stornvme Treibers und stelle den Schreibcache entsprechend ein, man muss nicht den Samasung NVMe Treiber verwenden um eine gute Performance aus den SSDs rauszuholen.

 

[Consti]

@danielmayer danke für den link. Leider habe ich das schon probiert und bei mir kommt folgenden Fehlermeldung:

das gleiche hatte ich jetzt schon bei einigen Treibern die ich versuchte...trozdem danke

 

[pumuckel]

@danielmayer danke für den link. Leider habe ich das schon probiert und bei mir kommt folgenden Fehlermeldung:Anhang anzeigen 449378

das gleiche hatte ich jetzt schon bei einigen Treibern die ich versuchte...trozdem danke

das schonmal probiert:

cmd als Administrator ausführen

dann bcdedit.exe /set nointegritychecks on

 

[Consti]

oha ne das kenne ich nicht was mache ich damit?

EDIT: Ich habe es einfach mal gemacht der Befehl hat irgendwas beendet.
Danach habe ich einfach mal angenommen den Treiber erneut zu installieren...hat leider wieder nicht geklappt und es ist wieder die gleiche Fehlermeldung wie ich sie als letztes gezeigt hatte erschienen.