21 M.2-SSDs: Apex Storage X21 für große NVMe-Arrays

Thread Starter
Mitglied seit
06.03.2017
Beiträge
113.974
M.2-SSDs haben sich im Endkundenbereich inzwischen durchgesetzt. Im Server-Segment sind per PCI-Express angebundene SSDs ebenfalls bereits ein Standard, der sich etabliert hat, wenngleich es hier unterschiedliche Mittel und Wege gibt, die meist aufgrund einer optimierten Speicherdichte gewählt werden.
... weiterlesen
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wird die tatsächlich so wie auf den Fotos zusammen gesteckt? Ohne aktive Kühlung dazwischen, nur über "einen Luftstrom im Gehäuse"? Krass! :unsure:
Neuen 3000€ Toaster wollte ich schon immer mal haben und RGB braucht man dann auch nicht mehr, die "leuchtet" @ Vollbestückung im workload nach ein paar Minuten von selber. :fresse:

edit: Aber trotzdem nettes Spielzeug für dem, der sonst alles hat und nicht weiß wohin mit den Geld. (y)
 
Zuletzt bearbeitet:
Die bringt ja insgesamt max 31 GB/s über PCIe4.0x16 und rechne das auf 21 SSDs verteilt... Also braucht man da wohl nicht unbedingt die beste Kühlung pro SSD. Evtl. wird ein guter Luftzug doch ausreichen.
 
einmal als 3dxpoint oder vergleichbar, besser.
die Bandbreite bringt null nix!
wieder so ein sinnloser Marketing quatsch!
 
Genau das Richtige, um die ganzen ollen 128GB Notebook SSDs mit PCIe3.0 aufzubrauchen statt zu entsorgen.
Leider wir der Preis der Karte jeder Vernunft und Müllvermeidung einen Strich durch die Rechnung machen ...

wäre ja auch zu geil gewesen ... 21x 64GB= 3TB
 
Die bringt ja insgesamt max 31 GB/s über PCIe4.0x16 und rechne das auf 21 SSDs verteilt... Also braucht man da wohl nicht unbedingt die beste Kühlung pro SSD. Evtl. wird ein guter Luftzug doch ausreichen.
Ich kann mir trotzdem vorstellen, dass die im Kern (also zwischen den 2 Steckplatinen) gut aufheizt. Erst recht, wenn für die einzelnen SSDs noch nicht einmal die Minimalkühler (also diese 20ct. Chinarippenkühler) bei liegen.
Außerdem wirst du dafür ein Board mit Bifurcation UEFI Support brauchen und da ist auch noch die Frage, ob jedes Board jeden Boardpartners mit Bifurcation das supportet ohne UEFI Modifikationen.
Und dann weiß man ja noch nicht einmal welcher Controller/Switch usw. da drauf verbaut ist. Wenns schlecht läuft, der billigste Chinachip am Markt, weil man die 5€ mehr für den besseren Marvell nicht einkalkulieren wollte.

edit: Im Grunde bleibt es aber nur ein überteuertes "Nerd Spielzeug" für alle die, die schöne hohe seq. Schreib-/Leseraten haben wollen um damit in Foren zu prollen. Die Latenzen I/O sprechen da ja eine andere Sprache. :haha:

edit2:
Die Anbindung auf den beiden PCBs der Erweiterungskarte erfolgt über jeweils vier PCI-Express-4.0-Lanes.
..habe ich jetzt einen Denkfehler? Ist die echt nur mit PCIe4.0 x8 (x4/x4) angebunden? :unsure:
 
Zuletzt bearbeitet:
Außerdem wirst du dafür ein Board mit Bifurcation UEFI Support brauchen
Ich vermute, wenn sie schon 31GB/s versprechen, dann wird da evtl. ein Hardware-Raid0 mit mir unbekanntem Controller betrieben. Mit Bifurkation only wären das ja sonst "nur" 4/8 oder 16 SSDs und keine 21, oder?🤔
 
Ja, daher kam mir das ja alles so komisch vor. Weil aus den Artikel geht das nicht hervor ob da nun ein Pseudo_HW Raid (ohne Caching) oder Bifurcation Bedingung ist.

edit: Doch die ultra lowbudget Pipi Lösung gewählt:
Ability to Create the industries largest high performance NVME arrays on any Windows or Linux operating systems. Both AMD or Intel based system with a dedicated PCIe 3.0/4.0 x16 slot can now take full advantage of the Motherboard Bifurcation support, or specialized software is not required.

..für mich heißt das: Board mit Bifurcation Support ist pflicht und es werden (logischerweise) Raid Arrays auf Softwarebebene unterstützt wenn das Board diese anbietet (Intel VMD zb.)
Jetzt frage ich mich nur noch, wie man in den Artikel auf die Anbindung x4/x4 @ PCIe4.0 kommt, denn dass wären ja dann knapp 16GByte/s (PCIe4.0 x8) und nicht 32GByte/s (PCIe4.0 x16).


edit2:
Active: ~95 Watt Typical 2xPci-e6 pin 12v

*no comment*

"Schatz, ich brauch nochmal 500€ für ein neues Netzteil!
Wieso, du hast dir doch erst für die Pixelschleuder ein neues für 400€ geholt?
Ja, jetzt hab ich aber auch noch SSDs!
Du hast doch gesagt die verbrauchen nix.
Ja, hatte ich auch mal gedacht."
:bigok:
 
Zuletzt bearbeitet:
1678712802926.png


Da ist der Hitzestau ja vorprogrammiert. M.2 liegt auf M.2
 
Also braucht man da wohl nicht unbedingt die beste Kühlung pro SSD. Evtl. wird ein guter Luftzug doch ausreichen.
Steht doch im Text wie stark der Luftzug sein muss:
Die Kühlung erfolgt über einen Luftstrom im Gehäuse, der mindestens 400 LFM (Linear Feet pro Minute) betragen sollte.
Solche Angaben sind bei Server Hardware üblich, da dort in aller Regel eine Reihe wirklich starker Lüfter in der Mitte des Gehäuses den Luftstrom für alle Komponenten, auch die passiven CPU Kühler, erzeugt. Merke: Passiv gekühlt bedeutet nicht automatisch, dass nicht doch ein bestimmter Luftstrom erforderlich ist und dies gilt besonders für Serverhardware!
 
edit2:

..habe ich jetzt einen Denkfehler? Ist die echt nur mit PCIe4.0 x8 (x4/x4) angebunden? :unsure:
"Die Anbindung auf auf den beiden PCBs erfolgt mit" vier Lanes => jeder m. 2- slot ist mit vier Lanes angebunden.

Mich interessiert dann aber wirklich, wie die Karte funktioniert: lane bifurication und PCIe-Switch? Da einen sinnvollen Controller eingebaut zu haben, fände ich besser. Zumal die beoden Chips da in der Mitte offenbar nicht wenig Kühlung brauchen.
 
Eben, da es da zwei große Chips mit reichlich Kühlbedarf gibt, dürften dies mindestens PCIe Switchs sein und vielleicht haben sie auch RAID Controller Funktionen. Mit Lane Bifurkation kommt man bei einem x16 Slot nicht übr 4 SSDs hinaus, da mehr als x4+x4+x4+x4 nicht geht.
 
Stört sich hier niemand an der hohen Latenz?
Lesen 79 ms
Schreiben 52 ms

Ne NVMe sollte eher im Bereich von 0,1ms liegen.
 
Der Overhead einer RAID Verwaltung erhöht halt die Latenz, auch wenn es bei manchen Benchmark anders aussieht, weil man dann, vor allem bei den klassischen HW RAID Controllern mit reichlich eigenem Cache RAM, da bessere Werte bekommt. Dies liegt halt daran, dass viele Benchmark nur über einen kleinen Adressraum benchen und da hilft der größere Cache die Hitrate zu steigern und weil dann mehr Anfragen aus dem schnellen Cache bedient werden können, sieht es so aus als wäre die Latenz sogar besser. Aber diese Karte richtet sich ja an Enterprise User für Serveranwendungen und da ist die Latenz meist weniger wichtig als die maximalen IOPS, weil es meist eben viele parallele Zugriffe gibt und damit steigt die Zeit in der jeder einzelne von denen bedient wird, ja sowieso über die normale Latenz die mit nur einem Zugriff ermittelt wird. Es ist für solche Nutzung also recht egal wie lange es dauert bis eine einzelne Anfrage beantwortet ist, wenn es nur eine Anfrage gibt, sondern nur wie lange es dauert wenn es z.B. eine Millionen paralleler Anfragen gibt und dazwischen gibt es eben kein direktes Verhältnis und entsprechend muss man also auch schauen auf welche Art von Nutzung sich diese Angabe bezieht.

Consumer SSDs sind übrigens in aller Regel darauf optimiert bei einem oder wenigen, in der Praxis eines Heimanwenders sind 4 parallele Zugriffe schon sehr viel und entsprechend selten, gleichzeitigen Zugriffen gut zu performen und Enterprise SSDs sind auf eine gute Performance bei vielen parallelen Zugriffen optimiert, auch wenn dies eben auf Kosten der Performance bei nur einem Zugriff zur Zeit geht.
 
@Holt Der Overhead ist trotzdem viel zu hoch. Ich würde das Teil nicht für viele VMs verwenden wollen. Da hat mein iSCSI Storage ne niedrigere Latenz.
 
Stört sich hier niemand an der hohen Latenz?
Lesen 79 ms
Schreiben 52 ms
...NVMe sollte eher im Bereich von 0,1ms liegen.
Wenn der freundliche Abtipper nicht fähig war Mikrosekunden von Millisekunden zu unterscheiden, dann kann man immer noch auf die Quelle klicken und richtige Werte nachschlagen:
1678740935795.png
 
Ich hatte die Quelle vorher auch geprüft und da stand ms
 
Da hat dann wohl jemand den Fehler beim Schreiben der Quelle gemacht und dann korrigiert.
 
Eigentlich würde ich so ein Ding nie brauchen, ich wüsste noch nichtmal für was. Aber ich wills haben.
 
@Holt Der Overhead ist trotzdem viel zu hoch. Ich würde das Teil nicht für viele VMs verwenden wollen. Da hat mein iSCSI Storage ne niedrigere Latenz.
Ich sehr das eher als Datengrab.
2 von den Dingern mit 42*8TB und ich könnte echt schwach werden. Da mein Rack langsam voll ist, kann ich nicht nochmal 24*10TB bei mir zu Hause reinhauen. :/
So könnte ich aber locker noch 42-84 * 8TB nachschieben.
 
Für ein Datengrab dürfte dies viel zu teuer sein, dafür nehmen auch Unternehmen meist einfach normale HDDs mit großen Kapazitäten oder vielleicht auch SATA SSDs, aber wohl kaum so eine teure Lösung. Die scheint mir sowieso fraglich, da sie kein Hot-Swap erlaubt, was gerade beim Servereinsatz und bei so vielen SSDs eigentlich ein unverzichtbares Feature sein sollte.
 
Ich denke mal, da wird ein Switch mit CPU so in Richtung eines Broadcom PEX aus der 88xxx Serie drauf sitzen die PCIe4.0 und teils auch PCIe5.0 supporten.
dcsg-topologies-synthetic.png

Die Karte dürfte auch entsprechend kosten. So wie ich das auf der Apex Seite lese "unterstützt" die Karte das erstellen von Arrays, bietet aber selbst nicht die HW. auf der Karte an.

2x 6pin PCIe -> 225Watt. :bigok:
 
Zuletzt bearbeitet:
Eigentlich genau das was ich gerne hätte. Einfach die ganzen billigen Mini NVMe reinwerfen und mit <1W im Leerlauf einen SSD only Storage bauen.

Allerdings wird der Eigenverbrauch des PCIe Switches den Plan zu nichte machen. Mal abgesehen vom Preis. Ich tippe mal auf 1000 €.
 
mit <1W im Leerlauf einen SSD only Storage bauen.

Allerdings wird der Eigenverbrauch des PCIe Switches den Plan zu nichte machen.
Allerdings. aber leider konnte ich die Idle Leistungsaufnahme des PEX88096 nicht finden, denn der dürfte da verbaut sein. Der hat zwar nur 98 Lanes, womit einer der Slots nur mit 2 Lanes angebunden sein dürfte, aber einen größeren PCIe 4.0 Switch bietet Broadcom nicht an, bei den PCIe 5.0 geht es dann bis zu 144 Lanes beim PEX89144.
 
aber leider konnte ich die Idle Leistungsaufnahme des PEX88096 nicht finden
Hier steht zumindest schon mal "Power typical 35,78 Watt". Das wäre heftig. Nachdem ich gesehen habe, dass M.2-Octo-Karten schon 1000 € kosten, wird die Karten wohl doch eher bei 2000 bis 3000 € liegen.

Dann frage mich noch mehr wer die Zielgruppe sein soll. Wenn ich ein Unternehmen bin kaufe ich solche Bastellösungen nicht. Und alle anderen werden doch denke ich eh gleich auf Intel W-3400 oder Threadripper setzen. zB einen AMD Ryzen Threadripper PRO 5955WX auf einem Asrock Rack WRX80 Creator. Fünf der PCIe Slots unterstützen Bifurcation. Macht 20x M.2 Quad M.2 Bifurcation Adapterkarten (20 bis 30 € das Stück).

Selbst wenn ich jetzt unbedingt 60 NVMe haben will. Naja, dann kaufe ich mir eben mehrere Threadripper. Alleine um die Ausfallwahrscheinlichkeit zu reduzieren, macht das viel mehr Sinn, so viele Datenträger auf mehrere Maschinen zu verteilen.
 
Dann frage mich noch mehr wer die Zielgruppe sein soll. Wenn ich ein Unternehmen bin kaufe ich solche Bastellösungen nicht.
Wer die Zielgruppen, von ein paar Reviewern die mit ihren YT Video dann mehr verdienen als das Teil kostet und Enthusiasten sein soll, frage ich mich auch. Für Unternehmen macht es schon deswegen wenig Sinn, weil da nur 2260 und 2280er M.2 SSDs rein passen, aber keine 22110er und die meisten Enterprise M.2 SSDs sind eben 22110, zumal in den größeren Kapazitäten. Aber es ist ja zum Glück nicht unser Problem Kunden für das Teil zu finden, sondern das des Herstellers und der wird sich hoffentlich vorab darüber Gedanken gemacht haben.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh