[Kaufberatung] Suche Empfehlung für günstige NVME für Proxmox Cluster

linuxbla

Profi
Thread Starter
Mitglied seit
17.12.2019
Beiträge
3
Hallo zusammen,

ich betreibe aktuell einen kleinen Proxmox Cluster mit 3x Thinkcentre m720q. Leider haben die aktuell alle nur jeweils eine 128GB NVME SSDs drin und diese müssten nun mal gegen größere getauscht werden. Durch regelmäßige Replication ist es verschmerzbar wenn doch mal eine SSD abraucht.
Performance ist nebensächlich, alle NVMEs dieser und der letzten 1-2 Generationen sollten ausreichend schnell sein. Selbst meine uralten 128GB NVMEs sind fix genug.

Ich würde aufgrun der Kosten ungern auf Enterprise NVMEs setzen. Ich bin nun auf die Firecuda 530 NVMEs gestoßen, die ziemlich hohe TBW im Vergleich zu anderen Consumer SSDs haben. Sind die empfehlenswert oder was würdet ihr nutzen?

Gruß,
Samuel
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
WD red SN700 hat viel TBW, ist vim P/L her so medium. Hab ich als 1TB M.2 (die haben sehr viel TBW für 1TB) im NAS als SLOG/ZIL und L2arc Metadata.
FireCuda 530 ist auch super, wenn man sie preiswert bekommt, hab ich seit 2 Jahren als 4TB als "Arbeits-SSD" im "Hauptrechner".

Momentan gibts nicht viel. Micron 7400 pro brauchen so viel Strom selbst im Idle, hab ich auch, 7-8w im Idle, drunter is nix. So richtig schnell ist die auch nicht.

edit:
KC3000 oder Fury Renegade wären auch noch im Rahmen, sind besser verfügbar.

Momentan ist der SSD Markt tatsächlich unter aller Sau, leider.
 
KC3000 oder Fury Renegade wären auch noch im Rahmen, sind besser verfügbar.
Beides super SSDs, macht man nichts falsch.

Ansonsten kann man bei dem speziellen Anwendungsfall darüber nachdenken, ob PLP eine Option sein soll. Hintergrund ist der, dass im Cluster damit schneller Schreibvorgänge rückgemeldet werden, was die Latenzen verkürzt. Bringt halt eine höhere Abwärme mit sich und daher einen höheren Verbrauch. Vermutlich daher nicht die beste Variante, wollte es nur als Denkanstoß geben.
Seagate FireCuda 530 ist und bleibt auch eine sehr gute Wahl, wenn man einen guten Preis dafür findet.
 
Den Unterschied zwischen K3000 und Fury Renegade versteh ich aber irgendwie nicht.
Okay, auf der Fury ist irgend ein Kühlblech, wie es aussieht, das man auch nicht abnehmen sollte, womit die Montage evtl eingeschränkt ist?
Hintergrund ist der, dass im Cluster damit schneller Schreibvorgänge rückgemeldet werden, was die Latenzen verkürzt.
Ist das denn tatsächlich so? Gibts da was Belastbares?
Nicht, dass ich dir nicht glauben würde...

Die Marktlage ist halt richtig mies, weil der Aufbau der allgemeinen KI-Kommunikationsüberwachung wohl den Markt leersaugt.
235€ für die 1TB PM9A3 ist das billigste, Micron 7400 pro will man echt nicht.

Den ehemaligen "Geheimtip" U.2 kannst auch knicken.
Abgesehen davon brauchen die alle Strom, dass es nicht mehr schön ist, außer den Schnecken-Modellen von Samsung...


Stellt ich für mich die Frage, ob die PLP Modelle mit 1gb/s Schreiben und 100k IOPS wirklich schneller wären als die Pro-Consumer Modelle mit 7gb/s und 1.000k IOPS.
Wahrscheinlich (im typischen Homelab) eher nicht? Hängt wsl. von der Art der Last ab.
=> Aber da ich es nicht besser weiss und nur raten kann, wäre ich froh über weiterführende Infos, vllt. lern ich ja was dazu.
 
Den Unterschied zwischen K3000 und Fury Renegade versteh ich aber irgendwie nicht.
Bin da mal so frei, unseren Artikel direkt zu verlinken: https://www.hardwareluxx.de/index.p...-im-test-die-ungezuegelte-kc3000.html?start=1

Mit der neuen FURY RENEGADE verdichtet Kingston sein aktuelles PCIe4-LineUp der Massenspeicher extrem. Mit den Eckdaten von Phison PS5018-E18, DDR4-Cache und 176-Layer-TLC-NAND ist unser Testmuster praktisch zu der KC3000 identisch und sollte damit auch in einem ähnlichen HighEnd-Bereich spielen. Die Unterschiede liegen im Detail bei den beiden Serien und bedürfen eines genauen Blicks. Während die KC3000 Modelle von 512 GB, 1.024 GB, 2.048 GB und 4.096 GB bewirbt, sind es bei der FURY RENEGADE "nur" 500 GB, 1 TB, 2 TB und 4 TB. Kingston verbaut jedoch nicht weniger NAND oder rundet schlichtweg anders, sondern tatsächlich agiert die SSD hier mit einem eigens zugesicherten Bereich für das Over-Provisioning, um dem Massenspeicher dauerhaft einen Boost in Form eines "Pseudo-SLC-Caches" bieten zu können.


Dies sollte zumindest theoretisch einen Vorteil im Alltag bieten, da die sequenzielle Schreibleistung einer SSD meist nur auf den idealen Leerzustand bezogen ist und die SSD daher den TLC-NAND als "Pseudo-SLC" beschreiben kann, zumindest eben so lange freier Speicher zur Verfügung steht. Over-Provisioning sorgt genau für den Effekt, diesen Boost dauerhaft nutzen zu können - im Gegenzug ist jedoch der nutzbare Speicher geringer als eigentlich verbaut.
Der langen Rede kurzer Sinn: Eigentlich sind die SSDs identisch, nur die Firmware ist entsprechend verändert, so dass die eine etwas mehr Over-Provisioning bietet. Ich persönlich würde im Alltag deshalb weder die eine, noch die andere ablehnen. Beides sehr gute SSDs.

Ist das denn tatsächlich so? Gibts da was Belastbares?
Nicht, dass ich dir nicht glauben würde...
Also, rein vom Prinzip lässt es sich leicht erklären: Deine Datenträger müssen nach einem Schreibvorgang ein Write-ACK senden, was typischerweise genau dann erfolgt, wenn eben geschrieben wurde (logisch). Eine PLP-SSD tut das nicht, weil sie ja weiß, dass sie noch zu Ende schreiben wird, selbst wenn der Server genau in diesem Moment abraucht, denn sie hat ja eine eigene Spannungsversorgung, die für genau diesen Schreibvorgang noch ausreichen wird. Daher sendet sie dieses Write-ACK entsprechend früher und ist damit schneller für das Cluster wieder verfügbar. Passend dazu, was ebenfalls nachvollziehbar ist: deine Latenz ist immer genau so kurz wie eben die längste Latenz deines langsamsten Gerätes zulässt.

Inwiefern oder sogar ob das in einem Home-Server-Bereich relevant ist, mag ich nicht aus der Ferne beurteilen. Ich sehe und erwähne das eher als technische Sichtweise hier im Forum. Gibt da einen interessanten Blog dazu, falls es interessiert. Die Ergebnisse dazu findet man weiter unten:
Here we can see the latency (in nanoseconds) for the random writes is nearly 3x slower when writing to non PLP drives.

The same can be said for sequential writes.

That's 3 for 3. Looks like it's pretty clear that PLP drives are far better suited for Ceph, than non PLP drives.
Aber wie gesagt, ob das jetzt für den Heimgebrauch kriegsentscheidend sein soll, muss jeder selbst wissen. Im Hardwareluxx muss ja auch nicht jede Entscheidung zu 100% rational erfolgen :d
 
Ah, wieder mal die Sync-Sache.
Mit der sync/async Hölle komm ich immer noch nicht ganz klar... also was genau jetzt sync und async ist... :d
 
Wie gesagt, vermutlich muss man sich diesen Kaninchenbau jetzt auch nicht unbedingt aufhalsen, wenn wir ohnehin von einem HomeServer-Szenario sprechen. PLP kommt nicht umsonst, weder in der Anschaffung noch im Verbrauch, zumal es auch indirekt diesen erhöhen kann, indem entsprechende C-States vom ganzen Cluster wegfallen.
Allerdings, da der TE ja sowieso schon ein Cluster mit drei Servern betreibt, kann man es ja schon mal zur Steigerung der Unvernunft einwerfen :d
 
Im Hardwareluxx muss ja auch nicht jede Entscheidung zu 100% rational erfolgen
Rischtisch.

"Mooaaaar Paaauaaaa!!"

Oder: "Giep Speed!"

Etwas seriöser: Nur wer alle Optionen kennt, kann eine informierte Entscheidung treffen.
 
Danke erstmal für die Tipps. Ich denke ich werde mal zum Blackfriday warten ob da irgendwas "günstig" verfügbar ist. So toll ein Cluster mit drei Nodes ist, jede Anschaffung verdreifacht gelich den Preis :/

Letzendlich ist die Performance nicht wirklich relevant, selbst die alten 128GB NVMEs sind fix genug, dass ich diese nicht als Flaschenhals empfinde. Denke mal alles an aktuellen 2TB NVMEs wird sowieso deutlich schneller sein. Stromverbrauch / Hitzeentwicklung ist entscheidender und auch der Preis. Da verzichte ich lieber auf PLP.
Ceph hatte ich mal kurz getestet, aber das hat für mich gar keinen Mehrwert. Ich repliziere die VMs regelmäßig auf die anderen Nodes. Wenn dann der Cluster abraucht starten die VMs dann halt auf einer anderen Node neu mit dem Datenstand von vor ein paar Stunden. Das ist bei meinem Einsatz problemlos verschmerzbar. Und falls ich doch mal umfangreiche Anpassungen mache, die sofort gesichert werden müssen stoße ich danach manuell die Replizierung / Proxmox Backup an.

Gruß,
Samuel
 
Ah, wieder mal die Sync-Sache.
Mit der sync/async Hölle komm ich immer noch nicht ganz klar... also was genau jetzt sync und async ist... :d

Programme können sich aussuchen, ob sie synchron oder asynchron schreiben.

Ein async Schreibvorgang ist aus Programmsicht typischerweise praktisch sofort fertig, nämlich dann, wenn das OS die zu schreibenden Daten übernommen hat. Im RAM (Cache). Wann das OS tatsächlich anstößt, dass die Daten auf Platte geschrieben werden, oder ob überhaupt, steht in den Sternen. Falls die Platte einen Schreibcache hat, wiederholt sich das Spiel auf der Ebene noch einmal – auch deren Controller übernimmt die Daten dann zunächst einmal nur in den Cache und schreibt das raus, wann's die Firmware halt freut. Usw.

Vorteile: flott. Solang nicht grad die Caches voll sind, passiert alles im RAM, tatsächlich geschrieben wird dann in Ruhe im Hintergrund. OS und Controller können Schreibvorgänge nach Belieben zusammenfassen und umordnen. HDDs sind z. B. viel glücklicher, wenn sie am Stück schreiben dürfen (wenige Seeks), SSDs, wenn sie genug zusammenbekommen, dass sie in ganzen (internen) Blöcken schreiben dürfen bzw. den Schreibvorgang maximal parallelisieren können. Länger halten tun sie dann auch, weil sie nicht für läppische 4K einen ganzen Block löschen und schreiben müssen.

Nachteil: Wenn irgendwas is, bevor die Daten auf der Platte gelandet sind, sind sie weg. Und weil man sich noch nicht einmal darauf verlassen kann, in welcher Reihenfolge Schreibvorgänge durchgeführt werden, hat man dann einen wirren Mix aus Alt und Neu. Wenn das z. B. mit Dateisystemmetadaten passiert, ist das ganze Dateisystem ex.

Ein sync Schreibvorgang blockiert die Programmausführung, bis die Daten tatsächlich auf der Platte sind. Wenn der "Ok!" zurückmeldet, dann hat das Hand und Fuß.

In der Praxis mischt man das auch. Also wenn z. B. ein Dokument gespeichert wird, alle Schreibvorgänge die dafür nötig sind async, aber dann wenn alles fertig ist, ein separater Sync-Befehl, der sich nur auf die Datei bezieht. Und erst wenn der sagt, erledigt, Rückmeldung an den User, dass erfolgreich gespeichert wurde. So kriegt man relativ billig Transaktionen.

Vorteile: Man sich darauf verlassen, dass das Zeug garantiert gespeichert ist. Damit werden die Konsistenzgarantien moderner Dateisysteme und Datenbanken erst möglich.

Nachteile: Damit fallen sämtliche Optimierungsmöglichkeiten oben weg. Schleicht wie die Sau. So, 100 MB/s sind selbst für eine NVMe ein guter Wert und 10 MB/s jetzt auch kein Schock. Dazu write amplification, d. h. die müssen ein Vielfaches der Nutzdaten schreiben. Bye-bye TBW. HDDs stecken das teilweise besser weg (solange sie nicht zu viel seeken müssen).

Es gibt immer wieder Disks, die Syncs einfach ignorieren (entweder weil buggy oder um in Performance-technisch gut dazustehen) . Datenverlust vorprogrammiert. PLP-Disks können Syncs in gewissen Grenzen "legal" ignorieren; schließlich können sie garantieren dass die Daten auf dem Flash landen – selbst wenn der Host rundherum in Flammen steht. Allerdings sind die Caps jetzt nicht groß, detto der Schreibcache; es geht also nur mit kleinen Schreibzugriffen, die man binnen Sekundenbruchteilen in Sicherheit bringen kann. Da die meisten sync writes klein sind, und man sich ja bemüht, sie nur einzusetzen wenn nötig, klappt das trotzdem ganz gut.

Auf einem Consumer-Desktop spielen sync Schreibzugriffe nur eine sehr kleine Rolle. Ein paar Sekunden Datenverlust werden einfach in Kauf genommen, solange nur das Dateisystem ganz bleibt. Is auch ok, bei einem Einzelbenutzersystem weiß man ja auch normalerweise, was offen war / was man jetzt noch einmal machen muss. Bzw. wird generell weniger geschrieben.

Aber z. B. ZFS schreibt viel sync (weil eben Datensicherheit an oberster Stelle steht), Proxmox detto (Cluster-Konsistenz etc.), Ceph schreibt praktisch nur syncron. Datenbanken detto.

Falls wer ein Debian- (Ubuntu-, Mint-, ...) System hat, apt/dpkg sind da sehr konservativ. apt dist-upgrade schleicht auf den meisten Consumer-SSDs, weil die nur auf async getuned sind.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh