[Kaufberatung] ECC Hardware für Proxmox, Paperless, Jellyfin, Frigate

[besterino]

Davon ab sollte man sich evtl. auch von Zeit zu Zeit überlegen, welchen Zweck PLP in diesen SSDs hat. Das hat höchst sekundär etwas mit Datensicherheit zu tun als viel mehr mit geringeren Latenzen in einem Cluster.

Hä?

Ich würde eine Aussage verstehen, dass SSDs mit besonders guten Latenzen häufiger PLP mit an Board haben. Aber den direkten Zusammenhang „bessere Latenz WEGEN PLP“ sehe ich nicht. Magst Du mich aufschlauen?

 

[MrWahoo]

Im Cluster werden ja die Datenträger gleichzeitig beschrieben und genutzt. Bei jedem Schreibvorgang meldet daher jede SSD irgendwann eine Bestätigung zurück, wenn die Daten im NAND gesichert sind. Bei einer normalen SSD findet das auch eben genau dann statt - wenn der NAND beschrieben wurde. Heißt, dass die langsamste SSD das Tempo vorgibt, denn wenn die schnellere SSD weitermachen würde, hättest du spätestens beim Stromausfall korrumpierte Daten.
Eine PLP-SSD ist hier im Vorteil, denn aufgrund des Stromausfall-Schutzes kann sie die Bestätigung schon früher senden, denn sie kann ja quasi garantieren, dass der Schreibvorgang stattfinden wird, sogar bei Stromausfall. Dieser Vorteil bei der Latenz macht PLP für den Cluster-Betrieb so interessant, für den Heimanwender spielt das aber praktisch keinerlei Rolle.

 

[pwnbert]

PLP ist meines Wissens nach immer ein Stromfresser

Jein, die Samsung M.2 PM dürften deutlich besser sein, hab keine hier, aber 1. die Herstellerangaben und 2. hab ich sowas auch schon gelesen in Foren (kann jetzt leider keine brauchbaren Quellen geben).
Die Samsung SATA PM sind total unauffällig bei mir, echt positiv genügsam und kühl. Ob die jetzt 0,1W oder 1,5W braucht ist mir recht egal im Gesamtbild, solang das keine 5-10W sind (oder bis zu 15W wie manche gute U.2/3).

. Aber selbst eine DC600M ist da kein Kostverächter

Das weiss ich nicht, laut Herstellerangaben überschaubar... hast du eine? Vielleicht kannst was "sinnvolles" (=greifbares) sagen diesbezüglich, wäre super. Wobei die DC600M zum jetzigen Zeitpunkt eh mäßig interessant sind, obwohl es wsl. die beste SATA SSD ist, die man kaufen kann.

Davon ab sollte man sich evtl. auch von Zeit zu Zeit überlegen, welchen Zweck PLP in diesen SSDs hat.

Ja eh. Aber es ist halt auch so, dass mit dem PLP gemeinsam auch ein guter Controller und guter Flash kommt. Die TBW sind schon ganz anders als bei einer MX... 870 Evo ginge noch, aber die sind preismäßig ja auch total daneben.
Drum hab ich jetzt nochmal eine PM883 gekauft, weils einfach P/L das einzig irgendwie brauchbare war... WD red oder 870 Evo wären ja nicht viel billiger... die 883 hat als 1tb zumindest 1,4 PBW, die MX500 als 1tb hat 0,36 PBW, als 500gb nur noch 0,18 PBW.

Du hast natürlich (auch) recht mit der Grundaussage, das eben als Begründung für
Bei M.2 sehe ich PLP als fragwürdig, in der "gesamtwirtschaftlichen-Heimnutzer-Betrachtung", bei SATA sehe ich das als ziemlich sinnvoll.

Eine PLP-SSD ist hier im Vorteil, denn aufgrund des Stromausfall-Schutzes kann sie die Bestätigung schon früher senden, denn sie kann ja quasi garantieren, dass der Schreibvorgang stattfinden wird, sogar bei Stromausfall. Dieser Vorteil bei der Latenz macht PLP für den Cluster-Betrieb so interessant, für den Heimanwender spielt das aber praktisch keinerlei Rolle.

Diesbezüglich würde mich äußerst neugierig machen, welche PLP-SSDs diesen "Sync-Cheat" "können", das ist wsl. eine Firmware-Sache... ich würde durchaus für möglich halten, dass nicht alle SSDs, wo PLP drauf steht, das können.

Noch spannender wäre, wie die Sache mit dem ZFS ZIL bzw SLOG aussieht... ziemlich undurchsichtig für mich.
z.B. wäre in meinen Augen interessant, ob sich ein ZFS Pool ohne PLP mit einem PLP-SLOG auf "Sync-Cheat = true" tunen lässt.

Beitrag automatisch zusammengeführt: Gestern um 12:49

Nachtrag:
Ich hab ja außerdem immer ein Problem damit "abschätzen" zu können, welche Writes nun Sync sind und welche nicht. Man kann bei Proxmox wohl irgendwie auswählen, wie die VMs schreiben sollen?
Wäre vllt. ein SATA-PLP-Mirror einem M.2-nonPLP-Mirror überlegen wenn hauptsächlich Sync geschrieben wird? Fragen über Fragen (bei denen man von unseren üblichen Schlaumeiern H&H wenig hört ).

 

[MrWahoo]

Jein, die Samsung M.2 PM dürften deutlich besser sein, hab keine hier, aber 1. die Herstellerangaben und 2. hab ich sowas auch schon gelesen in Foren (kann jetzt leider keine brauchbaren Quellen geben).
Die Samsung SATA PM sind total unauffällig bei mir, echt positiv genügsam und kühl. Ob die jetzt 0,1W oder 1,5W braucht ist mir recht egal im Gesamtbild, solang das keine 5-10W sind (oder bis zu 15W wie manche gute U.2/3).

Samsung habe ich keine hier, deshalb schreibe ich auch wie du nur meine Vermutungen. Ich hab's jetzt jedenfalls bei verschiedenen Kingstons, Seagates und Microns gesehen, dass der Verbrauch zum einen höher ist (was ja erst einmal logisch ist, weil schlicht ein Bauteil mehr), zum anderen aber halt die C-States des Gesamtsystems beeinflusst werden. Mir ist ja auch am Ende mehr oder minder egal, wo der Strom verbraucht wird - wenn zwar meine SSD ein paar Watt mehr oder weniger zieht, dafür Board und CPU ständig deutlich mehr, habe ich wenig gewonnen.

Das weiss ich nicht, laut Herstellerangaben überschaubar... hast du eine? Vielleicht kannst was "sinnvolles" (=greifbares) sagen diesbezüglich, wäre super. Wobei die DC600M zum jetzigen Zeitpunkt eh mäßig interessant sind, obwohl es wsl. die beste SATA SSD ist, die man kaufen kann.

Die DC600M habe ich, ja. Bin gerade vom Datenblatt eher positiv überrascht, um ehrlich zu sein. Schon weil es meine einzige SATA-SSD ist, die warm wird am Gehäuse, hatte ich da mehr erwartet.
Jedenfalls eine super SSD alles in allem, denn ich stimme dir zu, dass da NAND, Controller und DRAM einfach passen. Der Initialpreis war genial, ich wünschte ich hätte damals noch ein paar Exemplare mehr gekauft

Ja eh. Aber es ist halt auch so, dass mit dem PLP gemeinsam auch ein guter Controller und guter Flash kommt. Die TBW sind schon ganz anders als bei einer MX... 870 Evo ginge noch, aber die sind preismäßig ja auch total daneben.
Drum hab ich jetzt nochmal eine PM883 gekauft, weils einfach P/L das einzig irgendwie brauchbare war... WD red oder 870 Evo wären ja nicht viel billiger... die 883 hat als 1tb zumindest 1,4 PBW, die MX500 als 1tb hat 0,36 PBW, als 500gb nur noch 0,18 PBW.

Du hast natürlich (auch) recht mit der Grundaussage, das eben als Begründung für
Bei M.2 sehe ich PLP als fragwürdig, in der "gesamtwirtschaftlichen-Heimnutzer-Betrachtung", bei SATA sehe ich das als ziemlich sinnvoll.

Ja... lass uns am besten nicht über Preise reden (schon so gehen unsere Beiträge stark ins OT, lol). Ich hadere jedenfalls auch gerade schwer, wie ich meinen Storage aufrüste. Eigentlich wollte ich mein NAS nur mit SSDs als Backup betreiben, aber so macht das wenig Spaß.

Diesbezüglich würde mich äußerst neugierig machen, welche PLP-SSDs diesen "Sync-Cheat" "können", das ist wsl. eine Firmware-Sache... ich würde durchaus für möglich halten, dass nicht alle SSDs, wo PLP drauf steht, das können.

Ich würde erwarten, dass das jede kann, aber definitiv bestätigen kann ich dir das nicht. Bei der DC600M und den wenigen PLP-SSDs, die wir bei Hardwareluxx getestet haben, waren die konstanten Latenzen jedenfalls auffällig, so dass ich das mal als Indiz zumindest für die paar Modelle hernehmen würde.

Ich hab ja außerdem immer ein Problem damit "abschätzen" zu können, welche Writes nun Sync sind und welche nicht. Man kann bei Proxmox wohl irgendwie auswählen, wie die VMs schreiben sollen?

Idk, da bin ich raus.
Aber deine Frage an sich ist ja richtig, denn ob man an dieser Stelle überhaupt einen Vorteil erfahren kann, hängt halt wie so oft am Workload ab. Aber wir sehen es ja auch bei praktisch jeder SSD-Neuankündigung der letzten Jahre, dass man halt gerne mit sequenziellen Angaben wirbt und der User in Unwissenheit kaum bis gar nicht abschätzen kann, ob ihm das ansatzweise auch nur irgendwann einen Vorteil bietet. Schlicht weil man eben den Workload gar nicht so genau abschätzen kann.

(bei denen man von unseren üblichen Schlaumeiern H&H wenig hört ).

Wer ist H&H?

 

[pwnbert]

Ich würde erwarten, dass das jede kann, aber definitiv bestätigen kann ich dir das nicht. Bei der DC600M und den wenigen PLP-SSDs, die wir bei Hardwareluxx getestet haben, waren die konstanten Latenzen jedenfalls auffällig, so dass ich das mal als Indiz zumindest für die paar Modelle hernehmen würde.

WIE habt ihr das denn getestet?
Fällt dir irgend eine sinnvolle Testmethode ein, mit der man eindeutig feststellen kann, ob das nun ein Sync ist oder nicht und dann ein weitgehend zuverlässiges Ergebnis ableiten kann?
Ich hätte nix dagegen die mir zugänglichen SSDs zu testen... dann machen wir eben einen PLP Sammler.

=> Wir bräuchten dafür nur eine sinnvolle, nachvollziehbare und zugängliche Testmethode.

Aber deine Frage an sich ist ja richtig, denn ob man an dieser Stelle überhaupt einen Vorteil erfahren kann, hängt halt wie so oft am Workload ab.

Diese Frage ist aber entscheidend für die Frage "PLP oder nicht".

Zum letzten Punkt mag ich nicht mehr sagen, mag diesen nicht unbedingt nötigen Seitenhieb meinerseits nicht unnötig aufbauen. Man findet H&H vor allem in populären Intel-Threads, das muss jetzt aber auch reichen.

 

[sch4kal]

Ja das ist richtig, allerdings denke ich, das im Falle des Kontron-Boards die Anbindung mit 6G über Bonding vorerst ausreichend und sparsamer als ein 10G NIC sein sollte.

Wird nicht funktionieren, jedes Switch das ich kenne, lässt nur ein Bonding unter Interfaces mit derselben Geschwindigkeit zu. Also z.B. 10G + 1G würde nicht gehen.
Gibt auch sparsame 10G NICs, die Mellanox CX311A z.B.

Die Switches werden untereinenander mit 10G angebunden sein und so ausgelegt werden, dass zumindest im Keller 1x 10G frei bleiben um den Server im Bedarfsfall per 10g NIC anbinden zu können.
Die Frage ist wie viele günstige Switches Managed sind um VLAN und Bonding in vollem Umfang nutzen zu können. Aber wie bereits geschrieben, denke ich, wird hier nochmal ein seperater Thread erstellt werden.

Entweder Mikrotik oder einer der anderen, SoHo Verdächtigen: TP-Link, Zyxel, HP/Aruba.

Interessanter weise ist es genau das, von dem ich denke, dass es beim i5 System als erstes abschmiert, mit Ausnahme der Festplatten.

Hab hier noch eine alte Fujitsu Kiste mit Ivybridge Celeron CPU, die läuft heute noch. Bist aber halt in der Aufrüstbarkeit beschränkt, deshalb lieber zum Kontron greifen, wenn es dir darauf ankommt.

Hatte ich für meinen N100 auch schon überlegt aber dann doch wieder verworfen; Keine Ahnung weshalb. Wenn ich mir das so anschaue, mit 2W tatsächlich ne Überlegung wert. Wäre mal interessant was letztlich mehr verbraucht, der iGPU oder die TPU. Ich tippe auf die iGPU.

Definitiv die iGPU, auch wenn ich die TPU selber noch nicht getestet hab. Werde ich mir aber auch demnächst zulegen.

Die Frage, die ich mir nun zuletzt stelle ist, wie konfiguriere ich meine Festplatten nun tatsächlich.
Wie Anfangs erwähnt war der Plan:

• 2x SATA SSD fürs OS im ZFS Mirror (~500GB)
• 2x NVME SSD für die VMs und LXCs (~2TB)
• 2x HDD WD RED PLUS als Medienspeicher ( 2TB weil ich sie noch hier hab)

Die SATA SSD würde ich weglassen, stattdessen 2x NVMes im Mirror. Wenn dir die Daten heilig sind, und du sowieso Proxmox und nicht Unraid einsetzt, kannst auch nach welchen mit PLP suchen.
Die Red Plus sind ja dann gesetzt und für deine Kameras kannst ja noch 2 andere HDDs nehmen, die dafür besser geeignet sind. Die würde ich nicht auf denselben Pool schreiben lassen, von dem du auch Medien runter liest. Evtl macht sogar hier eine Optane Sinn, die kannst partitionieren, eine Partition für Proxmox, eine als ZIL Device z.B. Meine läuft seit 2018 im Server 24/7, die halten ewig. Ist ja im Prinzip SLC Speicher mit PLP. Beobachte z.B. gerade die hier: https://www.ebay.de/itm/375496356995
Hab im Server einen Delock Adapter von M.2 auf U.2, an dem die Optane dran hängt, ohne Probleme.

 

[starfalk]

Wird nicht funktionieren, jedes Switch das ich kenne, lässt nur ein Bonding unter Interfaces mit derselben Geschwindigkeit zu. Also z.B. 10G + 1G würde nicht gehen.
Gibt auch sparsame 10G NICs, die Mellanox CX311A z.B.

Ach sch... 5G meinte ich natürlich, war schon spät und ich übernächtigt. Das Kontron hat ja 2x 2.5G + 1x 1G
Aber funktioniert es denn aus den 2x 2.5G via LACP oder 802.3ad einen Bond zu erstellen und aus diesem und dem 1G ein active-backup Bond zu erstellen?

du sowieso Proxmox und nicht Unraid einsetzt, kannst auch nach welchen mit PLP suchen.

Ich verstehe den Zusammenhang zwischen Proxmox/Unraid und PLP nicht. Kannst du mir das erklären?

Die Red Plus sind ja dann gesetzt und für deine Kameras kannst ja noch 2 andere HDDs nehmen, die dafür besser geeignet sind

Ich glaube in dem Fall würde ich früher oder später die Medien und Daten auf 2x Sata-SSDs packen. Beim streamen sind wir ja lesend unterwegs was bei den SSDs auch auf Dauer kein Problem sein sollte und gerade bei mehreren Streams dürfte die höhere Lese-Rate auch von Vorteil sein. Zusätzlich würde nich etwas Strom gespart werden.

Evtl macht sogar hier eine Optane Sinn

Ich denke vorerst werde ich darauf verzichten und einfach mal schauen ob es Probleme mit der Schreibrate/-latenz geben wird. Im Bedarfsfall kann ich immernoch nachrüsten.

 

[sandreas]

Das habe ich gerade bei der DC600M, aber auch der DC2000B und so mancher U.2-SSD bemerkt. Das heißt, selbst wenn isoliert betrachtet diese vergleichsweise human agieren, kann der Gesamtverbrauch deutlich ansteigen.

Die Lexar NM790 soll da recht gut sein. Man vergleiche...