Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
[Kaufberatung]ECC Hardware für Proxmox, Paperless, Jellyfin, Frigate
Davon ab sollte man sich evtl. auch von Zeit zu Zeit überlegen, welchen Zweck PLP in diesen SSDs hat. Das hat höchst sekundär etwas mit Datensicherheit zu tun als viel mehr mit geringeren Latenzen in einem Cluster.
Ich würde eine Aussage verstehen, dass SSDs mit besonders guten Latenzen häufiger PLP mit an Board haben. Aber den direkten Zusammenhang „bessere Latenz WEGEN PLP“ sehe ich nicht. Magst Du mich aufschlauen?
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Im Cluster werden ja die Datenträger gleichzeitig beschrieben und genutzt. Bei jedem Schreibvorgang meldet daher jede SSD irgendwann eine Bestätigung zurück, wenn die Daten im NAND gesichert sind. Bei einer normalen SSD findet das auch eben genau dann statt - wenn der NAND beschrieben wurde. Heißt, dass die langsamste SSD das Tempo vorgibt, denn wenn die schnellere SSD weitermachen würde, hättest du spätestens beim Stromausfall korrumpierte Daten.
Eine PLP-SSD ist hier im Vorteil, denn aufgrund des Stromausfall-Schutzes kann sie die Bestätigung schon früher senden, denn sie kann ja quasi garantieren, dass der Schreibvorgang stattfinden wird, sogar bei Stromausfall. Dieser Vorteil bei der Latenz macht PLP für den Cluster-Betrieb so interessant, für den Heimanwender spielt das aber praktisch keinerlei Rolle.
Jein, die Samsung M.2 PM dürften deutlich besser sein, hab keine hier, aber 1. die Herstellerangaben und 2. hab ich sowas auch schon gelesen in Foren (kann jetzt leider keine brauchbaren Quellen geben).
Die Samsung SATA PM sind total unauffällig bei mir, echt positiv genügsam und kühl. Ob die jetzt 0,1W oder 1,5W braucht ist mir recht egal im Gesamtbild, solang das keine 5-10W sind (oder bis zu 15W wie manche gute U.2/3).
Das weiss ich nicht, laut Herstellerangaben überschaubar... hast du eine? Vielleicht kannst was "sinnvolles" (=greifbares) sagen diesbezüglich, wäre super. Wobei die DC600M zum jetzigen Zeitpunkt eh mäßig interessant sind, obwohl es wsl. die beste SATA SSD ist, die man kaufen kann.
Ja eh. Aber es ist halt auch so, dass mit dem PLP gemeinsam auch ein guter Controller und guter Flash kommt. Die TBW sind schon ganz anders als bei einer MX... 870 Evo ginge noch, aber die sind preismäßig ja auch total daneben.
Drum hab ich jetzt nochmal eine PM883 gekauft, weils einfach P/L das einzig irgendwie brauchbare war... WD red oder 870 Evo wären ja nicht viel billiger... die 883 hat als 1tb zumindest 1,4 PBW, die MX500 als 1tb hat 0,36 PBW, als 500gb nur noch 0,18 PBW.
Du hast natürlich (auch) recht mit der Grundaussage, das eben als Begründung für
Bei M.2 sehe ich PLP als fragwürdig, in der "gesamtwirtschaftlichen-Heimnutzer-Betrachtung", bei SATA sehe ich das als ziemlich sinnvoll.
Eine PLP-SSD ist hier im Vorteil, denn aufgrund des Stromausfall-Schutzes kann sie die Bestätigung schon früher senden, denn sie kann ja quasi garantieren, dass der Schreibvorgang stattfinden wird, sogar bei Stromausfall. Dieser Vorteil bei der Latenz macht PLP für den Cluster-Betrieb so interessant, für den Heimanwender spielt das aber praktisch keinerlei Rolle.
Diesbezüglich würde mich äußerst neugierig machen, welche PLP-SSDs diesen "Sync-Cheat" "können", das ist wsl. eine Firmware-Sache... ich würde durchaus für möglich halten, dass nicht alle SSDs, wo PLP drauf steht, das können.
Noch spannender wäre, wie die Sache mit dem ZFS ZIL bzw SLOG aussieht... ziemlich undurchsichtig für mich.
z.B. wäre in meinen Augen interessant, ob sich ein ZFS Pool ohne PLP mit einem PLP-SLOG auf "Sync-Cheat = true" tunen lässt.
Beitrag automatisch zusammengeführt:
Nachtrag:
Ich hab ja außerdem immer ein Problem damit "abschätzen" zu können, welche Writes nun Sync sind und welche nicht. Man kann bei Proxmox wohl irgendwie auswählen, wie die VMs schreiben sollen?
Wäre vllt. ein SATA-PLP-Mirror einem M.2-nonPLP-Mirror überlegen wenn hauptsächlich Sync geschrieben wird? Fragen über Fragen (bei denen man von unseren üblichen Schlaumeiern H&H wenig hört ).
Jein, die Samsung M.2 PM dürften deutlich besser sein, hab keine hier, aber 1. die Herstellerangaben und 2. hab ich sowas auch schon gelesen in Foren (kann jetzt leider keine brauchbaren Quellen geben).
Die Samsung SATA PM sind total unauffällig bei mir, echt positiv genügsam und kühl. Ob die jetzt 0,1W oder 1,5W braucht ist mir recht egal im Gesamtbild, solang das keine 5-10W sind (oder bis zu 15W wie manche gute U.2/3).
Samsung habe ich keine hier, deshalb schreibe ich auch wie du nur meine Vermutungen. Ich hab's jetzt jedenfalls bei verschiedenen Kingstons, Seagates und Microns gesehen, dass der Verbrauch zum einen höher ist (was ja erst einmal logisch ist, weil schlicht ein Bauteil mehr), zum anderen aber halt die C-States des Gesamtsystems beeinflusst werden. Mir ist ja auch am Ende mehr oder minder egal, wo der Strom verbraucht wird - wenn zwar meine SSD ein paar Watt mehr oder weniger zieht, dafür Board und CPU ständig deutlich mehr, habe ich wenig gewonnen.
Das weiss ich nicht, laut Herstellerangaben überschaubar... hast du eine? Vielleicht kannst was "sinnvolles" (=greifbares) sagen diesbezüglich, wäre super. Wobei die DC600M zum jetzigen Zeitpunkt eh mäßig interessant sind, obwohl es wsl. die beste SATA SSD ist, die man kaufen kann.
Die DC600M habe ich, ja. Bin gerade vom Datenblatt eher positiv überrascht, um ehrlich zu sein. Schon weil es meine einzige SATA-SSD ist, die warm wird am Gehäuse, hatte ich da mehr erwartet.
Jedenfalls eine super SSD alles in allem, denn ich stimme dir zu, dass da NAND, Controller und DRAM einfach passen. Der Initialpreis war genial, ich wünschte ich hätte damals noch ein paar Exemplare mehr gekauft
Ja eh. Aber es ist halt auch so, dass mit dem PLP gemeinsam auch ein guter Controller und guter Flash kommt. Die TBW sind schon ganz anders als bei einer MX... 870 Evo ginge noch, aber die sind preismäßig ja auch total daneben.
Drum hab ich jetzt nochmal eine PM883 gekauft, weils einfach P/L das einzig irgendwie brauchbare war... WD red oder 870 Evo wären ja nicht viel billiger... die 883 hat als 1tb zumindest 1,4 PBW, die MX500 als 1tb hat 0,36 PBW, als 500gb nur noch 0,18 PBW.
Du hast natürlich (auch) recht mit der Grundaussage, das eben als Begründung für
Bei M.2 sehe ich PLP als fragwürdig, in der "gesamtwirtschaftlichen-Heimnutzer-Betrachtung", bei SATA sehe ich das als ziemlich sinnvoll.
Ja... lass uns am besten nicht über Preise reden (schon so gehen unsere Beiträge stark ins OT, lol). Ich hadere jedenfalls auch gerade schwer, wie ich meinen Storage aufrüste. Eigentlich wollte ich mein NAS nur mit SSDs als Backup betreiben, aber so macht das wenig Spaß.
Diesbezüglich würde mich äußerst neugierig machen, welche PLP-SSDs diesen "Sync-Cheat" "können", das ist wsl. eine Firmware-Sache... ich würde durchaus für möglich halten, dass nicht alle SSDs, wo PLP drauf steht, das können.
Ich würde erwarten, dass das jede kann, aber definitiv bestätigen kann ich dir das nicht. Bei der DC600M und den wenigen PLP-SSDs, die wir bei Hardwareluxx getestet haben, waren die konstanten Latenzen jedenfalls auffällig, so dass ich das mal als Indiz zumindest für die paar Modelle hernehmen würde.
Ich hab ja außerdem immer ein Problem damit "abschätzen" zu können, welche Writes nun Sync sind und welche nicht. Man kann bei Proxmox wohl irgendwie auswählen, wie die VMs schreiben sollen?
Idk, da bin ich raus.
Aber deine Frage an sich ist ja richtig, denn ob man an dieser Stelle überhaupt einen Vorteil erfahren kann, hängt halt wie so oft am Workload ab. Aber wir sehen es ja auch bei praktisch jeder SSD-Neuankündigung der letzten Jahre, dass man halt gerne mit sequenziellen Angaben wirbt und der User in Unwissenheit kaum bis gar nicht abschätzen kann, ob ihm das ansatzweise auch nur irgendwann einen Vorteil bietet. Schlicht weil man eben den Workload gar nicht so genau abschätzen kann.
Ich würde erwarten, dass das jede kann, aber definitiv bestätigen kann ich dir das nicht. Bei der DC600M und den wenigen PLP-SSDs, die wir bei Hardwareluxx getestet haben, waren die konstanten Latenzen jedenfalls auffällig, so dass ich das mal als Indiz zumindest für die paar Modelle hernehmen würde.
WIE habt ihr das denn getestet?
Fällt dir irgend eine sinnvolle Testmethode ein, mit der man eindeutig feststellen kann, ob das nun ein Sync ist oder nicht und dann ein weitgehend zuverlässiges Ergebnis ableiten kann?
Ich hätte nix dagegen die mir zugänglichen SSDs zu testen... dann machen wir eben einen PLP Sammler.
=> Wir bräuchten dafür nur eine sinnvolle, nachvollziehbare und zugängliche Testmethode.
Diese Frage ist aber entscheidend für die Frage "PLP oder nicht".
Zum letzten Punkt mag ich nicht mehr sagen, mag diesen nicht unbedingt nötigen Seitenhieb meinerseits nicht unnötig aufbauen. Man findet H&H vor allem in populären Intel-Threads, das muss jetzt aber auch reichen.
Ja das ist richtig, allerdings denke ich, das im Falle des Kontron-Boards die Anbindung mit 6G über Bonding vorerst ausreichend und sparsamer als ein 10G NIC sein sollte.
Wird nicht funktionieren, jedes Switch das ich kenne, lässt nur ein Bonding unter Interfaces mit derselben Geschwindigkeit zu. Also z.B. 10G + 1G würde nicht gehen.
Gibt auch sparsame 10G NICs, die Mellanox CX311A z.B.
Die Switches werden untereinenander mit 10G angebunden sein und so ausgelegt werden, dass zumindest im Keller 1x 10G frei bleiben um den Server im Bedarfsfall per 10g NIC anbinden zu können.
Die Frage ist wie viele günstige Switches Managed sind um VLAN und Bonding in vollem Umfang nutzen zu können. Aber wie bereits geschrieben, denke ich, wird hier nochmal ein seperater Thread erstellt werden.
Hab hier noch eine alte Fujitsu Kiste mit Ivybridge Celeron CPU, die läuft heute noch. Bist aber halt in der Aufrüstbarkeit beschränkt, deshalb lieber zum Kontron greifen, wenn es dir darauf ankommt.
Hatte ich für meinen N100 auch schon überlegt aber dann doch wieder verworfen; Keine Ahnung weshalb. Wenn ich mir das so anschaue, mit 2W tatsächlich ne Überlegung wert. Wäre mal interessant was letztlich mehr verbraucht, der iGPU oder die TPU. Ich tippe auf die iGPU.
Die SATA SSD würde ich weglassen, stattdessen 2x NVMes im Mirror. Wenn dir die Daten heilig sind, und du sowieso Proxmox und nicht Unraid einsetzt, kannst auch nach welchen mit PLP suchen.
Die Red Plus sind ja dann gesetzt und für deine Kameras kannst ja noch 2 andere HDDs nehmen, die dafür besser geeignet sind. Die würde ich nicht auf denselben Pool schreiben lassen, von dem du auch Medien runter liest. Evtl macht sogar hier eine Optane Sinn, die kannst partitionieren, eine Partition für Proxmox, eine als ZIL Device z.B. Meine läuft seit 2018 im Server 24/7, die halten ewig. Ist ja im Prinzip SLC Speicher mit PLP. Beobachte z.B. gerade die hier: https://www.ebay.de/itm/375496356995
Hab im Server einen Delock Adapter von M.2 auf U.2, an dem die Optane dran hängt, ohne Probleme.
Wird nicht funktionieren, jedes Switch das ich kenne, lässt nur ein Bonding unter Interfaces mit derselben Geschwindigkeit zu. Also z.B. 10G + 1G würde nicht gehen.
Gibt auch sparsame 10G NICs, die Mellanox CX311A z.B.
Ach sch... 5G meinte ich natürlich, war schon spät und ich übernächtigt. Das Kontron hat ja 2x 2.5G + 1x 1G
Aber funktioniert es denn aus den 2x 2.5G via LACP oder 802.3ad einen Bond zu erstellen und aus diesem und dem 1G ein active-backup Bond zu erstellen?
Ich glaube in dem Fall würde ich früher oder später die Medien und Daten auf 2x Sata-SSDs packen. Beim streamen sind wir ja lesend unterwegs was bei den SSDs auch auf Dauer kein Problem sein sollte und gerade bei mehreren Streams dürfte die höhere Lese-Rate auch von Vorteil sein. Zusätzlich würde nich etwas Strom gespart werden.
Ich denke vorerst werde ich darauf verzichten und einfach mal schauen ob es Probleme mit der Schreibrate/-latenz geben wird. Im Bedarfsfall kann ich immernoch nachrüsten.
Das habe ich gerade bei der DC600M, aber auch der DC2000B und so mancher U.2-SSD bemerkt. Das heißt, selbst wenn isoliert betrachtet diese vergleichsweise human agieren, kann der Gesamtverbrauch deutlich ansteigen.
Mit dem Thema sparsames Serversystem und SSDs habe ich mich auch schon länger beschäftigt - und irgendwie sind eben alle Anforderungen nur schwer umsetzbar.
Im Enterprisebereich haben die SSDs oft hohe DWPDs und auch PLP - und können meistens kein ASPM. Abgesehen vom Eigenverbrauch der SSDs erhöht fehlendes ASPM den Gesamtverbrauch der Systeme deutlich. Das ist aber eben wohl kein Feature, was im Enterprisebereich viel verwendet wird.
Die Kingston DC600M ist da eine löbliche Ausnahme, macht bei mir keine Probleme. Ist aber leider nur SATA, was die Performance doch deutlich einschränkt. Im Enterprise NVME M.2/U.2 Bereich habe ich sonst nichts gefunden, was ASPM unterstützt. Entschieden habe ich mich dann (oben schon genannt) für die Fury Renegade, zwar ohne PLP, aber relativ kühl und effizient und mit für die Klasse einer relativ hohen TBW.
Was das Netzwerk angeht: vor den 2,5 GBit NICs von Intel (auch auf dem Kontron verbaut) kann ich nur warnen. Da gibt's viele Forenbeiträge auch im Unraid-Forum (verwende ich zwar nicht, aber wenn's um energiesparende Systeme und auch C-States geht, findet man dort viele Infos). Mit diesen Intel NICs habe ich auf verschiedenen Boards keine C-States höher als C3 erreichen können. Im 10G Bereich ist das auch schwierig. Auf Empfehlung hier im Forum habe ich mir eine gebraucht Intel X710 zugelegt - das ASPM funktioniert unter Proxmox problemlos.
Wollte nur nicht, dass der Threadersteller mit dem sicher guten, aber teuren Board nachher ganz enttäuscht dasteht...die verfügbaren W680 Boards sind leider alles andere als stromsparend
Wobei ich sagen muss, selbst mit den verrufenen Realtek hatte ich bisher nicht so die Probleme... heisst zwar nix, so viele waren das nicht, aber naja.
Wenns nach dem TrueNAS Forum ginge, dürfte man 2.5 GbE ja ohnehin überhaupt nicht verwenden...
Ich würde das einfach mal probieren und schauen, wie sichs tut.
Ich glaube, solang man "nur" Linux verwendet und kein BSD oder Solaris etc. ist das alles nicht soo tragisch.
Als M.2 wäre die PM9A3 interessant. Hatte leider nie eine. Leerlauf wird aber mit 2.5W angegeben, was ich mir durchaus stimmen könnte, weil die PM8xx SATAs hier recht sparsam sind.
Hab leider nix dazu gefunden.
P/L mäßig ist die PM9A3 aber nicht so interessant, einfach zu teuer.
Die PM9A3 ist definitiv interessant, wir haben sie auf einem Server als RAID1 mit Proxmox laufen. Sie hat PLP, ein gutes DWPD Rating, aber unterstützt kein ASPM. Das ist schlicht deaktiviert, obwohl die Firmware der 980 EVO ähnlich ist.
Die PM9A3 ist definitiv interessant, wir haben sie auf einem Server als RAID1 mit Proxmox laufen. Sie hat PLP, ein gutes DWPD Rating, aber unterstützt kein ASPM. Das ist schlicht deaktiviert, obwohl die Firmware der 980 EVO ähnlich ist.
Unterstützt also wohl ASPM, wird zwar nie sparsam, aber behindert das restliche System nicht?
Hat die PM9A3 nur die Zeile 0? Wie kommt das dann mit den 2.5W Leerlauf überein?
Alles gut finde ich auch super interessant, sind direkt paar Infos welche ich nutzen kann.
Is nur aktuell recht stressig und ich komme nicht dazu viel zu schreiben.
Man kann den Kernel dazu zwingen, ASPM zu "versuchen" - in dem man als Bootparameter pcie_aspm=force hinzufügt. Das hilft aber bei Geräten, bei denen ASPM explizit deaktiviert ist, nichts. Ich hatte das bei den Intel 2,5 G NICs versucht - das System war aber daraufhin eher instabil. Ja, und das ist leider auf das Gesamtsystem übertragbar - sobald eine aktive Komponente kein ASPM kann, sind höhere C-States schlicht nicht erreichbar. Mit Glück ist dann bei C3 Schluss.
Wenn es unter Capabilities auftaucht, aber Disabled ist, müssen eventuell nur die bits zum Einschalten gesetzt werden.
Unabhängig von dem Eintrag in der KernelCMD würde ich folgendes ausführen.
(Proxmox/Debian)
echo -n powersave > /sys/module/pcie_aspm/parameters/policy
Und kannst du versuchen über dieses python skript die aspm bits setzen zu lassen. Ist nicht mein eigenes Skript, meinem halbwissen zu folge, scheint es jedoch nichts "bösartiges" zu beinhalten und habe es daher auf meinem System ausgeführt.
Vorvorwort: Danke an @pumuckel für das ursprüngliche Erstellen des Threads. Ich habe mich bereit erklärt den Thread zur Pflege zu übernehmen und um neue Inhalte zu ergänzen. Der ursprüngliche starter bleibt vorerst als Spoiler im letzten Abschnitt angehängt, damit keine Inhalte verloren gehen...
Zum Kontron K3851-R1 gibts einen Test von Heise (Heise+). Darin steht, dass das Board im Idle 14W und unter Last 133W-169W gebraucht hat und dass das wohl hauptsächlich an dem PCI (!) slot liegt, der über eine PCIe-PCI bridge "angeflanscht" wurde und tiefere C-Stats verhindert.
Ich find 14W Idle jetzt nicht so schlecht, allerdings ging mit Fujitsu früher oft < 10W. Möglicherweise lässt sich der PCI Port über das BIOS inzwischen komplett abschalten (es gab am BIOS einiges an Kritik), der Artikel ist auch schon etwas älter.