[Sammelthread] Proxmox Stammtisch

[gea]

SLOG kann man sich auch sparen als normalo, viele Writes hat das bei mir nicht gesehn.

Nunja
mit sync=disabled wird das Slog nie auch nur ein einziges Write sehen
mit sync=default landen alle Writes, bei denen das schreibende Programm sync anfordert zusätzlich im Slog
mit sync=always werden alle writes die auf dem Pool landen auch zusätzlich im Slog protokolliert und das kann heftig sein.

 

[Badrig]

Mit rsync oder NFS müsste es genutzt werden, bei CIFS nicht, glaube ich.

 

[gea]

Wegen Copy on Write bleibt ZFS immer konsistent, entscheiden ist ob man die letzten Sekunden bestätigter Schreibvorgänge verlieren darf oder tolerieren will.

Ein Beispiel: Ich speichere auf SMB ein kleines Word Dokument. Der Strom fällt aus nachdem das Dokument im RAM Cache ist aber bevor es auf dem Pool ist. Mit sync ist die Datei nach Reboot auf Platte, ohne sync verloren.

NFS mit Programmen die sich auf fsync() verlassen z.B. transaktionale Datenbanken oder VMs vor allem mit alten Dateisystemen sind Beispiele wo sync den Unterschied machen kann zwischen korrupte Daten oder konsistente Daten.

 

[asm@s24]

mit sync=always werden alle writes die auf dem Pool landen

Kann man mit einem Dataset mal probieren, das ist ja das schöne an ZFS. Man wird aber des Lebens nicht mehr froh. Jedenfalls ging das mir so. Bei PBS z.B. Einbruch um 90% ...
Und für 10x so schnelle HW bin ich zu geizig.

 

[gea]

nur als Hausnummer:
sync write auf hd: 5 MB/s, auf SSD 50 MB/s und auf Optane 500MB/s

 

[Badrig]

Hoch lebe die Optane P1600X. Wahrscheinlich kann man die inzwischen mit Gold aufwiegen, obwohl sie doch damals alle verschleudert wurden.

 

[LehmannE]

Wollte mein Server neu machen!
Bin noch bei CPU unsicher, welches Model es werden soll.
Zur Auswahl habe ich den AMD Ryzen 7 8700G oder den 9700X?
Geplant ist, das die soweit wie möglich zum Strom sparen laufen sollen.
Das kommt in eine ASRock Jupiter X600 Gehäuse rein.

 

[Steggi]

Ich würde den 9700X nehmen, wenn du die stärkere iGPU des 8700G nicht brauchst

 

[Badrig]

Finde ehrlich gesagt keine der beiden optimal. Wenn's um Energiesparen und Proxmox geht, wäre ich eher bei Intel. Ich hab zuletzt den 250K genommen, vor allem wegen Effizienz und hoher Core-Anzahl. Und sie sind moderner und spottbillig momentan....

 

[Weltherrscher]

Hoch lebe die Optane P1600X. Wahrscheinlich kann man die inzwischen mit Gold aufwiegen, obwohl sie doch damals alle verschleudert wurden.

die 900P gehen aktuell in der Bucht für ~150 Tacken über den Tisch.
280 GB reichen im HomeLab locker aus, um genug Syncs abzufangen, damit das Netz wieder der Flaschenhals wird...
Seitdem ich die drin hab alle Datasets auf sync=always gestellt.
Vollauf zufrieden.

 

[BobbyD]

Ebenfalls vollauf zufrieden, mit alle Datasets auf sync=disabled.

 

[Trambahner]

Das kommt in eine ASRock Jupiter X600 Gehäuse rein.

Tu das nicht!!!!! Das würde ich >intensivst< überdenken ! In diesen flachen Mini-Gehäuse bekommst Du das nicht gekühlt und dazu Lärm ohne Ende. Es sei denn Du limitierst die CPUs auf 25-35W PPT.

Vergiss den "Schnuckelfaktor" dieser Mini-Cases und setze auf mATX (Asus B650M / B850M Tuf Gaming Plus) und z.B. ein DeepCool CH260. Da bekommst dann auch brauchbare Optionen für Speicher oder andere Karten.
Arctic Freezer 36 drauf, vorne und hinten Arctic Lüfter (richtig einstellen, dann wirds annähernd unhörbar bei niedriger Last und Leerlauf). Und dann kannst dann den 9700X ordentlich ausfahren.

Und ja: go 9700X wenn Du die Grafikleistung des 8700G nicht brauchst. Der 9700X hat eine massiv bessere Singlethread-Leistung (Generation Zen5 statt Zen4) , mehr und schnellere PCIe-Lanes, kann ECC.


Generell: AM5 ist in aller Regel nicht die stromsparenste Option. (Man kann das mit bissl Glück halbwegs hintrimmen, aber nicht in jeder Hw-Konfig mit jedem Bios/Agesa).
Mit nem 9700X und nem B650 Proart sowie nem Corsair RM750x kommt man z.b. auf etwa 30-35W Idle. Details natürlich abhängig von der sonstigen Ausstattung.

 

[Steggi]

Ebenfalls vollauf zufrieden, mit alle Datasets auf sync=disabled.

Ja, damit gehts dann halt noch etwas flotter. Ist immer eine Frage von wie viel Datenverlust man im Fall der Fälle in Kauf nehmen möchte. In einer Single Host Konfiguration hast du mit diesem ja bereits einen Single Point of Failure.
In diesem Blog wird das recht gut beschrieben und auch die anderen ZFS Beiträge lesen sich gut https://blog.stylite.de/blog/zfs-slog-best-practices/

In diesen flachen Mini-Gehäuse bekommst Du das nicht gekühlt und dazu Lärm ohne Ende. Es sei denn Du limitierst die CPUs auf 25-35W PPT.

Das würde ich jetzt nicht pauschalisieren. Ich hatte vor einiger Zeit ein paar HP Elitedesk 800 G4 in der Hand und die waren trotz ihrer 65W Intel CPU im Stresstest ganz OK von der Lautstärke her. Die haben aber in der 65W Klasse extra nen perforierten Deckel, damit der besser Luft ziehen kann.

Wenn man den Platz hat, macht aber natürlich eine etwas größere Plattform mit besserer und leiserer Kühlung mehr Sinn, vor allem, wenn die CPU nicht nur idlen soll.

 

[LehmannE]

Danke für eure Info!
Oder ich muss mal nach Intel schauen.
Was könnte ihr da empfehlen, was aus der Intel Ultra Serie?

 

[Badrig]

Wie gesagt 250k plus.
Oder wenn du nicht so viele VM/CT laufen hast, natürlich auch die kleineren 225 oder 245K. Die K-Modelle würde ich sicherheitshalber aber auf ~80-90W limitieren, da sind sie am effizientesten.

Achja und wegen der Architektur wäre es eventuell sinnvoll besonders leistungshungrige VMs auf die P-Cores zu pinnen. Das sollte man im Hinterkopf haben.

 

[LehmannE]

So viele VM 2 und LXC 3 mehr habe ich nicht!
Hatte mir mal den 235T angeschaut, 35W PL1 und 114W PL2.
Es soll was Stromsparen werden!

 

[Badrig]

Verbaue dir da mal lieber nichts. PL drosseln geht ja immer, auch auf 35W wenn gewünscht. Den Aufpreis für die vielleicht etwas selektiertere CPU wirst du vermutlich niemals wieder reinholen.

Dann würde ich zum 225 tendieren.

 

[Trambahner]

Alternativ AM4 mit ein Deskmini X300 mit nem 5600G/5500GT (und nem brauchbaren Kühler, der beim Deskmini mitgelieferte is nix).
Bekommst Du auf 10W Idle für Windows und Linux, hast genug Rechenpower und kannst die günstigeren DDR4-Rams nutzen. Einzig ECC geht nicht, aber das geht auch bei Intel nicht, solang Du kein W/R-Chipsatz nimmst. Und die gibt es so klein nicht. Zwei M2 und zwei Sata 2,5" passen rein, in den Wlan-Slot kann man bei Bedarf ein 2.5G Lan reinzimmern.

Abgesehen davon, Intel 1851 ist auch kein Kostverächter was Strom betrifft. Alle aktuellen Prozessoren ziehen mehr als ihre Vorgängergeneration; die schnelleren PCIe-Lanes, DDR5 verlangen ihren Tribut.
=> Wirklich supersparsam ist keine der aktuellen Desktop-CPUs im Leerlauf mehr; das ist vorbei.
Mit den alten Skylake und 8000/9000 Intels ist das nicht mehr vergleichbar; die T-Modelle da waren im Idle sehr sparsam und oben rum ja explizit auf 35, 45 oder 65W limitiert; speziell für diese Mini-Rechner mit beschränkter Kühlung. Die T-Modelle haben das meist nie ausgeschöpft.

Bei aktuellen CPUs ist das anders. Die TDP-Angaben aktueller CPUs sind oft nicht mehr wie ein grober Anhaltspunkt; wichtiger ist bei AMD die Packagepower PPT. Bei den kleineren CPUs ist die Packagepower die TDP*1,4.
=> eine CPU die mit "65W TDP" ausgelobt ist, wird also default bis ~90W gehen wenn man nicht manuell was anderes einstellt. Wenn man PBO bei nicht-APUs aktiviert, dann kann es nochmal ganz anders aussehen.

Kämpfe nicht um das letzte Watt; das wird teuer und beschränkt einem. Und wie gesagt: in aller Regel nicht vom Schnuckelfaktor von Mini-PCs leiten lassen sondern von praktischen Überlegungen. Der AM4-Deskmini ist da eine Ausnahne, aber auch da willst Du keine CPU mit mehr als 45 oder 65W.

 

[asm@s24]

Ist immer eine Frage von wie viel Datenverlust man im Fall der Fälle in Kauf nehmen möchte.

Erinnern kann ich mich an eine Backup-Chain in den letzten 40 oder so Jahren. Das war noch auf 'ner lächerlichen Syno. Und wirklich wichtig war das auch nicht. Man läßt das alte Zeug halt einfach liegen, weil es nix kostet und man das Aufräumen scheut.
Jetzt hab ich "alles" (immer noch viel zu viel) 2x auf ZFS lokal und noch mal in der Cloud. Für meine - eh schon geringe - Paranoia langt das.

Hoch lebe die Optane P1600X.

Es muß doch irgendeinen Grund geben, daß es solche Saurier heut nicht mehr gibt. Evolution oder so?
Allein die dafür nötigen PCI-Slots, in den modernen Mini-PC hat's die gar net. Also muß man an einem Enterprise-Server mit entsprechend Stromverbrauch festhalten. Hab ja selbst auch noch so 'ne Kiste, aber ich arbeite an der Abschaffung.

 

[LehmannE]

Wenn man nach ein AMD 5600G schaut.
Würde da das Board passen ASUS ROG Strix B550-F Gaming oder das ihr ASUS TUF Gaming B550-Pro?
Weil es 2 x M.2 22110 an Board hat. Ich 2 x M.2 22110 habe und die gerne benutzen möchte. Und den Rest vom Board deaktiviert, was man nicht braucht.
Kann man das bei 10 W hin bekommen?

 

[gea]

[zu Optane 1600.]

Es muß doch irgendeinen Grund geben, daß es solche Saurier heut nicht mehr gibt. Evolution oder so?
Allein die dafür nötigen PCI-Slots, in den modernen Mini-PC hat's die gar net. Also muß man an einem Enterprise-Server mit entsprechend Stromverbrauch festhalten. Hab ja selbst auch noch so 'ne Kiste, aber ich arbeite an der Abschaffung.

Die Optane 1600 ist M.2, passt also in jeden Mini Rechner.

Es ist aber halt so, dass Optane bei einem Desktop Rechner kaum was spürbares bringt, dafür aber 10x so teuer oder 1/10 der Kapazität im Vergleich zu sonstigen NVMe. Das ist der Grund warum Optane eingestellt wurde. Der Enterprise/ZFS Markt ist zu klein für diese Spezialtechnik, trotz 500k iops und volle performance auch wenn fast voll, kein trim, kein garbage collection, kein erase prior write wie bei sonstigem Flash.

 

[Weltherrscher]

Der ursprüngliche Plan war ja auch NVDIMMs da draus zu schwurbeln, hat sich nach genau einer Prozessorgenration aber auch wieder gelegt... ^^

 

[Trambahner]

@LehmannE Nein, das wird nichts mit 10W; je nach Netzteil 15-20W. 10W bekommst Du nur mit nem Deskmini X300 hin.
M.2 22110 ??? Es gibt keine Consumer-M2 mit 22110, Consumer sind 2280. 22110 wären Enterprise-SSDs und die ziehen wg. Stützkondensatoren relativ viel Watt.
Die Boards sind fein. Aber 10W? Nein nein nein.
Aber. Spar Dir nicht für viel Kaufpreis eine kleine Watt-Zahl; das zahlt sich meist nicht aus.

Btw, Hardwareberatung solltest Du nen eigenen Thread im Beratungs-Bereich oder im Homeserver-Bereich aufmachen; umfangreichere Hardwarediskussionen passt eher nicht sooo gut im Proxmox-Thread.

 

[LehmannE]

Werde ich mal bei Hardware Therad schauen.
Eine frage zu PCI Express Karte habe ich noch!
Welche erkennt, arbeite gut mit Proxmox zusammen. Geht um M.2 NVMe Karten und auch Unterstützt von S.M.A.R.T.
Habe 2x PCIe 4.0 x4 M.2 NVMe SSD 22110.
Da habe ich mal bei Delock geschaut und was gefunden.
Delock 89837
https://www.delock.de/produkt/89837/merkmale.html?g=PCIE_10

Delock 90616
https://www.delock.de/produkt/90616/merkmale.html?g=PCIE_10

Delock 41802
https://www.delock.de/produkt/41802/merkmale.html?g=RISE_10

 

[Badrig]

Das sind Bifurcation Karten, da ist sowieso kein Chip drauf -> alle unproblematisch, wenn das Mainboard Bifurcation kann

 

[LehmannE]

Danke!
Dann werde ich es mal mit der Delock 89837 probieren.
Ist schön kompakt.

 

[pwnbert]

Zur Auswahl habe ich den AMD Ryzen 7 8700G oder den 9700X?

8700G wenn du die PCIe Lanes nicht brauchst (Gen5, mögliche Bifuricaton, Anzahl).
Wenn du gut aufgeteiltes PCIe brauchst (und viel) dann den 9700X.
Der 8700G ist in jedem Fall sparsamer.

Dann würde ich zum 225 tendieren.

Soo sparsam ist der aber auch nicht, hab sowas letzens gebaut und im entsprechenden Thread gepostet, braucht im idle ähnlich viel wie meine Cezanne (5650G, 5750G), evtl. ein klein wenig mehr (naja, PCIe Gen 5 halt und so).
Wenn der bissl rechnen soll geht das aber ziemlich gut hoch, das ist beim Cezanne nicht so.
Wies beim 8700G ist, kann ich nicht genau sagen, wird aber wsl. ganz okay sein.

Intel iGPU ist zwar interessant weil SR-IOV theoretisch, was ich bisher damit rumgemurkst hab (mit llama etc.) isses aber so ne Sache...

Ob der Intel jetzt das Maß der Dinge ist - naja.


Hängt halt davon ab, was man genau damit machen mag, ob 9700X, 8700G oder 1851. (Trambahner hat irgendwo vom 9700X Verbräuche gepostet, per SuFu in diesem Unterforum zu finden).