Welches Setup mit minimalem Stromverbrauch

[Sakura_Kira]

Moinsen,

ich mach mir grad nen Plan für einen Homeserver und suche eigentlich neues Board + CPU + Ram. Rest habe ich soweit (bzw. wird kanibalisiert).
Es geht mir um Stromsparen bei gleichzeitiger Leistung.

Ich möchte wieder ZFS. 2 VMs sollen dauerhauft drauf laufen (Debian und ein Windows Server)
Es soll hinten dran dann 8*20TB Nettokapazität. Die Frage ist noch wie ich das aufteile und welches OS.
Unklar bin ich mir noch ob ich TrueNas Scale mache oder Proxmox. Oder doch Proxmox und drunter ne VM mit TrueNas Core?
Deshalb die Frage, was macht mehr Sinn.
2 Paritäten oder 3 (müsst ich noch ne platte holen und das Raid neu bauen). Macht das überhaupt noch Sinn oder macht man gleich RaidZ1 mit Fullbackup und Backupt nur nach wenn eins ausfällt und hofft dann aufs beste?
Wenn ich ans Resilvering beim jetzigen RaidZ2 denke wird mir ehrlich etwas schlecht. Ich hab und wollte das nie ausprobieren wie lang das dann wohl dauert.
Ich habe auch derzeit schon ein Fullbackup von allem (Koffer mit 20 HDDs).

Derzeit hab ich nen Xeon auf Intel1200SPBL und das Setup braucht idle so ca. 70-75W. (1xSSD System + 10x20TB Toshiba Enterprise als Datenplatten).
Unter normalem Betrieb kommt das Setup mal auf 130W aber kaum drüber. (alles stromsparend eingestellt, unnötiges abgeschaltet).
Die HDDs dürften so 4W im idle haben. Heißt rechnet man die 10 Platten ab verbraucht mein jetziges System so in etwa 35W.

Drauf läuft momentan TrueNas Core nur als Storage und ich hab extra noch eine NUC mit Proxmox am laufen. Und dann hab ich noch 2-3 Pi am laufen für kleinkram die ich gern auch da drin kumulieren würde (die haben dann ja auch so 4-10W je nachdem)
Es wäre schön wenn es noch Stromsparender geht und halt alles in einem.

Was ich damit mache? Nix besonderes.
- MySQL für Mediacenter (benutze derzeit kein Transcodieren, ergo hab ich keine GPU)
- VMs mit diversen OS (u.a. zum testen). Schätze mal so 3-4 gleichzeitig aber nie wirklich Last drauf.
- Backup Target
- Nextcloud
- Kleinscheiss von den Pi's den ich sowieso mal in Proxmox virtualisieren wollte

Was mir wichtig ist? Datenintegrität.

160TB klingen jetzt viel aber ich hab schon ca. 80% voll.

Vielleicht hat ja wer ne Idee was man momentan Sinn macht als Board-CPU Kombi. Schön wär ne NIC mit mehr als 1GB weil momentan hab ich ne Karte dafür drin und das saugt wieder extra Strom.

Und vielleicht auch ne Empfehlung bezüglich des OS. (Unraid hab ich mir auch angeschaut aber der Preis ist ja ... )
Achja das soll ins ATX Format (istn Tower Gehäuse) weil ich keine Möglichkeit habe Serverschränke unterzubringen die meine Frau nicht stört xD
Die üblichen 19" verdächtigen wurden mir schon untersagt ... hab hier nen proliant noch rumfliegen gehabt.


Hoffentlich war das nicht zu durcheinander.

 

[Steggi]

Moin,

Ich möchte wieder ZFS.

Gute Wahl!

Deshalb die Frage, was macht mehr Sinn.
2 Paritäten oder 3 (müsst ich noch ne platte holen und das Raid neu bauen). Macht das überhaupt noch Sinn oder macht man gleich RaidZ1 mit Fullbackup und Backupt nur nach wenn eins ausfällt und hofft dann aufs beste?

Ich würde grade für größere Pools RaidZ2 dem RaidZ1 vorziehen. Es wäre nicht das erste Mal, dass während der Wiederherstellung eine weitere Platte flöten geht. RaidZ3 kannst du natürlich machen, ist aber eigentlich noch etwas overkill.

Wenn dir deine Daten wichtig sind, solltest du ein möglichst automatisches und aktuellen Backup haben. Backup auf 20 einzelne Platten klingt jedenfalls sehr abenteuerlich, aber immerhin besser als überhaupt nichts. Denn so gut und robust ZFS auch ist, ein Backup ersetzt es trotzdem nicht.

Derzeit hab ich nen Xeon auf Intel1200SPBL und das Setup braucht idle so ca. 70-75W.

Das sind eigentlich recht gute Werte. Klar, da würde vielleicht noch was gehen, aber für die 10W würde ich nicht gleich die ganze Plattform tauschen. Wenn noch PCIe Slots frei sind, pack da lieber einen günstigen 8-Port LSI HBA dazu und erweiter dein Setup bei Bedarf.
Deine 3-4 VMs sollte die Plattform mit ausreichend RAM auch noch packen.

Unklar bin ich mir noch ob ich TrueNas Scale mache oder Proxmox. Oder doch Proxmox und drunter ne VM mit TrueNas Core?

Proxmox nutzt zwar ZFS, ist aber eigentlich ein reiner Hypervisor. Da müssten deine Daten also in eine VM wandern, die dann die Shares bereitstellt.

TrueNAS Scale nutzt KVM als Hypervisor und kann zusätzlich Shares aller Art. Grade bei vorhandenem Pool wäre der Umzug deiner Daten hierhin wohl am einfachsten.

Wie es mit TrueNAS Core weitergeht, ist noch nicht ganz klar. Der Hersteller hat kürzlich angekündigt, keine Version 14 mehr rausbringen zu wollen. Wenn die bei der Aussage bleiben, ist da 2026 mit dem EOL von FreeBSD 13 Schluss.

Schön wär ne NIC mit mehr als 1GB weil momentan hab ich ne Karte dafür drin und das saugt wieder extra Strom.

Ob die NIC nun onboard oder auf ner Zusatzkarte steckt, macht meist keinen so großen Unterschied. Leider hast du uns noch nicht verraten, um welche NIC ist sich handelt.

 

[Sakura_Kira]

Moin,


Gute Wahl!


Ich würde grade für größere Pools RaidZ2 dem RaidZ1 vorziehen. Es wäre nicht das erste Mal, dass während der Wiederherstellung eine weitere Platte flöten geht. RaidZ3 kannst du natürlich machen, ist aber eigentlich noch etwas overkill.

Wenn dir deine Daten wichtig sind, solltest du ein möglichst automatisches und aktuellen Backup haben. Backup auf 20 einzelne Platten klingt jedenfalls sehr abenteuerlich, aber immerhin besser als überhaupt nichts. Denn so gut und robust ZFS auch ist, ein Backup ersetzt es trotzdem nicht.


Das sind eigentlich recht gute Werte. Klar, da würde vielleicht noch was gehen, aber für die 10W würde ich nicht gleich die ganze Plattform tauschen. Wenn noch PCIe Slots frei sind, pack da lieber einen günstigen 8-Port LSI HBA dazu und erweiter dein Setup bei Bedarf.
Deine 3-4 VMs sollte die Plattform mit ausreichend RAM auch noch packen.


Proxmox nutzt zwar ZFS, ist aber eigentlich ein reiner Hypervisor. Da müssten deine Daten also in eine VM wandern, die dann die Shares bereitstellt.

TrueNAS Scale nutzt KVM als Hypervisor und kann zusätzlich Shares aller Art. Grade bei vorhandenem Pool wäre der Umzug deiner Daten hierhin wohl am einfachsten.

Wie es mit TrueNAS Core weitergeht, ist noch nicht ganz klar. Der Hersteller hat kürzlich angekündigt, keine Version 14 mehr rausbringen zu wollen. Wenn die bei der Aussage bleiben, ist da 2026 mit dem EOL von FreeBSD 13 Schluss.


Ob die NIC nun onboard oder auf ner Zusatzkarte steckt, macht meist keinen so großen Unterschied. Leider hast du uns noch nicht verraten, um welche NIC ist sich handelt.

Danke erstmal dass du meine Wall of Text gelesen hast und für den Input.

Die Überlegung war halt wie lange wohl ein resilvering läuft bei der poolgrösse. Und ob ich dann nicht gleich „aufgebe“ oder halt mehr als zwei Paritäten rein packe (wobei meine Frau jetzt schon mit den Augen rollt wenn ich das Wort Festplatte auch nur versuche auszusprechen)

Die Frage nach dem Backup ist halt generell ein Problem. 140+ TB zu Backuppen ist halt schon so ne Sache. Und wir reden momentan von ca. 500gb bis 1TB pro Woche an Änderungen. Letzte Woche hab ich 1TB gegen 2TB getauscht datentechnisch. Wobei sich das nivelliert mit der Zeit.
Die wichtigsten Daten sind ja weniger als 1TB. Die hab ich Cryptomator verschlüsselt auf OneDrive sowie halt extern mit regelmäßigen Sync.
Der Rest, naja liegt auf HDDs im PeliCase.
Bin da für Lösungsvorschläge dankbar. LTO krankt etwas an der fehlenden Software (gute kostet halt echt Geld). Wenn ich die Dinger wie einzelmedien einsetze, ist es halt extrem aufwändig mit der kopiererei.

War auch schon versucht nen Server offsite hinzustellen. Bei mir herrichten und dann draufkopieren. Extern hinstellen und nur bei Bedarf online nehmen. Krankt etwas daran, dass der nicht ganz billig ist.

Truenas core ist nen guter Hinweis, das ist dann raus wenn’s EOL ist.
Muss ich scale mal testen. Dachte bislang mit VM und so soll das so semi sein und die „Apps“ (MySQL bspw) sollen wohl auch so semi toll sein. Deshalb die Idee Proxmox und die Platten durchschleifen in ne VM und dann dort TrueNas drauf. Ob das gut funktioniert hab ich leider keine Erfahrung.

Zum Thema HBA, ich hab zwei IT-Mode flashed 9211i liegen sollte ich die brauchen.

Warum ich das System wechseln wollen würde, naja ich würd gern mehr Speicher reinpacken (hab 64GB) und dachte mir kannst gleich MB und CPU neu statt DDR3 zu suchen. Und wenn dann jetzt halt wenn ich den Bumms zusammenlege.
Zudem könnt ich die Kiste gut extern hinstellen als Backup Target
Gestern Abend kam mir dann die idee ob es nicht vielleicht in Hinblick auf zukunftssicher eine iGPU sinnvoll wäre. Wegen Hardware transcode sollte Jellyfin doch mal Thema werden.

NIC ist ne X550 Intel. Der Switch als Gegenstück ist aber nur 1x10Gig, Rest 2,5gbit für die anderen Endgeräte. Reicht aber für meine Zwecke erstmal.

Fiber ist halt einmal neu die Wand schlitzen. WAF == 0

 

[Haldi]

Die HDDs dürften so 4W im idle haben. Heißt rechnet man die 10 Platten ab verbraucht mein jetziges System so in etwa 35W.

Hast du das jemals gemessen indem du alle Platten abgesteckt hast?
Oder ist das ein reiner schätzwert?
Könnte sein das du da ordentlich daneben liegst.

das Setup braucht idle so ca. 70-75W. (1xSSD System + 10x20TB Toshiba Enterprise als Datenplatten).

Halte ich eigentlich für einen sehr guten wert mit 10 Platten dran! Allerdings fehlt mir da ein wenig die Erfahrung um das wirklich zu beurteilen.....

Extern hinstellen und nur bei Bedarf online nehmen. Krankt etwas daran, dass der nicht ganz billig ist.

50€ Gigabyte MC12-LE0 Mainboard.
25€ für M2 zu 6x Sata Adapter.
320€ für 128gb ECC RAM
50-100€ für kleine CPU
50€ PSU
50-100€ für alte 10gbit NIC
50-100€ für Gehäuse
8x20TB Platten..... Ehhhhjahhh ich sehe deine bedenken...
320€ X 8 = 2560€


Die Frage ist halt wie viel von den 160TB sind überlebens wichtig?
Bei TrueNAS Scale kannst du problemlos Child Dataset einrichten die wie normale Ordner aussehen und nur diese backupen, mit separaten snapshots. Aber das ist ZFS Grundfunktionalität oder?
Was VMs angeht... Das UI ist ein wenig klunky aber funktioniert eigentlich. Am besten mal installieren und austesten ob es für deine bedürfnisse mit der Funktionalität reicht.
Die Apps sind ein modifiziertes Kubernetes kluster.
Der Vorteil davon ist das es sehr leicht einzurichten ist. Und automatisch snapshots von den Daten macht.
Nachteil ist das man ein wenig eingesperrt/limitiert ist...
Aber neu gibt es auch Jails support (nicht mit Jails von Core verwechseln!) das ist so eine Art VM Light auf systemd-nspawn basis.

 

[Supaman]

Das größte Optimierungspotential sehe ich in der Aufteilung der Daten:

1) wichtig, schnell, idealweise mit wenig Datenmenge (Dokumente, Fotos etc) = Ablage auf SSDs, und mehrere Backups
2) große Daten mit vielen Änderungen (4k Drohnenvideos etc) = Ablage auf HDD (Pools) - ein tägliches Backup
2) große Daten mit seltenen Änderungen, also eher Archiv = Ablage auf Archivserver, der nur bei Bedarf eingeschaltet wird -> sporadisches Backup, wenn von 2 -> 3 verschoben wird.

 

[Sakura_Kira]

Hast du das jemals gemessen indem du alle Platten abgesteckt hast?
Oder ist das ein reiner schätzwert?
Könnte sein das du da ordentlich daneben liegst.

Ich hab 28W im idle unter Proxmox welches ich grad teste. Die NIC ist allerdings rausgenommen weil ich gleich noch HBAs geflasht habe. Dafür hab ich auch alles an Platten grad mal abgesteckt und 3 SSDs drin um mir beides mal anzuschauen. (wobei die SSD nicht viel ausmacht). In C6 geht die CPU eigentlich sowohl als auch.
Der Verbrauch der Platten war geschätzt und nach Datasheet von Toshiba, wenn ich die Werte sehe passt das aber.

Halte ich eigentlich für einen sehr guten wert mit 10 Platten dran! Allerdings fehlt mir da ein wenig die Erfahrung um das wirklich zu beurteilen.....

50€ Gigabyte MC12-LE0 Mainboard.
25€ für M2 zu 6x Sata Adapter.
320€ für 128gb ECC RAM
50-100€ für kleine CPU
50€ PSU
50-100€ für alte 10gbit NIC
50-100€ für Gehäuse
8x20TB Platten..... Ehhhhjahhh ich sehe deine bedenken...
320€ X 8 = 2560€

Naja Platten habe ich ja (außer ich mach mehr rein ... ) und es sind 10 Platten
den M2 -> SATA Adapter würd ich gegen nen 9211i 8port (IT-Mode) tauschen, davon hab ich noch da.
Der slot wäre trotzdem gut für ZFS Cache.
Waren Ryzen nicht manchmal problematisch mit C3 und höher? Der Idle Verbrauch ist für mich am interessantesten weil der Server halt so mind. 60% wenig macht.

Die Frage ist halt wie viel von den 160TB sind überlebens wichtig?

Garnicht so viel eigentlich, verlieren will ich es trotzdem nicht

Bei TrueNAS Scale kannst du problemlos Child Dataset einrichten die wie normale Ordner aussehen und nur diese backupen, mit separaten snapshots. Aber das ist ZFS Grundfunktionalität oder?

Ja ist es. Aber nicht so ganz das was ich benötige. Wie gesagt für die wichtigen Sachen, habe ich keine Probleme mit der Backupstrategie.
Problem sind einfach die Größen der Dateien und Datenmengen. Deshalb backuppe ich das seltener (5-6TB Backuppen dauert auch ne weile .. )
Ich wüsste jetzt aber nicht, wie man dem sozusagen beibringt dass er einfach weitermacht und nach ner anderen HDD verlangt. So in etwas wie die LTO Software (arschteuer) die das kann.
Die Snapshots selber machen dort weniger Sinn.

Was VMs angeht... Das UI ist ein wenig klunky aber funktioniert eigentlich. Am besten mal installieren und austesten ob es für deine bedürfnisse mit der Funktionalität reicht.
Die Apps sind ein modifiziertes Kubernetes kluster.
Der Vorteil davon ist das es sehr leicht einzurichten ist. Und automatisch snapshots von den Daten macht.
Nachteil ist das man ein wenig eingesperrt/limitiert ist...
Aber neu gibt es auch Jails support (nicht mit Jails von Core verwechseln!) das ist so eine Art VM Light auf systemd-nspawn basis.

Ich probier das einfach mal aus. Docker wäre mir eigentlich lieber weil ich die "einfach umziehen könnte" ... insbesondere die MySQL ist halt ätzend

Beitrag automatisch zusammengeführt: 06.05.2024

Das größte Optimierungspotential sehe ich in der Aufteilung der Daten:

1) wichtig, schnell, idealweise mit wenig Datenmenge (Dokumente, Fotos etc) = Ablage auf SSDs, und mehrere Backups

Ja ok hab ich oben etwas unterschlagen, dass ich dort noch 2x2TB WD Red SSD im ZFS Mirror für diese Daten vorgesehen habe. Ich glaub aber SSD machen den Kohl nicht fett beim Verbrauch.
Sicherung geht bei diesen Sachen aber jetzt schon Cryptomator -> Sync Cloud ... praktisch bei Änderungen ASAP

2) große Daten mit vielen Änderungen (4k Drohnenvideos etc) = Ablage auf HDD (Pools) - ein tägliches Backup

Täglich wird schon sportlich.
Aber ich weiß wie du das meinst.

2) große Daten mit seltenen Änderungen, also eher Archiv = Ablage auf Archivserver, der nur bei Bedarf eingeschaltet wird -> sporadisches Backup, wenn von 2 -> 3 verschoben wird.

Ja der Archivserver ... das wäre dann die Kiste die ich hier dann mit den Resten ausstatten würde.

 

[Haldi]

Ich probier das einfach mal aus. Docker wäre mir eigentlich lieber weil ich die "einfach umziehen könnte" ... insbesondere die MySQL ist halt ätzend

Es hat nen template für docker in dem Jail.
Damit läuft dann Portainer wie unter ner Debian VM. Nur das Ressourcen nicht fix zugeteilt werden müssen....
Theoretisch...
Hab's nicht probiert.

Täglich wird schon sportlich.

4Platten im Raidz1 sollten an die 550MB/s Schreibleistung kommen.
Mit 10gbit hast du 2TB pro Stunde Backup ^^ mehr als 48tb wirst du pro Tag wohl nicht hinbekommen.

 

[Sakura_Kira]

Es hat nen template für docker in dem Jail.
Damit läuft dann Portainer wie unter ner Debian VM. Nur das Ressourcen nicht fix zugeteilt werden müssen....
Theoretisch...
Hab's nicht probiert.

Hmm ich schau einfach mal.

4Platten im Raidz1 sollten an die 550MB/s Schreibleistung kommen.
Mit 10gbit hast du 2TB pro Stunde Backup ^^ mehr als 48tb wirst du pro Tag wohl nicht hinbekommen.

Wie gesagt das Target ist momentan noch das Problem.
Wenn ich aus der ersten ne zweite Kiste zimmere dann passt das schon irgendwie. Wenn ich nicht richtig Geld verbrennen will, müssen da die alten Platten rein. Und da hab ich leider einen guten Misch-Masch zwischen 10/14/16/18TB
Bei den großen Datenmengen reicht auch 1x alle zwei Wochen dicke aus.
Das Problem ist wohl auch eher meine Einstellung. Ich glaub die meisten würden da nichtmal überhaupt nen Backup haben


Edit: Wie ich grad festgestellt hab sind es nochmal ca je 1W bei den 3 Gehäuselüftern.

 

[Sakura_Kira]

So ich habe ein paar Tests gemacht. Bissl optimiert und verschiedene Distros ausgetestet.
Getestet:
TrueNAS Scale,
Proxmox mit TrueNas Scale als VM,
OMV mit Proxmox Kernel + OpenZFS integration (mein Favorit davon)
Ich muss noch: UnRaid. Aber eigentlich mir zu teuer.

ohne HBA, HDDs ohne die 10Gig NIC komm ich bis auf 17W runter.
Unter Proxmox.
Denke das ist gut (Pckg C3 ist durch das Board wohl das niedrigste...)
Dann den 9211i dazu und 8 Platten dran (Toshiba Enterprise). Platten im idle.
System im idle 51W (joa geht).
Dann mit Standby bei den Platten bin ich bei 28W (ZFS ja irrelevant weil die nicht in idle gehen sollten)