ZFS NAS mit wenig Stromverbrauch

[Paddy313]

Hallo,

ich möchte mir ein ZFS NAS bauen, um dort Backups meiner Proxmox Hosts und ein paar andere größere Daten zu speichern, etwa 8TB würde ich brauchen.
Ich bin nicht sicher, ob ich mit 2 HDDs mirrorn oder mit 3 HDDs RAIDZ1 nutzen möchte.
Außerdem fehlt noch die passende Hardware. Ich bin auf das Gigabyte MJ11-EC1 (70€) gestoßen, da fehlt aber natürlich noch das Gehäuse, Netzteil, RAM. Alternative wäre evtl. ein HP ProDesk 600 G3 MT (105€) mit nem i5 6500, der weniger zwar Leistung hat, aber halt inkl. Gehäuse, NT, RAM kommt (den ich noch auf 16GB upgraden würde). Platten würde ich jeweils WD Red Plus nehmen.

Was würdet ihr empfehlen?

Viele Grüße

 

[sandreas]

Ich bin nicht sicher, ob ich mit 2 HDDs mirrorn oder mit 3 HDDs RAIDZ1 nutzen möchte.

Ich empfehle Mirror. Statistisch ausfallsicherer, leichter zu warten und zu erweitern.

Ich bin auf das Gigabyte MJ11-EC1 (70€) gestoßen, da fehlt aber natürlich noch das Gehäuse, Netzteil, RAM.

Für ein Backup-NAS ist das ziemlich leistungsfähige Hardware - die natürich auch viel Strom braucht für 24/7. Ich würde vermutlich etwas kleineres wählen.

Platten würde ich jeweils WD Red Plus nehmen.

WD hat in den letzten Jahren nicht unbedingt positve Schlagzeilen geschrieben. Ich würde vermutlich eher Seagate Exos oder die Enterprise von Toshiba wählen:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

 

[Paddy313]

Ich empfehle Mirror. Statistisch ausfallsicherer, leichter zu warten und zu erweitern.

Das werde ich dann so machen.

Für ein Backup-NAS ist das ziemlich leistungsfähige Hardware - die natürich auch viel Strom braucht für 24/7. Ich würde vermutlich etwas kleineres wählen.

Was würdest du empfehlen? Etwas in Richtung i3 6100 oder i5 6500?

WD hat in den letzten Jahren nicht unbedingt positve Schlagzeilen geschrieben. Ich würde vermutlich eher Seagate Exos oder die Enterprise von Toshiba wählen:

Danke, schaue ich mir an

 

[Ceiber3]

Für ein Backup-NAS ist das ziemlich leistungsfähige Hardware - die natürich auch viel Strom braucht für 24/7. Ich würde vermutlich etwas kleineres wählen.

Kannst schon nehmen, mit ein 450 Watt Gold hatte ich rund 31 Watt im Idle. Unter Last rund 60 Watt, ohne HT 50 Watt. Frist Reg ECC Ram, ist sehr günstig.
Mit nen kleineren Netzteil verbrauchst wahrschreinlich nochmal weniger.

 

[underclocker2k4]

Ein BackupNAS läuft idR so gut wie gar nicht. Daher ist die Leistungsaufnahme fast zu vernachlässigen.
Ich würde mir bei dem System eher Gedanken um die Anbindung machen. Denn je schneller das Netzwerk, desto schnell ist der Spaß vorbei und desto eher kann man die Kiste wieder ausschalten. Das reduziert die Zeit in der das System "angreifbar" ist und zum 2. wird dann auch wieder Strom gespart.
Das Storage kann zwar keine 10GBE saturieren, aber 2,5GBE kann es schon sein. Ist halt die Frage, wie das Proxmox System ausgestattet ist.

Für so eine Erweiterung ist das angedachte MB eher ungeeignet. Hier wäre dann die AM5 Plattform, auch basierend auf einen GB MB (siehe Forum) besser geeignet, da hier die Erweiterbarkeit gegeben ist.

Ansonsten würde ich, wenn man schon auf ZFS setzt, auch auf ECC setzen, was den Prodesk ausschließt.

 

[sandreas]

Was würdest du empfehlen? Etwas in Richtung i3 6100 oder i5 6500?

Aktuell würde ich gar nichts empfehlen. Die guten Boards sind nicht zu kriegen oder viel zu teuer. Das Gigabyte MC12-LE0 ist eine preisgünstige aber auch nicht ganz so sparsame Alternative mit Einschränkungen und potenziell unzuverlässiger Firmware.

Ich würde für ein reines Backup-NAS entweder was fertiges (QNAP oder Synology) oder nen billigen Dell T30 mit Xeon und 16GB ECC RAM kaufen und optional ne 10Gbit Melanox-Karte reinmachen - dazu dann einen günstigen 2x10g / 4x2.5g switch mit nem entsprechenden SFP+ Modul.

Das solltest du insgesamt für knapp 300 Euro kriegen, hast dann 10Gbit (reell ist es weniger, da der Switch vermutlich nur 6Gbit packt) und ein ausreichend flottes System.

[ironie]Wenn AMD dann niedrigere C-States kann oder ausreichend sparsam geworden ist (so in 2 Jahren), dann noch mal revalidieren [/ironie]

 

[brometheus]

Ich würde für ein reines Backup-NAS entweder was fertiges (QNAP oder Synology)

Hat halt kein ECC.

nen billigen Dell T30 mit Xeon und 16GB ECC RAM kaufen und optional ne 10Gbit Melanox-Karte reinmachen - dazu dann einen günstigen 2x10g / 4x2.5g switch mit nem entsprechenden SFP+ Modul.

Die Dinger haben inzwischen halt auch schon ~8 Jahre auf dem Buckel

[ironie]Wenn AMD dann niedrigere C-States kann oder ausreichend sparsam geworden ist (so in 2 Jahren), dann noch mal revalidieren [/ironie]

Mein Set aus 4350G Pro, 16gb ECC & A520 braucht ~12w im Idle. Nicht ganz so gut wie sparsame Intel-Systeme, aber dafür habe ich ~250€ beim Mainboard gespart, da kann das System ein paar Jahre laufen, bis das wieder reingeholt ist.

 

[sandreas]

Die Dinger haben inzwischen halt auch schon ~8 Jahre auf dem Buckel

Und sind deswegen extrem günstig bei relativ geringem Verbrauch. Ich bin da sowieso anders als andere... ich brauch nicht immer das High-End Zeug. 2.5Gbit ist nett, aber ich komm auch noch mit 1G zurecht. Dauert alles etwas länger, aber ist ok.

Mein Set aus 4350G Pro, 16gb ECC & A520 braucht ~12w im Idle.

Klingt gut. Kannste die Specs mal genauer auflisten? (Speziell das verwendete Board)
Ich würd mir mal ein sparsames AMD Board mit Remote Admin Option wünschen, die nicht wie IPMI gleich mal 5W auf den Idle Verbrauch drauf packt.
Intel AMT ist zwar echt schlecht, aber sparsam

 

[Paddy313]

Also der Server soll wahrscheinlich immer laufen, weil ich den zum Proxmox Cluster hinzufüge und es sollen da auch ISOs drauf liegen. Ich hab überall eh nur 1Gbit, mehr kann ich nicht nutzen und brauche ich dementsprechend auch nicht.
Wäre ein Fujitsu Celsius W580 mit i3 8100, 8GB RAM (weiß nicht ob das tatsächlich auch ECC RAM ist) und ECC Support evtl. eine Alternative?

 

[gea]

Das Fujitsu Celsius W580 kann ECC. Wenn der eingebaute RAM kein ECC ist, kann man den ja tauschen. I3 ist ausreichend, 8GB je nach OS und web-gui eventuell etwas knapp. Man kann aber bis 64GB aufrüsten.

 

[brometheus]

Klingt gut. Kannste die Specs mal genauer auflisten? (Speziell das verwendete Board)

Asrock Phantom Gaming4. Die 12w waren mit Proxmox ohne VMs am laufen. Hab jetzt TrueNAS direkt installiert und komme mit 128gb boot SSD + 2x 4tb wd blue auf 16-17w. Wobei auch noch nichts optimiert ist.

Mein MSI B550 ITX Gaming edge wifi ist einen ticken sparsamer, allerdings kann das leider kein ECC.

Die 6-9w, die teilweise mit einem Intel-Setup erreicht werden, wären natürlich ein Traum, aber 400€ alleine fürs Mainboard wärs mir das nicht wert.

Wäre ein Fujitsu Celsius W580 mit i3 8100, 8GB RAM (weiß nicht ob das tatsächlich auch ECC RAM ist) und ECC Support evtl. eine Alternative?

Ist leider ziemlich schwierig für die OEM-Kisten Verbrauchswerte zu finden. Manche sind wohl im 10w-Bereich unterwegs, während sich andere im Idle auch mal 30w gönnen.

 

[sandreas]

Asrock Phantom Gaming4.

Herzlichen Dank

Die 6-9w, die teilweise mit einem Intel-Setup erreicht werden

Ja, diese "Fabelwerte" sind natürlich ein Hammer. Aber in der Praxis ist das bei einem System selbst mit Minimal-Last nicht zu erreichen. Mein D3417-B12 braucht mit Xeon 1225v5, ner 2TB WD SN850x und Proxmox 9.3W im Idle, in der täglichen Praxis mit Docker und VM aber auch 12-13W. Und da sind nicht mal drehende HDDs verbaut. Ich bin damit mehr als zufrieden.

aber 400€ alleine fürs Mainboard wärs mir das nicht wert.

Und genau da liegt der Hund begraben. Ich bin eiserner Pragmatiker geworden - wenn sich das innerhalb von 5-8 Jahren nicht amortisiert, lohnt es sich kaum. Ich könnts nur verstehen, wenn man dadurch große Vorteile hat, wie deutlich schnelleres Netzwerk (1->10gbit), Remote-Management oder bessere Stabilität,

Ich finde auch, dass man wegen 3W Idle-Unterschied keinen Riss machen sollte. Alles unter 20W ist akzeptabel, die 16W von dir würde ich klaglos hinnehmen. Das MC12-LE0 ist aber schon an der Grenze des akzeptablen, wenn von 22W Idle als kleinster gemessener Wert geschrieben wird. In der Praxis geht das teils deutlich höher. Dazu noch die ganzen Zickereien mit der Firmware - das wär nix für mich.

Ist leider ziemlich schwierig für die OEM-Kisten Verbrauchswerte zu finden.

Ja. Ich habe hier einen Fujitsu Celsius W550 als Ersatz-System für meinen Hauptserver (habe ich günstig für 80 Euro gekriegt). Der braucht unter Ubuntu Live 16W mit dem proprietären Netzteil. Wichtig: Es ist noch eine Radeon PCIe Grafikkarte verbaut - folglich scheinen die proprietären Fujitsu Netzteile sehr effizient zu sein. Bin bis jetzt noch nicht dazu gekommen, meine Pico-PSU mit dem Bojiadafast Adapter dranzuhängen, den Xeon 1225v5 zu verbauen, die Radeon rauszuschmeißen und zu messen. Das mache ich wohl erst Ende des Jahres.
Aber ich gehe davon aus, dass das D3617 ähnliche Werte liefern wird. Mich nervt aber das geklapper vom Lüfter des Netzteils - daher würde ich das neben dem proprietären Charakter auch nicht unbedingt empfehlen.

 

[sch4kal]

WD hat in den letzten Jahren nicht unbedingt positve Schlagzeilen geschrieben. Ich würde vermutlich eher Seagate Exos oder die Enterprise von Toshiba wählen:

Mag vielleicht auf Red`s und Red Pro`s zutreffen, die Profi-Serie ala WD Gold/Re/Ultrastar DC und ex HGST He8/10/12 sind absolut rockstable und sogar der Konkurrenz von Toshiba und Seagate voraus, siehe Backblaze Statistiken.

 

[brometheus]

Hab jetzt nochmal von TrueNas Core auf Scale gewechselt, weil mir die 17w idle etwas hoch vorkamen (im Vergleich zu Proxmox) und ich keine Lust hatte mich mit FreeBSD zu beschäftigen. Hat sich gelohnt:
128gb boot + 2x 2.5 4TB SSD: 13.5w im idle mit einem 60w Noname-Netzteil. Beim vorherigen System war ein 100w-Leicke NT im direkten Vergleich nochmal 3-4w effizienter, weshalb es sogar ~10w sein könnten. Musste das Leicke nur wegen Coilwhine zurück schicken, weshalb ich gerade nichts besseres zum Testen da habe.

Wenn man kein bock auf ein altes 1151-OEM board hat und nicht 400€ fürs Mobo alleine ausgeben möchte, ist so ein 4350G Pro + simples Am4-Board meiner Meinung nach eine recht taugliche Lösung. Gekostet hats alles zusammen übrigens ca. 300€ (bis aufs Gehäuse alles neu mit Garantie). So ein T30 oder ähnliches bekommt man meist für 130-200€ je nach Ausstattung. Ist Geschmackssache, ob man ein paar € spart und auf die Garantie verzichtet oder lieber neu kauft. Bei den OEM Sachen muss man nur bedenken, das viele Komponten proprietär sind und passenden Ersatz zu finden aufwändiger und oftmals teurer ist, als bei universeller Hardware (speziell die Mainboards).

 

[sandreas]

paar € spart und auf die Garantie verzichtet

Also ich fände deine Lösung (<15W Ryzen) da schon interessant, wenn man noch ECC Support hat. Vor allem wegen der deutlich moderneren Features. Das einzige was mich bei diesen AMD-Boards "nervt" (wenn man das so sagen kann), ist eine geringere Zuverlässigkeit (die Dell / HP / Lenovo / Fujitsu Hardware ist mir noch nie abgeschmiert oder hatte Firmware-Probleme) und das fehlende Remote-Management. Das sind aber Dinge, mit denen ich aufgrund der moderneren Hardware schon leben könnte, wenn sie sich in Grenzen halten.

Vielen Dank fürs Posten.

 

[wddn]

Das MC12-LE0 ist aber schon an der Grenze des akzeptablen, wenn von 22W Idle als kleinster gemessener Wert geschrieben wird.

Ich komme auf 17W idle mit einer SSD…
Aber natürlich zero Last, keine VMs

Nach einigen Monaten rumprobieren habe ich „mein“ setup gefunden.

Proxmox Hypervisor auf Lenovo M720Q Thin Client - 24/7 - eine VM mit TrueNAS Scale mit 4TB Speicherplatz. Um 15W mit einigen VMs incl. 10GBit NIC

TrueNAS Scale Fileserver auf X470D4U aus Signatur (MC12-LE0 mit 4650G wird diesen ersetzen wegen weniger Stromverbrauch) incl. Proxmox Backup Server VM - im Moment 18/7 (wird nachts runter gefahren) zukünftig evtl. Sogar noch mehr on demand

Zukünftig TrueNAS Scale Backup Server der nur zum ZFS Replication task hochfährt - wahrscheinlich 1x pro Woche

Ein Server kann also ausfallen und ich sollte schnell recovern können:

Hypervisor: 30Min wenn ich Proxmox frisch installiere und die VMs/LXCs vom Fileserver restore. Daten per ZFS replication zum Backup Server

Fileserver und Backupserver mit gleichem Speicherplatz und TrueNAS Configs werde ich regelmäßig speichern auf dem Hypervisor

 

[Luckysh0t]

Da ich das besagte Gigabyte Board ja zwei mal verbaut habe, kann ich gerne mal messen was mein Dateiserver so benötigt im idle.
Allerdings habe ich bei mir einige Faktoren, die den Vebrauch wohl höher sein lassen als es sein könnte.
- Solaris
- kein Spindown der beiden 12 TB HDDs
- 400 W ATX Netzteil

Da ich den allerdings eh mal messen wollte. Zum vergleich, der PVE aus meiner Signatur hatte im idle, ohne VMs ca 39 Watt (400 Watt ATX NT) im idle.
Da kann mein alter hp-elitedesk-800-35w-g2 bei ca 6-10 Watt im idle mit 12 LXC angeschaltet nur lachen xD.

 

[wddn]

Da kann mein alter hp-elitedesk-800-35w-g2 bei ca 6-10 Watt im idle mit 12 LXC angeschaltet nur lachen xD.

Die Thin Clients sind vom Stromverbrauch schwer zu schlagen - einzigen Nachteile: kein ECC und meist sehr wenig Storage Optionen. Als Hypervisor perfekt

 

[Luckysh0t]

Die Thin Clients sind vom Stromverbrauch schwer zu schlagen - einzigen Nachteile: kein ECC und meist sehr wenig Storage Optionen. Als Hypervisor perfekt

Das stimmt, wobei ich sagen muss, dass mir auch das IPMI sehr gefällt. Ich hatte erst überlegt mir eine PiKVM Lösung zu bauen, aber da ich auch etwas mehr Ressourcen/Möglichkeiten haben wollte, fande ich dieses Board sehr passend. Ich hatte mit zwei der g800 angefangen mit Esxi...da war ich bei beiden je bei 20-25W im idle/vms an. Daher sind die mehr Watt nun relativ "egalisiert" ^^.

Enstprechend habe ich da zugeschlagen und mir drei dieser Boards geholt. Eines hat meinen Athlon 5350 im Filer ersetzt xD


Für mich beides pasable Upgrades.

 

[sandreas]

Nach einigen Monaten rumprobieren habe ich „mein“ setup gefunden.

Ja ich meins auch.

Ich hab nen D3417 + Xeon 1225v5 + 64GB ECC RAM + WD SN850x 2TB + Pico PSU 160. OS: Proxmox mit Docker LXC und Portainer und jeweils VM für Win, Linux und macOS
Remote-Admin läuft über MeshCommander / Intel AMT via WireGuard VPN auf meinem OpenWRT Router oder auf meinem Notebook.
Verbrauch: Idle 9,3W, Standardbetrieb 12W.
Eine Tasmota-Steckdose misst den Stromverbrauch des Servers über Zeit und könnte im Fehlerfall einen harten Reset durchführen (off - on) - es steckt noch ein Ventoy Stick, damit man einen Restore auch komplett remote machen könnte.
Backups laufen über zfs send und eine weitere Tasmota-Steckdose mit externem USB 3.0 Gehäuse - ein kleines Script schaltet die Steckdose per curl ein, macht ein inkrementelles zfs Backup und schaltet die Steckdose danach wieder aus. Über ntfy krieg ich ne Erfolgs- oder Fehlermeldung aufs Handy.
Unregelmäßig mache ich dann noch ein restic Backup der Docker-Partition auf ein Netzlaufwerk, falls ZFS nicht geklappt hat (z.B. wegen silent data corruption) - das möchte ich übe reine zweite Tasmota Steckdose auch noch automatisieren
Eine dritte Tasmota-Steckdose schaltet mein CD-Laufwerk ein, um Audio-CDs zu rippen, die werden dann via beets cronjob automatisch in Navidrome importiert
Ein USB-Kabel synct meine iPods via iTunes in der Windows VM (durchgereichter USB-Port)

Hatte schon ein "disaster recovery" Szenario (Samsung 980 Pro ist gestorben) und konnte das System in knapp 2 Std from Scratch wieder herstellen (SSD war etwa halb voll):

• Proxmox Installations-CD mit ZFS installieren
• zfs send in die andere Richtung, den rpool überschreiben
• Reboot, fertig

Wirkt ganz brauchbar soweit, proxmox VM-Backups und LXC wollte ich noch automatisieren.

 

[Paddy313]

Danke für eure zahlreichen Antworten. Ich denke für mich wird es dann am ehesten ein Dell T30

4350G Pro + simples Am4-Board

klingt gut, aber an die CPU kommt man auch wieder kaum dran

 

[wddn]

Danke für eure zahlreichen Antworten. Ich denke für mich wird es dann am ehesten ein Dell T30

klingt gut, aber an die CPU kommt man auch wieder kaum dran

Nehme halt eine 4650G..

 

[brometheus]

klingt gut, aber an die CPU kommt man auch wieder kaum dran

AMD Ryzen 5 PRO 4650G ab € 148,87 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für AMD Ryzen 5 PRO 4650G ✔ Bewertungen ✔ Produktinfo ⇒ Kerne: 6 (6C) • Threads: 12 • Turbotakt: 4.20GHz • Basistakt: 3.70GHz… ✔ AMD ✔ Testberichte ✔ Günstig kaufen

geizhals.de

dürfte beim idle-Verbrauch so gut wie keinen Unterschied machen. Ich habe für meinen 4350 sogar etwas mehr bezahlt. Vor ~2 Wochen lagen die beide bei 120€.

 

[wddn]

klingt gut, aber an die CPU kommt man auch wieder kaum dran

Wohnst du in der Naehe der Schweiz? bei digitec gerade im Angebot
4350G - 94CHF
4650G - 120CHF

 

[Paddy313]

dürfte beim idle-Verbrauch so gut wie keinen Unterschied machen. Ich habe für meinen 4350 sogar etwas mehr bezahlt. Vor ~2 Wochen lagen die beide bei 120€.

danke, dann nehme ich wohl doch den. Beim Mainboard nach dem Motto das günstigste A520 mit benötigten Slots? Würde zwar nur zwei Platten nehmen, könnte mir aber vorstellen, dass vielleicht doch noch mehr im System landet, deswegen würde ich min 4 SATA Ports und evtl. 4 RAM Slots nehmen, damit ich später einfacher upgraden könnte. Beim Netzteil hätte ich dementsprechend auch gern direkt 4x SATA und logischerweise genug Power, dass 2-4 Platten gleichzeitig anlaufen können, deswegen würde ich gerne ein ATX PSU nehmen. Was ist da empfehlenswert von P/L und Effizienz her?
RAM würde ich erstmal 2x 16GB nehmen, denke das sollte reichen

Edit: auf der Suche nach nem Gehäuse bin ich auf das Node 304 gestoßen, da bräuchte ich ein mini ITX Mainboard, die haben aber nur 2 RAM Slots. 4x SATA passt ja. Was meint ihr dazu?

Wohnst du in der Naehe der Schweiz? bei digitec gerade im Angebot

leider nicht, aber der 4650G war der richtige Hinweis

 

[Haldi]

würde ich gerne ein ATX PSU nehmen. Was ist da empfehlenswert von P/L und Effizienz her?

Ich lass mal Wolfgangs PSU Effizienzliste da:

PSU Low Idle Efficiency Database by Wolfgang's Channel

docs.google.com