[Kaufberatung] Neuer Homeserver mit TrueNAS Scale - Klein und stromsparend

wddn

wddn

Enthusiast
Thread Starter
Mitglied seit
25.04.2005
Beiträge
2.363
Ort
Serta, Portugal
Hallo,

Ich möchte einen neuen Homeserver mit TrueNAS Scale aufbauen.

ZFS mit 4x Toshiba 16, oder 18TB als RAID10

Ein paar VMs: PLEX, Nextcloud, Home Assistant -> min 6core/q2thread CPU

2x32GB ECC RAM

Option auf 10GbE PCIe NIC

Standard quasi… das ganze jedoch in klein Max Mikro-ATX (ITX, oder mATX) und stromsparend
Entweder Intertech IM1 Pocket, (mATX), oder Jonsbo N1 (ITX)

Option 1: Alder Lake mit W680 Mainboard (fast keine verfügbar)
Option 2: AM4 (B550) mit 5650G
Option 3: auf AM5 (7600X mit iGPU) und DDR5 ECC warten

Der Server soll 24/7 laufen - umso weniger Watt umso besser

Ideen, Vorschläge?
Beitrag automatisch zusammengeführt:

Ich hätte auch noch mein Threadripper Mainboard mit 1920X - ECC fähig…
Ist leider ATX und keine Ahnung ob man die Plattform stromsparend bekommt
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
wddn schrieb:
Ideen, Vorschläge?
Zum Vergrößern anklicken....
Wenn du auf ECC verzichten kannst oder dir On-Die-ECC bei DDR5 reichst könntest du einfach ne normale Alder Lake Platine nehmen.
Problem bei der aktuellen Alder Lake W680 Platine von Supermicro ist, dass noch keine DDR5 ECC UDIMMs verfügbar sind, eventuell auch der Grund wieso es noch nicht mehr W680 Platinen auf den Markt geschafft haben.

Gibt's nen Grund wieso du die Xeon E 2300er nicht in Betracht gezogen hast?
 
Das würde ich auch nochmal hinterfragen.
Außerdem auch, ob es wirklich 6C/12T sein müssen oder ob nicht z.B. ein 4GHz 4C/8T reichen würde?
 
Hi,

Ich hatte meinen letzten Proxmox Server mit einem 2600K 4c/8t und mit OMV, NC, PLEX, HA wird es eng, falls ich mal eine weitere VM ausprobieren möchte.

Die E3 2300 Serie ist halt „nur“ Rocket Lake und ich benötige auch ein C252/256 Board für ECC
Beitrag automatisch zusammengeführt:

Alder Lake mit mehreren E-Cores ist eigentlich ganz interessant für VMs - aber ja: W680 und AM5 hängen an der Verfügbarkeit von Richtigem DDR5 ECC.

On-die ECC ist besser als nichts aber nicht wirklich ein Fortschritt für ZFS
 
wddn schrieb:
Ich hatte meinen letzten Proxmox Server mit einem 2600K 4c/8t und mit OMV, NC, PLEX, HA wird es eng, falls ich mal eine weitere VM ausprobieren möchte.

Die E3 2300 Serie ist halt „nur“ Rocket Lake und ich benötige auch ein C252/256 Board für ECC
Zum Vergrößern anklicken....
Die 4C/8T Rocket Lakes sind schon doppelt so schnell wie dein 2600K. Je nachdem ob du 4-8 Kerne nimmst bist du beim 2-4x fachen der vorherigen Leistung: https://www.cpubenchmark.net/compar...vs-Intel-i5-12400/868vs4792vs4701vs4931vs4677

Eventuell reicht ja auch schon nen Xeon E-2100 oder E-2200 für deine Ansprüche, die gibt's teilweise auch noch nen Ticken günstiger.

wddn schrieb:
Alder Lake mit mehreren E-Cores ist eigentlich ganz interessant für VMs - aber ja: W680 und AM5 hängen an der Verfügbarkeit von Richtigem DDR5 ECC.
Zum Vergrößern anklicken....
Klar verstehe ich den Appeal aktuelle Hardware zu haben, aber Rocket Lake und Alder Lake nehmen sich nicht viel. Und bei ersterem hast du wenigstens ne richtige Server Plattform, weil W680 ist halt am Ende nur nen Workstation Chipset. Auch wenn AsRock Rack uns da was anderes draus zaubern mag, ähnlich wie bei den AM4 Platinen.
 
W680 wird von Intel nur an OEMs verkauft (ebenso die ECC UDimms die es grad nur von 2 Herstellern gibt)
AM4 hat keine (auch wenn es viele behaupten) volle ECC report funktion

man kann auf ECC verzichten wenn man ZFS nutzt....
 
Zuletzt bearbeitet:
pumuckel schrieb:
AM4 hat keine (auch wenn es viele behaupten) volle ECC report funktion
Zum Vergrößern anklicken....
Quelle? Denn @Trambahner hat bereits das Gegenteil bewiesen. Und im Gegensatz zu Team Blau unterstützen Ryzen sogar Multibit ECC 😉

Edit:
Hier der Auszug aus dem Thread:
Trambahner schrieb:
ECC-Ram:
- Windows10 und FreeBSD zeigen, direkt am Blech: "Multibit ECC" mit Total Width 72bit und Data Width 64 bit.
- Memtest86 V8.4 zeigt "ECC enabled: yes"
- Finale, produktiv genutzte Memory-Timings: 3200@16-18-18-18-36-62 , IF auf 1600 Mhz. ( 2 Module 16GB Samsung M391A2K43BB1-CTD (2666 ECC DDR4, CL19 ) )
- korrigierte ECC Fehler werden bei mir im Windows Eventviewer berichtet
Zum Vergrößern anklicken....
 
Zuletzt bearbeitet:
Zumindest hier auch der passende Screenshot von damals. Das ist natürlich kein vollumfänglicher AM4-Beweis, aber zumindest für mein Setup und Windows gültig.
Hier hatte ich die Timings zu scharf, was dann wohl Ram-Fehler ausgelöst hat und die ECC-Korrektur getriggert hat. Was dann Windows entsprechend auch erhalten und protokolliert hat.
Nach Entschärfen der Timings trat es auch nicht mehr auf.
ecc_reporting.png
 
Zuletzt bearbeitet:
Welches Baord war das ? Richtig ist, AM4 kann Multi-bit ECC, manche Board unterstützen das offiziell manche inoffiziell.
So viel ich aber weiß tut nicht jedes Baord die Fehler an Windows weiterleiten.

Bei meinen AsRock X570 Creator wird sogar ganz offiziell damit geworben. Ich würde auch bei einen Baord was ECC Unterstützt nie normalen Ram verbauen.
Weil warum sollte man die Fehlerkorrektur liegen lassen.

Aber ganz Offiziell wirbt AMD nicht mit ECC Fehlerkorrektur bei AM4. Deswegen gibt es auch keine AM4 Server Baords bis auf die AsRock Rack.
 
Zuletzt bearbeitet:
Knogle schrieb:
Zum Vergrößern anklicken....
Diese ollen Kamellen ...
1. Man KANN ZFS auch ohne ECC nutzen.
2. Man SOLLTE generell ECC nutzen, egal ob ZFS oder nicht.
3. Es gibt kein spezielles Erfordernis von ZFS, das ECC zwingend macht.

Aus obiger Website zitiert:
Or let Matthew Ahrens, the co-founder of the ZFS project phrase it:

There's nothing special about ZFS that requires/encourages the use of ECC RAM more so than any other filesystem.

Der "scrub of death" ist ein TrueNAS Mythos.
 
Zuletzt bearbeitet:
Um auf die Ausgangsfrage zurückzukommen:

Ein 1920X mit X399DA8 liegt hier auch noch rum, das war sehr interessant und kann auch mit gut PCIe-Lanes dienen (insbesondere im Preisvergleich), aber da ist einfach als kleiner 24/7 Homeserver die Leistungsaufnahme im Idle viel zu hoch und dafür mir die Singlecore-Leistung mir zu schlecht. Ferner: Numa-Problematik und deren Performanceeinfluss beim Ram.
Daher bin ich nach Verfügbarkeit des X570D4U-2L2T sehr schnell auf dieses und damit AM4 gewechselt und teile halt die 16 GPU-Lanes per PCIe-Bifurcation für Storage auf.

Als Proxmox-Maschine hab ich "Resteverwertung" (also: was lag noch rum) betrieben und seit etwa 2 Wochen einen 5600X @ Asus B550M Tuf Gaming Plus (non-Wifi) und 64GB ECC-Ram headless in Betrieb. Sprich: da ist trotz 5600X keine Graka drin, das Board bootet trotzdem durch. Man muss halt zeitweise ne Einfachgraka zum Installieren oder Fehlerbeheben reinpacken). Drin sind derzeit 2x SN850 2TB SSD für VMs und eine 970Evo Plus 1TB als Boot-SSD (und Platz für OS-Images, etc.) nd ein 400W BQ Gold NT. Für den regulären Betrieb brauchts die Grafik dann ja nit, sondern es kann per Webgui oder SSH auf der Shell bedient werden.
Das braucht in der Kombi etwa 24W Idle. Statt dem 5600X kann man natürlich je nach Rechenbedarf bis zum 5950X skalieren.

Jetzt könnte man noch den 5600X durch eine 4000er oder 5000er Pro-APU austauschen, dann kommt man vielleicht auf 18-20W, verliert aber PCIe gen4 und kann den 16x Slot nur noch x8x4x4 aufteilen, nicht mehr x4x4x4x4. Ob man die GPU der APU dann für Endocing nutzen könnte, hmmpff, keine Ahnung. Hardware-passthrough der APU-Grafik in eine VM war immer schwer (oder unmöglich) und hab nur wenig drüber gelesen.
Verzichtet man auf ECC, könnten stattdessen ja auch die Retail 5600G oder 5700G APUs eingesetzt werden.


Natürlich könnte man auch auf AM5 warten und hätte dann potentiell später noch ne Generation zum Aufrüsten, nur wird man dann erst Erfahrung sammeln müssen bzgl. Leistungsaufnahme, Preisen, Fußangeln oder Stabilität im Setup, Kompatibilität der Hypervisoren, Betriebssysteme, iGPUs, etc. Will sagen: aus heutiger Sicht eine noch sehr unbekannte Geschichte.

AM4 ist zwar wirklich nicht mehr jung, man erhält jetzt aber sehr günstige Hardware mit doch sehr hoher und auch bis 16C/32T skalierbarer Leistung. Limit sind hier für den Homebereich i.W. die max 128GB Ram Und manchmal die Lane-Anzah).
 
Zuletzt bearbeitet:
Mein Problem hat sich quasi aufgeloest... Ich habe eine Online Auktion eines gebrauchten Server racks "gewonnen"...

Unter anderem sind dort folgende Komponenten verbaut:

Platform 1
Asrock Rack X470D4U, 2700X, Noctua Cooler, 2x16GB ECC DDR4

2x HBA Controller
3x SSD 4TB Samsung 860
5x SSD 500GB Samsung 860
2x SSD 500GB Samsung 850
2x HDD 4TB WD Red Pro
2x SSD 120GB SSD
1x NVME 250GB Crucial
1x NVME 500GB Samsung 970 EVO Plus

Seasonic Prime TX-1000

Aus meinem jetzigen Setup habe ich noch:
1x SSD 128GB Crucial
1x SSD 512GB Crucial
2x NVME 1TB Samsung 970 Evo
1x NVME 2TB Intel 660p (QLC)
2x HDD 4TB WD Red


Ich bin neu mit TrueNAS Scale, aber folgendes Setup schwebt mir vor:
  • OS: 1x 120GB SSD (Motherboard SATA)
  • VM: 2x NVME 1TB Samsung 970 Evo - mirrored (1x PCIe 3.0 x2 + PCIe 2.0 x4 - hopefully both are close to 2000 MB/s of bandwidth)
  • SLOG: SSD? (Motherboard SATA)
  • Storage (Motherboard SATA):
    • 4x 16TB CMR HDD:
      • 2x 16TB Mirrored and both mirrors striped - basically RAID10 equivalent
Wie sinnvoll ist ein HBA Controller? Mehr SATA benoetige ich nicht...

Dazu wuerde ich gerne eine 10GbE SFP+ PCIe NIC einbauen:
geizhals.de

Inter-Tech Argus ST-7211 LAN-Adapter ab € 56,55 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Inter-Tech Argus ST-7211 LAN-Adapter ✔ Bewertungen ✔ Produktinfo ⇒ Typ: LAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height und low profile Blende im Lief… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de

Bevor ich den Server produktiv nehme, kann ich erstmal mit den 4x 4TB testen bis alles laeuft.

SLOG/ZIL: eine Optane SSD wuerde am meisten Sinn machen, aber leider teuer
 
wddn schrieb:
Wie sinnvoll ist ein HBA Controller? Mehr SATA benoetige ich nicht...
Zum Vergrößern anklicken....
Dann brauchst du den nicht. Nimmt man wenn man SAS-Platten nutzen will oder mehr Ports braucht bzw. wenn die Onboard-Controller nix taugen oder man Passthrough bestimmter Platten machen will.

wddn schrieb:
Dazu wuerde ich gerne eine 10GbE SFP+ PCIe NIC einbauen:
geizhals.de

Inter-Tech Argus ST-7211 LAN-Adapter ab € 56,55 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Inter-Tech Argus ST-7211 LAN-Adapter ✔ Bewertungen ✔ Produktinfo ⇒ Typ: LAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height und low profile Blende im Lief… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de
Zum Vergrößern anklicken....
Die Karte kommt mit Chips aus dem Jahre 2008. Da kannste die Teile auch gebraucht für das halbe Geld auf eBay kaufen. Oder gleich was aktuelleres mit PCIe 3.0 Interface.

wddn schrieb:
SLOG/ZIL: eine Optane SSD wuerde am meisten Sinn machen, aber leider teuer
Zum Vergrößern anklicken....
Schau dir statt SLOG/ZIL mal das ZFS Special Metadata Device an, das bringt dir wahrscheinlich mehr.

wddn schrieb:
VM: 2x NVME 1TB Samsung 970 Evo - mirrored (1x PCIe 3.0 x2 + PCIe 2.0 x4 - hopefully both are close to 2000 MB/s of bandwidth)
Zum Vergrößern anklicken....
Statt die M.2 Slots zu nutzen kannst du die SSDs auch via passiven Adapter und Bifurcation direkt über die CPU anbinden: https://geizhals.de/asus-hyper-m-2-x16-card-v2-90mc06p0-m0eay0-a2267663.html?hloc=de
 
HBA: passt: spart platz, einen PCIe Slot und Stromverbrauch

NIC: jeder empfiehlt Intel NICs wegen Kompatibilitaet und diese Interetch ist neu guenstiger als die meisten gebrauchten, z.B. Intel X520-DA2. Welche gebrauchte und guenstige Alternative mit PCIe3 fuer weniger als 60 Euro bietet sich an?

SLOG: ZFS Special Metadata Device schaue ich mir an

Die Asus Hyper M.2. Karte habe ich mir vor 5 Minuten auch angeschaut: Ein PCIe3 x16 Slot erlaubt bifurcation in 4/4/4/4

​

 
wddn schrieb:
Welche gebrauchte und guenstige Alternative mit PCIe3 fuer weniger als 60 Euro bietet sich an?
Zum Vergrößern anklicken....
Mellanox Connect-X3 würde ich vorschlagen. OEM-Karten mit Intel bzw. Mellanox Chips gehen auch.
 
Die Melkanox Karten starten gebraucht bei 60 Euro - sind diese irgendwie besser, schneller, oder kompatibler mit Linux als die Intertech mit Intel Chip?
 
NIC: danke: dann suche ich mal eine gebrauchte Mellanox :)

Special vDev:

anscheinend wird 0.3% vom Storage Pool empfohlen.

Wenn mein Storage Pool 32GB groß ist, dann sprechen wir von 100GB…
Macht es Sinn den NVME Samsung 970 Evo Mirror Pool zu partitionieren (900GB für VMs + 100GB für special VDev), oder unterschiedliche Mirrors, z.B. Samsung 850 Pro SATA, oder ggf. 2x250GB NVME (auf ASUS Hyper M.2)?
 
wddn schrieb:
Wenn mein Storage Pool 32GB groß ist, dann sprechen wir von 100GB…
Zum Vergrößern anklicken....
Kann auch mehr sein, bei mir sind für 30T knapp 130GB genutzt. Ich hab in meinem Proxmox Backup Server 5x 12 TB HDDs in Kombination mit zwei 280GB Optane 900P im Einsatz.

wddn schrieb:
Macht es Sinn den NVME Samsung 970 Evo Mirror Pool zu partitionieren (900GB für VMs + 100GB für special VDev), oder unterschiedliche Mirrors, z.B. Samsung 850 Pro SATA, oder ggf. 2x250GB NVME (auf ASUS Hyper M.2)?
Zum Vergrößern anklicken....
Das Special Device sollte schon seine eignene Platte haben, sonst holst du dir ungewünschte Wechselwirkungen ins Boot, vor allem da der Metadatenzugriff latenzkritisch ist. Auch werden ja die Metadaten in kleinen Blöcken geschrieben, deshalb ist vor allem die 4K Random Performance bei den SSDs relevant. Und wenn du parallel noch VM-Workloads drauf laufen hast wird das mit Entry-Level Consumer SSDs wie den 970 Evo nicht gut gehen.
 
Und: das Special Vdev sollte neben der "Schreibfestigkeit" unbedingt auch ein Mirror sein. Wenn die Metadaten da drauf korrupt oder weg sind, dann ist der Pool weg !
Heisst: es macht keinen Sinn Redundanz bei den HDDs zu haben, beim Special Vdev aber nicht.

Evtl. macht es eher Sinn, einen Pool aus HDDs für Mediafiles, Archiv, ISO-Files und sonst. allg Storage zu haben und einen zweiten aus SSDs für VMs, permament zugegriffene Arbeitsdateien, etc. zu haben.
So hab ich das gelöst (1 Pool raidz2 6x14TB HDD, 1 Pool Mirror aus 2xPM9A3 7.68TB).
 
Special vDev wird natuerlich auch ein Mirror :)

Optane waeren perfekt, aber 2x300-600 Euro sind dann doch ein bisschen zu viel. Ich schaue gerade ob ich 2x gebrauchte 200GB Intel S3600/3610/3700/3710 fuer einen guten Kurs bekomme:
S3710 bei ebay

Aber ich befuerchte, dass die VM vDev ebenfalls sehr langlebig sein muessen... aufgrund 24/7 und IOPS... gibt es eine Hausnummer wieviele Daten geschrieben werden?
 
wddn schrieb:
Aber ich befuerchte, dass die VM vDev ebenfalls sehr langlebig sein muessen... aufgrund 24/7 und IOPS... gibt es eine Hausnummer wieviele Daten geschrieben werden?
Zum Vergrößern anklicken....
Solange es bei Nextcloud, Plex und Home Assistant bleibt, sollten die 970er EVOs locker genügen. Ich hab auch noch paar andere VMs im Einsatz gehabt und jetzt über 3 Jahre knapp 300TB auf meinen primären VM SSDs geschrieben, also knapp 100 TB pro Jahr.

Je weniger, desto länger halten deine SSDs. Da deine SSDs auch nur die Hälfte der Kapazität aufweisen, würde ich eher von <50 TB written pro Jahr ausgehen, wenn überhaupt.
 
Danke für die Antwort und deine praktischen Erfahrungen.

NVME für VMs und ein paar haltbare SSDs für special vDev: gebrauchte Samsung oder Intel Datacenter SSDs
 
Ich habe eine "interessante" SSD gefunden fuer den special vDev Mirror
https://www.ebay.com/p/7016079875

Oracle 7328752 / mz-7km480hahp, was eine umgelabelte Samsung SM863a (MZ-7KM4800) sein sollte - interessant weil MLC mit 3PB TBW und Power Loss Protection

Im Internet finde ich zu diesem Modell nicht viel, aber teilweise steht dort SAS Anschluss - auf den Fotos sieht es fuer mich eindeutig nach einem normalen SATA Anschluss aus. Da ich mir einen SAS Controller sparen moechte, ist eine SAS SSD ein No-Go.

Gibt es so etwas exotisches wie SAS mit SATA Anschluss, bzw. einen Oracle spezifischen Anschluss?

Alternative:
Intel D3 S4510 480GB zumindest 1.2PB
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.

Ähnliche Themen

M
TrueNAS Scale Storage Planung, Homeserver die 100te
Antworten
7
Aufrufe
2K
pwnbert
pwnbert
S
Fujitsu CELSIUS W570 (ggf. W550) als stromsparenden Homeserver
Antworten
9
Aufrufe
1K
Miran
M
HydraMc
[Kaufberatung] Stromsparendes Homeserver-Mainboard gesucht
2
Antworten
30
Aufrufe
4K
wddn
wddn
L
Beratung zu Selbstbau: Sparsamer Homeserver mit Desktop-Hardware?
2
Antworten
57
Aufrufe
5K
LonerLost
L
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh