Zusammenführung NAS, Raspberry Projekte usw.

[MultumInParvo]

Hallo Forum,
ich bin nicht sehr aktiv, aber ich brauche doch eure Hilfe.
Aktuell verwende ich in meinem Heimnetz folgende Infrastruktur die ich gegen Ende 2023 umbauen möchte. Mich nerven die verschiedenen Hardware-Ebenen, der Strombedarf meines NAS usw.
Ziel: zusammenführen in einer Hardware-Ebene, Aufrüstung auf 2.5Gb oder 10Gb Ethernet, 24/7 Betrieb für Nexcloud, Pihole, Home Automatisierung usw..

Aktuell in Verwendung auf klassischem 1Gb Netzwerk:
Server: HP ProLiant ML10 mit E3-1220 auf OMV Basis mit 5*4TB Seagate NAS HDDs, Mellanox connectx-2 single (nie verwendet weil Heimnetz auf 1Gb Ethernet läuft)
Raspberry PI 4, 4GB mit NextcloudPi, 1TB SSD als Datenfestplatte per USB dran,
Raspberry Pi Zero W: Pihole, Wireguard, Dnscrypt-proxy,


Was ich vorhabe:
Ich möchte einen möglichst stromsparenden Server/NAS zusammenstellen der von der bestehenden Infrastruktur vor allem die HDDs übernimmt (5-7 4TB NAS HDDs vorhanden) in ein
1) ZFS System überführen und mit SSD/NVME Cache erweitern sodass dieses "große Datengrab" für Medienwiedergabe mittels KODI gerüstet ist (4k Streams Filme/Serien), Spindown dieses stromintensiven Systems tagsüber wenn keine Endgeräte/User auf die dort hinterlegten Daten zugreifen müssen, Abends bei Videoabrufen über das Netzwerk dann entsprechende Nutzung des Verbundes,
ggf. 2) NVME Verbund 4 * 4TB NVME Raid5/ZFS für Lightroom Fotoarchiv (ich würde mein Lightroom Archiv gerne dort hinlegen und über ein Macbook Pro mittels 2.5Gb Adapter (10Gb Ethernet Adapter auf USB bzw. TB4 hab ich noch nicht gesehen) nutzen. Ich fotografiere recht viel (Hobby bzw. auch mal bezahlte Arbeit) und ich ersetze gerade meinen Hackintosh gegen das MB Pro, dort ist der Festplattenspeicher aber sehr begrenzt, NVME in externem TB4 Gehäuse ist die nächste Alternative, nervt mich aber, eleganter würde ich die Netzwerklösung finden, was mir sorgen macht: flaschenhals Netzwerkgeschwindigkeit,
3) 2TB NVME Storage für Container:
NextcloudPi soll in einen Container umziehen und die dritte Storage-Ebene verwenden (ich dachte an 1x2TB NVME) nutzen,
alle weiteren Container (pihole, wireguard, dnscrpt-proxy, homeassistant) sollen ebenfalls diese Ebene verwenden die immer online ist und möglichst wenig Strom benötigt,
4) Backups: 2 12-18TB HDDs die aktuellim OMV NAS als Backup des RAID stecken.

1. Möchtest du mit dem Server/PC spielen? Wenn ja, was?
Nein.

2. Möchtest du den Server/PC für Bild-/Musik-/Videobearbeitung oder ähnlich nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Jein, Datastorage für Fotoarchiv, Lightroom Zugriff über Netzwerk auf HDD Storage Verbund für alte Bilder, NVME Storage auf Server für aktuellere Bilder,

3. Hast du besondere Anforderungen oder Wünsche (bestimmte Marken und Hersteller, Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
- ECC
- möglichst geringer Stromverbrauch
- TrueNAS Scale
- ZFS
- Samba Share
- Nextcloudpi
- Pihole, Wireguard, DNScrypt-proxy,
- homeassistant

4. Wieviele und welche Monitore möchtest du nutzen? Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Gsync/FreeSync?
Nein.

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten?
(Bitte mit Links oder genauen Model-Namen)
HDDs/SSDs
Gehäuse (Fractal R5), Lüfter, Bequit System Power 9 (400Watt vermutlich überdimensoiniert)

6. Wie viel Geld möchtest du ausgeben?
keine Ahnung, möglichst wenig

7. Wann soll die Anschaffung des PC erfolgen?
Q4 23

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von Helfern (Liste als Sticky))?
Selber.

9. Hardwaregedanken (aus der Hardwareluxx -Die sparsamsten Systeme (<30W Idle)- Liste):
Asus WS C246 Pro (Basis weil das Mainboard verfügbar, genug Schnittstellen, 2.5Gb Ethernet Intel I219-LM (low power oder?),
Intel Core i3-8100 oder 9100 (T)
1x16GB Ram oder wenn das nicht reicht 2x16GB ECC Ram
OS auf MTS400S SSD 32GB auf USB Adapter um keine SATA Schnittstellen weg zu nehmen,
Asus Hyper M.2 x16 v2 PCI Express NVME Karte für 4xNVME

unklar:
gerne andere Hardwarelösungen vorschlagen! gerne neuere Systeme auch wenn sie etwas mehr Geld kosten, ich will jetzt was kaufen was 6-10 Jahre trägt,
Betreibsystem (Proxmox hab ich mir bei Youtube und einige Blogs durchgelesen ggf. absoluter Overkill für mich, TrueNAS Scale als NAS OS, von mir aus auch Basis OS, auf OMV hab ich kein Bock mehr)
welche NVMEs für das Cashing des 1) HDD Storage Verbunden angeschafft werden sollten, 2) welche NVMEs und welche PCIe NVME Adapterkarte benötigt werden für ein NVME Storage Pool, 3) überhaupt sinnvoll wenn schon 2) vorhanden?

Theoretisch benötige ich in meiner Gedankenwelt folgende Anzahl an Schnittstellen:
6x SATA für HDD Raid/ZFS Verbund + 2* SATA/NVME Für SSD/NVME Cashing (lässt sich über die Ports des Asus WS C246 realisieren)
1-2x SATA für HDD Backup
4x NVME für NVME Verbund
1x NVME für Storage der Container

Ich hoffe ich habe nichts vergessen, ich würde mich über eure Vorschläge und Gedanken sehr freuen, vielen Dank!

 

[wddn]

Ich habe aktuell diesen TrueNAS Scale Server am laufen:

Asrock Rack X470D4U
Ryzen 2700X
Noctua NH-U9DX i4
4x16GB ECC DDR4 Samsung 2666Mhz

Crucial P2 250GB for OS
Asus Hyper V2 with 4x Micron 7300 Pro 960GB (PLP, 1.9PB TBW)

• 2x mirrored for VMs
• 2x mirrored for special vDev

Intel X710-DA2 NIC

5x 3.5 Backplane RaidSonic Icy Box IB-555SSK

• 4x 16TB CMR striped mirror (RAID10)

Seasonic Focus 850W

Case: Unykach 4329 (4U)

UPC: APC Smart-UPS X 1000VA

Bei deinen Anforderungen benoetigst du einige PCIe lanes. Fuer die Hyper M.2 auch noch PCIe bifurcation... Threadripper und XEON Scale haben damit kein Problem, aber benoetigen mehr Strom
ZFS liebt viel RAM - ich wuerde mindestens 32GB, oder 64GB empfehlen
Spar dir die Cache NVMEs - evtl. 2x NVME fuer special vDevs falls dir der Speed deines HDD pools wichtig ist
Die genannten CPUs mit 4C/4T waeren mir zu duenn fuer einige Container/Apps

AM4 war fuer mich die goldene Mitte, welche alle meine Anforderungen einigermassen stromsparend erfuellt hat.

 

[mrpasc]

(10Gb Ethernet Adapter auf USB bzw. TB4 hab ich noch nicht gesehen)

Gibt es aber (Thunderbolt), z.B. von QNAP (QNA-T310G1T mit 10G Ethernet oder QNA-T310G1S mit 10G SFP+) oder von Sonnet den Solo10G
Die Neupreise sind deutlich über 200€ bis 300€, aber gelegentlich findet man die gebraucht günstiger...

​

 

[MultumInParvo]

danke für eure Anworten,
@wddn kannst du mir sagen, was deine AM4 Lösung im IDLE an strom benötigt? Also mit dem, wie ich es verstanden habe doch recht reichhaltigem RAM und den 4 NVME

@mrpasc vielen dank für die Tipps mit den 10Gb Ethernet TB4 adaptern, die waren mir nicht bekannt, die Preise tun aber schon etwas weh.

 

[wddn]

60W idle mit HDDs im spindown…

IPMI ist ca 5W, und die 10GBit PCIe NIC ist auch nicht ohne.

Die 5x NVMEs und der RAM sollten nicht so wild sein.

Die 4x HDDs benötigen zusammen 28W wenn aktiv

 

[Fischje]

also klär mich einer auf, aber ZFS mit spindown halte ich für keine gute lösung....

 

[underclocker2k4]

Die 5x NVMEs und der RAM sollten nicht so wild sein.

Da wäre ich vorsichtig.
Die SSDs haben ca. (eine Angabe finde ich nicht) so runde 3-4W (pro SSD) im IDLE. (vom Gefühl her) Die werden hinreichend warm, sind also kaum mit 1W zufrieden.
Unter Last können das 12W sein. Sprich also, eine NVMe braucht unter Last also doppelt so viel wie eine HDD. Das ist natürlich immer nur extrem kurzzeitig(während die SSD schon fertig ist, hat die HDD ja noch nicht mal angefangen), sollte man aber nicht vergessen.

SSDs im Stromsparserver geht eigentlich nur mit SATA oder speziellen NVMe SSDs.
Nicht umsonst begrenzen Serverhersteller die maximale Anzahl an NVMe SSDs. Da kann es schonmal sein, dass das Storage mehr braucht als das Grundsystem... (ganz ohne, dass man da 100Stück einbaut)

Wenn man also den Speed von den vielen NVMe SSDs nicht braucht, sollte man da lieber einen Bogen drum machen, wenn der Strom ein Kriterium ist. Das gleiche gilt auch für Enterprise SAS SSDs. Die sind da ähnlich "genügsam".

 

[MultumInParvo]

oder ich kauf einfach den
Asustor FS6706T Flashstor 6

als kompromiss (ja trotz allem meiner aufgezählten anforderungen) mit den 6xnvme steckplätzen sind das dann 20TB bei 4TB je NVMe oder 10TB bei 2TB je NVMe storage (damit kann ich leben für Lightroom Arbeit), mit 2.5Gb Ethernet für 4-5 Jahre und mach da mein zeug drauf. An die USB Steckplätze würde ja sogar noch 1-2 externe USB Festplatten passen für Backups bzw. Filmdatenbank usw.
soll laut servethehome 12-13W im IDLE benötigen mit 6 P3 NVMe installiert. Und das OS gegen TrueNAS ersetzen (ist ja ein eMMC speicher gesteckt). die leistung wird für bissel home assistant, nextcloud usw. reichen.
Das wäre dann auch nicht so "teuer", wobei ich das ding mit 10Gb Eth verstanden hätte, das 12*NVMe System ist mir dafür dann aber wieder zu teuer, ich bin auch nicht bereit, so viel für für die dann fälligen NVMEs zu zahlen.