Eigenbau NAS, VMs, Software?

[maeckes89]

Hallo,

ich möchte gerne ein Eigenbau NAS aufsetzen.
Energieeffizienz steht dabei im Vordergrund. Mainboard mit onboard CPU, Netzteil und RAM habe ich bereits.
Das Board hat 4 SATA Anschlüsse und eine PCI-Express Schnittstelle.

Ich benötige:
- VMs (Unifi Controller, HomeAssistant)
- FTP Zugriff (Kameras speichern per FTP ins Netzwerk)
- Apple TimeMachine (SMB) Speicher
- Videoserver (Kodi etc) für Zugriff aus dem Netzwerk
- kein Zugriff von extern benötigt

Welche Software würdet ihr empfehlen?
Die VMs würden immer laufen, die Festplatten (FTP, TimeMachine-Backup, Kodi) möglichst nur nach Bedarf.

Betriebssystem (welches?) und die VMs auf SSD, Rest auf 3,5“ Festplatten?

Grüße!

 

[gea]

Am Flexibelsten ist als Basisbetriebssystem ein Virtualisierer wie Proxmox das ZFS mitbringt.
Darauf entweder alles virtualisieren (mit TrueNAS oder OmniOS Storage VM) oder die always on FTP und SMB Basisdienste in Proxmox aktivieren und nur spezielle Dienste und Betriebssysteme virtualisieren und den Rest auf dem Proxmox Debian direkt installieren (resourcenschonender)

Timemachine wird von SAMBA und dem kernel SMB in OmniOS unterstützt.
Linux + SAMBA SMB wird häufiger genutzt als OmniOS + kernel SMB. Letzteres ist halt resourcenschonender, einfacher zu konfigurieren und hat die deutlich bessere Windows ACL Unterstützung

Für die Dienste das OS nehmen dass das gut kann und das man gut kennt.

VMs auf SSD ist schneller, HDs sind billiger. Mit ZFS kann man beides kombinieren (special vdev) um gezielt kleine Dateien, Metadaten oder ganze VMs auf SSD zu haben und den Rest auf HD.

Für einen Hybrid Pool mit Redundanz braucht man mindestens 2 HD und 2 SSD/NVMe je als Mirror. HD sind ja inzwischen bei >20TB. Das reicht meistens. Für das special vdev wenigstens 10% der Poolgröße rechnen, gerne mehr.

Mit 4 Sata + NVMe: Booten von einer kleinen M.2 mit Daten und special vdev auf Sata
Wenn man zwei NVMe anschließen kann, dann Booten und HD auf Sata und special vdev auf Nvme.

Als Alternative eine NAS Distribution sofern die alles mitbringt (TrueNAS, Unraid, Xpenology) oder ein normales Windows 11 mit dem kostenlosen Vmware Workstation. Unter Windows wird ja gerade auch ZFS brauchbar.

 

[pwnbert]

VMs auf SSD ist schneller, HDs sind billiger. Mit ZFS kann man beides kombinieren (special vdev) um gezielt kleine Dateien, Metadaten oder ganze VMs auf SSD zu haben und den Rest auf HD.

Sorry fürs zwischenfunken, aber wie stellt man das an? Wusste nicht, dass das geht... nachdem ich ja gerade in der Sache bin...

 

[Haldi]

Hat dann aber den Nachteil das die HDDs nicht mehr schlafen können oder?

 

[gea]

Sorry fürs zwischenfunken, aber wie stellt man das an? Wusste nicht, dass das geht... nachdem ich ja gerade in der Sache bin...

Beim Schreiben kann man je dataset (ZFS Dateisystem oder ZFS Volume) mit den ZFS Eigenschaften small block und recsize festlegen wo die Daten landen z.B.

Smallblock=128K, recsize =256K oder mehr
Alle Dateien bis 128K landen auf SSD, alle Dateien > 128K auf HD

Smallblock=128K, recsize =128K (recsize=smallblock)
Alle Dateien landen auf SSD, die kleineren sowieso, die größeren als mehrere 128K Blöcke

Beitrag automatisch zusammengeführt: 08.11.2024

Hat dann aber den Nachteil das die HDDs nicht mehr schlafen können oder?

wegen special vdev?
Die einzelnen Platten können schlafen gehen wenn keine Aktivität darauf ist.

 

[Haldi]

wegen special vdev?
Die einzelnen Platten können schlafen gehen wenn keine Aktivität darauf ist.

Ja.

Also mal angenommen da wäre 2x 20TB in Mirror mit 2TB SSD vdev.
APP pool und VMs sollen HDDs nicht aktivieren. Das geht?

 

[gea]

Platten können schlafen wenn keine Aktivität.
VMs ganz ohne Aktivität sind aber eher selten, also prinzipiell ja, praktisch eher nein.

Das hat aber nichts mit special vdev zu tun.

 

[pwnbert]

Alle Dateien landen auf SSD, die kleineren sowieso, die größeren als mehrere 128K Blöcke

Aber wie bekomm ich die VM aufs SVDEV, das blick ich nicht durch.

Macht man ein ganzes Dataset aufs SVDEV?

 

[gea]

Mit Smallblock=128K, recsize =128K (recsize=smallblock) für das VM ZFS Dateisystem
landen alle Datenblöcke auf SSD

 

[maeckes89]

Danke erst mal für das Feedback und die Anregungen @gea - habe jetzt aber doch noch ein paar Fragen:

- ZFS ist relativ leistungshungrig, richtig? Der J1900 ist ja nicht super leistungsstark und mir ist der Energieverbrauch auch sehr wichtig. Für mich würde es daher eigentlich reichen, wenn sich 1x am Tag die SSD vom Betriebssystem 1:1 auf die andere kopiert (habe noch zwei SSDs "über"). Oder ist ZFS trotzdem sinnvoller?
Den Vorteil vom ZFS (beim Ausfall einer SSD) finde ich aber schon sehr gut.

- Vom Rest hab ich irgendwie nur einen Teil verstanden
Also ich benötige irgendwie 2 TB Backup für den Mac. Also Speicher als SMB freigegeben. Kann ich das mit Bordmitteln von Proton realisieren? Oder benötige ich OmniOS
Dann würde ich dafür eine 2TB Festplatte nehmen (die ist noch vorhanden) und die ausschließlich für das Backup mittels TimeMachine nutzen.

- Außerdem benötige ich noch etwas Platz für diversen anderen Kram (FTP Zugriff, Netzwerkspeicher, ...). Dafür würde ich nun eine 4TB Festplatte anschaffen. Habe an die Seagate Ironwolf 4TB ST4000VN006 gedacht. Ein Backup würde ich da nur von manchen Ordnern ziehen und das manuell.

Danke noch mal!

 

[gea]

ZFS hat ein paar Besonderheiten die Leistung kosten wie
- Copy on Write (bedeutet höhere Fragmentierung und mehr Schreib io, bringt aber ein crashsicheres Dateisystem/ geht nicht kaputt wenn es beim Schreiben abstürzt). CoW bringt auch Snaps, sowas wie Timemachine jedoch richtig gut, nicht so frickelig wie TM.

- Echtzeit Prüfsummen (ZFS meldet immer wenn eine Datei korrupt ist)

- Autorepair aus Redundanz (Selbstheilendes Dateisystem)

Wenn ZFS dennoch schnell sein soll, braucht man etwas mehr RAM. Ein Solaris/OmniOS Barebone Server geht so ab 4GB, Linux eher mit 8GB und TrueNAS eher noch mehr.

Apple nutzt zwar prinzipiell SMB aber mit Apple Besonderheiten. Damit Timemachine funktioniert braucht man Linux + SAMBA oder den Solaris Fork OmniOS jeweils mit aktivierten Apple Extras.

SAMBA kann man in Linux/Proxmox direkt installieren. Konfiguration per Console oder ein Web-gui add on

Bootdisk muss nicht unbedingt ein Mirror sein. Datendisk sollte auf jeden Fall ein Mirror sein damit nicht alles weg ist wenn die Platte mal stirbt.

Auch mit ZFS sollte man ein zusätzliches externes Backup machen z.B. auf eine USB Platte

 

[Trambahner]

@maeckes89 Ich will Dir Deine Illusionen nicht nehmen und auch nicht grossspurig rüberkommen, aber der J1900 ist 11 Jahre alt und war damals schon extrem langsam.
Der kann 2024 performancetechnisch halt unterm strich nix, mit dem ziehst keine Fischstäbchen mehr vom Teller.

Energieeffient heisst nicht, dass das so langsam sein muss. Moderne Architekturen erlauben da, richtig ausgewählt, ganz anderes als vor 11 Jahren.

 

[Haldi]

Naja.... Ja... Schon...

Intel Celeron J1900 vs N100 [cpubenchmark.net] by PassMark Software

Aber die Ansprüche des TE sind auch nicht vorhanden. HA lässt sich prima auf einem Core laufen, der ganze Rest ist eigentlich nur File Access das benötigt keine Leistung.

Also wenn die Hardware bereits vorhanden ist und genügend Geduld vorhanden ist spricht nix dagegen sie weiter einzusetzen. Auch wenn sie dann halt 8W braucht anstatt 4W.

 

[underclocker2k4]

Moderne Architekturen erlauben da, richtig ausgewählt, ganz anderes als vor 11 Jahren.

Ist der N100 nicht ne Skylake-Architektur oder sowas?
Mit anderen Worten, was damals (11 Jahre kommt bestimmt gut hin) ne "normale" CPU war, ist heute ne low power CPU. Wobei man das "low" immer in Relationen sehen muss.

Im Vergleich zu heutigen "normalen" CPUs ist das "low". Aber verglichen mit Damals (gerade bei so nem Neubau) ist das eben ne ganz andere Liga.
Clock und core count sind eben nicht alles...

Nen N100 ist Preislich ja nun auch keine so große Investition. Wenn man dann mal was größeren Machen will, hat man auch entsprechende Reserven. (beim Essen kommt man gerne auch mal auf den Geschmack)

 

[Haldi]

Nope "Gracemont" sozusagen die E-cores der 12th Gen Alderlake.

Der Intel Processor N100 ist eine Notebook-CPU der Einstiegsklasse der Alder Lake-N Serie. Er wurde im Januar 2023 vorgestellt und bietet 4 der 8 Effizienzkerne (E-Kerne, Gracemont Architektur) mit 1 GHz bis zu 3,4 GHz. Die E-Kerne unterstützen kein HyperThreading und sollen eine vergleichbare Performance wie alte Skylake Kerne bieten (z.B. i7-6300HQ).
Quelle: notebookcheck

Intel Celeron J1900 vs N100 vs i3-14100 [cpubenchmark.net] by PassMark Software

Ich wette wenn du nen 14100 (oder 12100, 13100 Same Same) auf 15-20W TDP limitierst läuft der auch super effizient. Sind halt mit 90-130€ für CPU gleich teuer wie nen ganzes N100 Board.

 

[underclocker2k4]

Habe gefunden, war keine Gleichsetzung mit der Architektur, sondern Performance.

The cores of Alder Lake: Gracemont and Golden Cove | IT World Canada News

Intel’s next-gen Alder Lake processors are set to release later this year, bringing with them a new design philosophy on a new node meant to challenge AMD. But before its release, Intel provided a breakdown of its best features at Intel Architecture Day 2021 to answer one question: what makes...

www.itworldcanada.com

In a four-core configuration, Gracemont delivered 80 per cent more performance than two Skylake cores running four threads while still consuming less power.

Bei 4C/4T und relativ gleichem Takt auch in etwa gleich schnell.

Intel N100 vs i5-6400 [cpubenchmark.net] by PassMark Software

Mit dem dezenten Unterschied, dass strommäßig Welten dazwischen liegen.

PS: Ich nutze solche alten Maschinen als Officerechner und auch mal nen altes Spiel ist damit absolut kein Problem.
Moderne Titel sind damit sicherlich nur mit Schmerzen machbar, tangiert mich aber nicht.
Soll heißen, was heute für anspruchsvolles Arbeiten reicht, reicht für ein paar Serversachen (auch wenn es mal anspruchsvoller wird) auch noch locker. (bezogen auf die Rechenleistung)
Der Unterschied zwischen solchen Systemen wird bei 24/7 am Stromzähler ablesbar. Wenngleich Skylakeplattformen auch sehr stromsparend zu bekommen sind, im unteren Lastbereich.


Eine CPU mit nur 1/5 der Leistung wird irgendwann für Frust sorgen. Der Performancebedarf kennt nur eine Richtung. Es muss kein 128C System sein, aber ne aktuelle Stromsparplattform mit zeitgemäßer Leistung schon. Zumal so nen all in MB immer 100EUR kostet, egal wie schlecht die CPU darauf ist. Daher ist nen J1900 eigentlich keine Option mehr. (vor 10 Jahren evtl. noch)