[Guide] Mein neuer Home-Server / NAS im kleinsten Server-PC der Welt [Mini-PC mit Xeon und ECC RAM]

[dakazze]

Ich habe schon längere Zeit nichts gepostet, nachdem der Sommer in meiner Arbeit immer die Hölle ist und ich daher versuche meine Projekte auf den Winter zu verschieben. Vor zwei Monaten habe ich mir einen neuen Home-Server gebastelt und nachdem ich noch immer mehr als happy damit bin und endlich wieder etwas Freizeit habe, dachte ich mir, ich stelle hier mein Setup vor.

Vorwort
Es handelt sich nicht um die perfekte Home-Server Lösung mit allen möglichen Redundanzen aber meiner Meinung nach ist es ein erstklassiger Kompromiss zwischen Leistung, Stromverbrauch und Datensicherheit auf kleinst möglichem Raum!

Meine Anforderung
Bisher hatte ich einen Lenovo M73 tiny Thin-Client als Server, was lange Zeit ausreichend war, nachdem ich nicht mehr als die 16GB RAM und den alten i7 gebraucht habe und mein NAS noch klein genug war, um die wichtigsten Daten kostengünstig in der Cloud zu sichern. Nun sind aber meine Festplatten langsam übergequollen und ich wollte einen ordentlichen Medienserver mit Streaming an 4 Leute (mit Transcoding) mit entsprechender Datensicherheit. Das Problem an der ganzen Sache ist, dass ich nicht den Platz für einen größeren Server habe und auch nicht unbedingt noch einen großen Tower stehen haben will und so habe ich mich auf die Suche nach einem Mini-PC mit Server CPU UND ECC-RAM gemacht. Nur leider scheint es sowas nicht wirklich zu geben....

Nach langer Suche habe ich dann das feine Teil hier entdeckt:

Es gibt also wirklich einen Mini-PC mit (verschiedenen) Xeon CPUs und ECC RAM unterstützung!
Ich habe mich für den Xeon2176m mit 64 GB ECC RAM entschieden, was sich als mehr als genug für alle meine Anwendungen herausgestellt hat. Ich muss zugeben, dass ich dem ganzen nicht wirklich vertraut habe, ob das kleine Mainboard auch wirklich ECC bietet, also habe ich mir die Bezahlversion von Memtest86 geleistet. Diese bietet Tests speziell für ECC RAM, bei denen gezielt Fehler eingeschleust werden und es wurden wirklich ALLE Tests bestanden.

Specs:

• Xeon 2176m
• 64 GB SODIMM ECC RAM DDR4-3200
• 2x M.2 Slots
• 2x Gbit Ethernet (Realtek und Intel)
• WiFi (Intel AC200)
• 1 x SATA

Nun hat das Teil zwar nur einen SATA Port und ich wollte auch ein ordentliches NAS darauf betreiben, also habe ich einen M.2 SATA Controller verbaut. Meine Recherche hat ergeben, dass einige Chipsets nicht ordentlich mit PCI-Passthrough bzw. ZFS funktionieren und teilweise zu überhitzen neigen, also habe ich mich für ein Modell entschieden, das bekanntermaßen gut funktioniert und nach zwei Monaten und einigen intensiven Benchmarks gab es noch keine Probleme.

Nachdem ich auf ausreichend Redundanz für meine Zwecke gesetzt habe, habe ich mich für gebrauchte enterprise HDDs entschieden, die natürlich keinen Platz in dem kleinen Gehäuse haben. Diese habe ich in einer 5-Bay SATA Backplane untergebracht, die den perfekten Formfaktor hat, um daraus einen kleinen Tower zu bauen:

(Angesichts der HDD Preise, speziell am Gebrauchtmarkt würde ich heute einen SAS controller und SAS Backplane entscheiden)

Leider braucht das Teil 3 Molex Stecker für die Stromversorgung, also habe ich nach dem kleinsten Netzteil für diesen Zweck gesucht und auch eines gefunden.


Software/Services

• Proxmox
  • VMs:
    • TrueNAS VM (SATA controller via Passthrough weitergegeben)
    • Win11 VM - (Mein neuer Arbeits-PC über Remote-Desktop, mit dem ich von überall genau dort weiterarbeiten kann, wo ich aufgehört habe)
    • Ubuntu VM
    • Home Assistant
  • Container
    • OpenWRT (bin ein Netzwerk noob, also mache ich mein ganzes Routing über OpenWRT inkl. Wireguard Tunnel zum Backup server und policy based routing für filesharing via VPN)
    • NginX reverse Proxy (Habe mir eine schön kurze domain.uk für 5€/Jahr bei Cloudflare gegönnt und erreiche alle offenen Services über Subdomains wie zB. jelly.domain.uk)
    • Jellyfin - (iGPU via Passthrough für Transcodierung - schafft problemlos mehrere 4K Streams gleichzeitig)
    • Jellyseer - (Leute können Medien suchen und einen Download wünschen, der dann automatisch umgesetzt wird)
    • Sonarr (Automatische Serien Downloads)
    • Radarr (Automatische Film Download)
    • SABnzb (Usenet Download-client) [von openWRT über VPN gerouted]
    • qBittorrent (Torrent-client) [von openWRT über VPN gerouted]
    • Jackett (Indexer Manager)
    • Webserver mit Wordpress
    • Homarr (Mega einfaches Dashboard für alle Services)
    • Syncthing (zieht automatisch neue Fotos von meinem Handy auf das NAS)

Auslastung und Stromverbrauch

Wie eingangs erwähnt, hat sich herausgestellt, dass der "kleinste" Xeon für mich die richtige Wahl war, nachdem bei Betrieb aller Services und gleichzeitigem Stream an mehrere Clients noch immer Luft nach oben ist. Die Windows VM hat 16 GB RAM zur Verfügung und alle Logs und einiges weitere Files des Hypervisors liegen auf einer RAM-Disk um die SSD zu schonen. Einzig das IO-Delay ist mir zu hoch, weil ich den Fehler gemacht habe für die Proxmox Installation normale consumer SSDs (ZFS1) zu verwenden. Diese werden sobald es Probleme gibt gegen enterprise-SSDs getauscht, nachdem die 500 GB die ich dafür brauche mittlerweile wirklich erschwinglich sind.

Den Stromverbrauch (Server only, ohne die SATA Backplane) messe ich mittlerweile seit 2-3 Wochen und bin damit äußerst zufrieden:

Wenn alle VMs laufen aber nichts zutun haben, liegt der Stromverbraucht bei 19-23 W und unter "Hochlast" wenn z.B. Medien gestreamt werden, liegen die Spitzen bei 55 W.


Datensicherheit

Wie eingangs erwähnt, ist mir bewusst, dass mein Setup hier nicht perfekt ist, aber ich bin der Meinung, dass ich hier einen Sicherheitslevel erreichen kann, der ausreicht um ohne Cloudbackup auszukommen. Abgesehen von meiner Medienbibliothek, die so groß wie möglich werden soll, um nicht auf Streamingservices angewiesen zu sein, habe ich Fotos der letzten 30 Jahre und Dokumente für meine Arbeit gespeichert.
Aktuell laufen 2 gespiegelte 12 TB Platten in der Backplane mit einer Dritten, die als "Spare" konfiguriert ist und automatisch eingesetzt wird, wenn eine der beiden Platten ausfällt.
Die allerwichtigsten Dokumente werden über TrueNAS zweimal täglich mit google-drive synchronisiert, wobei das nur 500 GB sind, die nur dazu da sind, dass ich weiterarbeiten kann, bis ich ein BU wiederhergestellt habe.
Meinen alten ThinClient habe ich zum Backup-Server degradiert und in den Keller eines Freundes übersiedelt. Darauf läuft jetzt Proxmox mit einer TrueNAS VM und einem Proxmox Backup Server Container, sowie einem openWRT container. Die beiden openWRT Container (auf Hautp- und Backupserver) sind mittels Wireguard verbunden. Meine VMs und Container werden jeden zweiten Tag auf das NAS gesichert und einen Tag versetzt über Proxmox Backup Server. Die wichtigsten Daten werden täglich um 05:00 zwischen den beiden TrueNAS VMs repliziert und die Medienbibliothek wird auf gleichem Wege einmal wöchentlich repliziert.
Die VM Backups werden in Endlosschleife zwei Wochen lang aufgehoben und die NAS Snapshots werden einen Monat aufgehoben, bevor sie überschrieben werden.
Das ganze läuft nun seit 2 Monaten so und die automatische Sicherung funktioniert bestens, sodass selbst ich mir keine Sorgen mache, dass es je zu einem Totalausfall kommt.


Schlusswort

Ich kenne die Diskussionen mittlerweile bzgl. TrueNAS in einer VM und dazu kann ich nur sagen: stimmt, man braucht es nicht! Proxmox kann ebenso ZFS und Shares verwalten ABER ich bin Faul und so wie ich mich kenne, hätte ich ohne das tolle GUI von TrueNAS sicher nicht alles optimal eingestellt. So habe ich nun verschiedene Datasets und jede VM hat ihren eigenen User, sodass auch wirklich nur das absolute Minimum an Berechtigungen für die Shares vergeben ist. Außerdem sind die Synchro mit Google-Drive und die Replikation zwischen zwei TrueNAS VMs (über SSH+Netcat) ist unglaublich schnell und einfach einzurichten. Nachdem TrueNAS den ganzen SATA Controller über Passthrough zur Verfügung hat und nicht nur einzelne Laufwerke bzw. Shares, ist es ihm auch ziemlich egal, ob es nun in einer VM oder bare-metal läuft.
Was ich auch schon kenne ist die Glaubensfrage zwischen Docker und Containern und dazu kann ich nur sagen, dass ich es so einfach bevorzuge. Dank Proxmox-Helper-Scripts ist ein neuer Sonarr Container in nur 3 Minuten aufgesetzt und ich liebe es, wie einfach es ist eine VM zu clonen, automatische Backups über PBS zu machen und wiederherzustellen oder einfach einen Snapshot zu machen, etwas Dummes auszuprobieren und dann mit nur einem Click wieder alles zu reparieren.

Wie bereits geschrieben bereue ich einzig, dass ich nicht gleich einen SAS Controller und eine SAS Backplane genommen habe, da der Gebraucht-HDD Markt für SAS Festplatten einfach größer ist.

Was ich einfach noch immer extremst cool finde ist, wie sich Filesharing in den letzten 20 Jahren weiterentwickelt hat. Vor 20 Jahren habe ich einen ganzen Tag gebraucht, um einen 480p Film herunterzuladen nur um dann festzustellen, dass es nicht "Matrix 2 super mega Quality DVD RIP" ist sondern irgendein Porno... Heute habe ich mein eigenes Netfix (Jellyfin) mit Previews, Beschreibungen zu Filmen und Episoden, Bewertungen externer Seiten, Weiterschauen wo aufgehört wurde, etc. etc. etc. Außerdem hoste ich eine Seite (Jellyseer) in der einfach ALLE noch so unbekannten Filme und Serien angeführt sind, über die meine Freunde ohne Technikwissen einen Film anfordern können, zu dem dann automatisch die beste Version ausgewählt und heruntergeladen wird, ohnedass ich dazu etwas manuell beitragen muss. Eine Stunde später ist der Film, zweisprachig mit 5.1 Audio und in 4K auf meinem Netflix bereit um von allen angesehen zu werden. Dann noch das geniale Syncplay Feature, das wir viel nutzen um gemeinsam Filme anzusehen, während ich z.B. gerade im Hotel bin.
Einfach WOW was sich da getan hat!


Und hier noch kurz mein Dashboard. Ich beneide alle Leute die eines dieser mega coolen Dashboards haben aber mir fehlt einfach die Zeit, mich mit .yaml Konfigurationen und CSS auseinander zu setzen. Da kommt Homarr mit seinem einfachen Setup wirklich gelegen und reicht mir vorerst völlig:

Hardware

• MiniPC
• 6x SATA Kabel
• Mini-Netzteil
• SATA Backplane (ebay gebraucht ca. 50€)
• M.2 SATA Controller
• Festplatten - gebraucht *

(Die Links sind nur zur Formatierung "versteckt" ich habe keine Affiliate Links und habe keinerlei Verbindung zu den Händlern)

* den Shop kann ich nur wärmstens empfehlen! Ich habe 4x die selbe Platte gebraucht gekauft und bei allen zuerst einen kurzen Selbsttest gemacht, den alle Platten bestanden haben. Beim SMART-long Selbsttest, der fast einen ganzen Tag gedauert hat, hat eine der Platten fehlerhafte Sektoren ausgeworfen. Das Testergebnis habe ich dann dem Shop geschickt, habe innerhalb kürzester Zeit ein Rücksendeetikette bekommen und die Platte wurde anstandslos ausgetauscht.

Ich würde mich natürlich sehr über eure Meinung zu meinem Setup, Verbesserungsvorschläge und Kritik freuen!!

 

[Haldi]

Wollte zuerst schon Flamen das du nirgends erwähnt hast welche Hardware du nutzt, PSU, Adapterkarte... Imho gehört der Hardware teil weiter hoch.

Aber ja.
Sehr interessant das ganze! Wusste nicht das es für 200.- ECC Xeons mit 2x M2 Slot gibt. Liegt wohl daran das es alte Hardware aus 2018 ist.

Intel N100 vs Xeon E-2176M vs Xeon E3-1505M v5 vs Xeon E-2186M vs Xeon W-10885M [cpubenchmark.net] by PassMark Software

Dafür sind die 20W ganz okay.

Wie gross ist denn das Ding exakt?

P. s der zweite Netzwerk Stecker ist über ein Flachband Kabel angeschlossen... Ist das was Proprietäres oder ein Standard? Könnte man das durch was anderes ersetzen?

 

[dakazze]

Wollte zuerst schon Flamen das du nirgends erwähnt hast welche Hardware du nutzt, PSU, Adapterkarte... Imho gehört der Hardware teil weiter hoch.

Ist wohl Ansichtssache, ich denke, wenn jemand zu einem späteren Zeitpunkt nochmal die HW nachschlagen will findet man sie unten am schnellsten. Zumindest war das mein Gedanke.

Sehr interessant das ganze! Wusste nicht das es für 200.- ECC Xeons mit 2x M2 Slot gibt. Liegt wohl daran das es alte Hardware aus 2018 ist.

Ich hatte schon fast die Hoffnung aufgegeben sowas zu finden, wobei für mich die Leistung an sich eher Nebensache war. Am wichtigsten waren mir ECC Support, ausreichend Threads für viele leistungsschwache VMs und eine iGPU, die die meisten Formate transcodieren kann. Vom Preis-/Leistungsverhältnis bin ich wirklich begeistert. Vor allem das massive Alugehäuse macht viel her. Kein wackeliges, gestanztes Blech, wie man es in der Preisklasse erwarten könnte.
Aja dazu fällt mir ein, in den USA wird das selbe Teil mit ordentlichem Aufschlag bei Newegg verkauft ^^

Wie gross ist denn das Ding exakt?

Gerade abgemessen, sind genau: 135 mm x 150 mm x 60 mm

P. s der zweite Netzwerk Stecker ist über ein Flachband Kabel angeschlossen... Ist das was Proprietäres oder ein Standard? Könnte man das durch was anderes ersetzen?

Zwar würde ich davon ausgehen, dass es sich um M.2 handelt, allerdings vermute ich, dass die Verbindung proprietär ist. Dafür ist die WiFi Karte über einen gewöhnlichen M.2 Port angeschlossen. Hättest du denn dafür noch eine gute Erweiterungsidee?
Nachdem ich ja einen OpenWRT Container am Laufen habe, habe ich mich kurz mal damit gespielt, den zweiten Ethernet Port und die Wlan Karte einzubinden, was grundsätzlich gut funktioniert hat, allerdings habe ich keine wirkliche Verwendung für einen weiteren physikalischen Router, weshalb ich die beiden dann wieder rausgenommen hab. Hatte auch schon den zweiten Ethernet Port per Passthrough an TrueNAS weitergegeben aber nachdem ich ohnehin die Gbit Verbindung niemals voll auslaste habe ich das auch wieder sein lassen ^^

 

[oNyX`]

Nette Kiste! Wie hast du die Temperaturen im Proxmox UI realisiert? ;D

 

[dakazze]

Nette Kiste! Wie hast du die Temperaturen im Proxmox UI realisiert? ;D

Kann man entweder durch manuelle Änderung von config Einträgen machen, so hatte ich das bei meinem alten Server gemacht, oder ganz einfach via Script:

GitHub - Meliox/PVE-mods: Proxmox modifications

Proxmox modifications. Contribute to Meliox/PVE-mods development by creating an account on GitHub.

github.com

 

[DonChulio]

Coole Config! - Da werde ich mir den ein oder anderen Container mal abgucken

Was genau macht Sonarr und Radarr? Das habe ich noch nicht ganz verstanden, wo nehmen die denn die Quelle für den Download her und wie wissen die was du haben möchtest?

NGINX und Cloudflare ist dazu da, dass dein Server von außerhalb erreichbar ist korrekt?

 

[p4n0]

Wenn du nicht weißt was Sonar macht, dann brauchst du das auch nicht

 

[DonChulio]

Wenn du nicht weißt was Sonar macht, dann brauchst du das auch nicht

oder ich weiß noch nicht, dass ich es brauche

 

[dakazze]

Coole Config! - Da werde ich mir den ein oder anderen Container mal abgucken

Was genau macht Sonarr und Radarr? Das habe ich noch nicht ganz verstanden, wo nehmen die denn die Quelle für den Download her und wie wissen die was du haben möchtest?

NGINX und Cloudflare ist dazu da, dass dein Server von außerhalb erreichbar ist korrekt?

Sonarr / Radarr sind zwei Dienste, die grundsätzlich das gleiche machen, wobei Sonarr für Serien ist und Radarr für Filme. Es wird die Adresse von einem oder mehreren Downloadclients inkl. API-key hinterlegt und es werden Indexer für Usenet oder Torrent gesetzt, auf denen Medien gesucht werden sollen. Über Qualitätsprofile lässt sich genau festlegen, welche Qualität/Auflösung, Sprache, etc. gesucht werden soll.
Wenn alles richtig konfiguriert ist und man die richtigen Indexer hat, reicht es zB. eine Serie einzutragen die aktuell läuft und es wird automatisch regelmäßig geprüft, ob es neue Folgen gibt oder ob bessere Versionen verfügbar sind. Wenn dies der Fall ist, wird ein Befehl an den Download Client gesendet das Release zu holen, dieses wird nach dem Download dann automatisch in die Medienbibliothek kopiert und entsprechend umbenannt, damit Jellyfin die richtigen Metadaten dazu laden kann.
Es ist etwas Konfigurationsaufwand aber wenn alles richtig eingestellt ist, muss man eigentlich nichts mehr machen, als zu sagen "Diese Serie bitte!".
Im Netz gibt es haufenweise Infos dazu.

Genau, bei cloudflare habe ich die Domain adresse.uk gekauft/gemietet und dazu lassen sich unendlich viele Subdomains subdomain.adresse.uk anlegen. Über NginX lässt sich dann alles so konfigurieren, dass die subdomain jelly.adresse.uk automatisch auf den jellyfin server weitergeleitet wird. Ein zusätzlicher Vorteil von Cloudflare ist, dass dort ein kostenloser Proxy Service dabei ist, der verhindert, dass jemand der deine Domain kennt zu leicht an deine IP kommt. Außerdem ist deren Web-Interface schön einfach und übersichtlich und die Preise sind Top!
Edit: Dazu kommt dann natürlich noch ein ordentlicher Sicherheitsgewinn gegenüber einer einfachen Portfreigabe am Router. So gibt es z.B. nur eine Port Freigabe für den Reverse Proxy und es lassen sich SSL zertifikate für https Verbindungen verwenden.

Was ich noch nicht erwähnt habe ist, dass ich eine dynamische IP habe. Es gibt aber für openWRT ein tolles Plugin, das die hinterlegte IP bei Cloudflare regelmäßig prüft und bei bedarf ändert. Gleich wie bei jedem dyn-dns service.

 

[dakazze]

Noch eine kleine Ergänzung bzw. ein Tip für diejenigen, die meinen, es sei zu umständlich eigene Container für jeden Service zu erstellen:

Hier gibt es eine Sammlung von Scripts, die einfach nur per copy/paste am Host ausgeführt werden müssen, um eine VM bzw. einen Container mit dem gewünschten Service aufzusetzen und es ist hier sogut wie alles zu finden. Vom Post-Install-Script, das u.a. die bezahlten Repos deaktiviert und die Community Repos aktiviert bis hin zum Sonarr Container ist dort alles zu finden.

Das ist ganz bewusst der alte Link (der neue ist eh ganz oben auf der Seite zu finden) damit die Leute wissen, wo das Projekt herkommt. Das proxmox helper script Projekt wurde von tteck gestartet und bis zu seinem Tod vor 2 Tagen immer top aktuell gehalten. Tteck war so nett, ein derart umfangreiches Projekt in seiner Freizeit zu entwickeln und es kostenlos der ganzen Welt zur Verfügung zu stellen. Er hat tausenden Leuten das Self-Hosting näher gebracht und war bis zuletzt in der Community aktiv, die sich um ihn gesammelt hat.
Seine Frau liest die Kommentare und würde sich bestimmt über nette Worte freuen. Außerdem ist der Ko-Fi Account noch aktiv, falls jemand 2-3 € erübrigen will, um die Familie zu unterstützen.

Proxmox VE Helper-Scripts

Scripts for Streamlining Your Homelab with Proxmox VE

tteck.github.io

 

[Haldi]

aber nachdem ich ohnehin die Gbit Verbindung niemals voll auslaste habe ich das auch wieder sein lassen ^^

Was? Die 12TB im RAID1 kriegen die 125MB/s nicht ausgelastet? Die sollten doch locker 200-300MB/s stemmen.

Daher wäre ein 2.5 oder 5gbit Netzwerk Adapter recht cool.

Dafür ist die WiFi Karte über einen gewöhnlichen M.2 Port

Ehhh... Normaler physischer E-Key ja? Wie alle WiFi Slots?
Sicher das es kein CVNi Port ist der nicht via PCI-E sondern direkt an der CPU angeschlossen ist?
Dann wäre mit E-Key auf M-Key Adapter eine 5gbit M.2 Netzwerk Lösung kein Problem. Dann könnte man das Flachband Kabel einfach abklemmen.


Eigentlich wollte ich mir für das BackupNAS ja ein N100 Asrock DC Board Zutun... Zuerst ODroid aber die H4+ sind einfach zu teuer...
Aber ECC ist ein Argument das ich mir nochmal überlegen muss.

 

[dakazze]

Was? Die 12TB im RAID1 kriegen die 125MB/s nicht ausgelastet? Die sollten doch locker 200-300MB/s stemmen.

Daher wäre ein 2.5 oder 5gbit Netzwerk Adapter recht cool.

Bezüglich dem Durchsatz hast du natürlich recht aber ich habe bei realer Nutzung keine größere Schieberei im Netzwerk. Der einzige große Traffic im Netzwerk ist das NAS Backup, das aber durch meine Uploadbandbreite schon bei 100 Mbits am Ende ist. Der Download von Files findet direkt auf ein NAS Dataset statt, also auch hier kein Netzwerktraffic und dann verbleibt noch meine Nutzung für die Arbeit, bei der höchstens 200 MB am Stück übertragen werden, wo es mir ziemlich egal ist ob das nun 2 oder 0,2 Sekunden dauert und der Jellyfin Stream mit max 120 MBits lokal für 4K Inhalte zzgl. maximal 100 MBits extern.
Ich wüsse jetzt auch nicht, was da in den nächsten 5 Jahren noch an Nutzung dazukommen soll.

Ehhh... Normaler physischer E-Key ja? Wie alle WiFi Slots?
Sicher das es kein CVNi Port ist der nicht via PCI-E sondern direkt an der CPU angeschlossen ist?

Mhhh, da wirst du vermutlich recht haben, leider verdeckt der SATA controller die WiFi Karte.

Eigentlich wollte ich mir für das BackupNAS ja ein N100 Asrock DC Board Zutun... Zuerst ODroid aber die H4+ sind einfach zu teuer...
Aber ECC ist ein Argument das ich mir nochmal überlegen muss.

Wäre für meinen Einsatzzweck als BackupNAS völlig Overkill, zumindest wenn darauf sonst nichts anderes laufen soll das mit den Resourcen etwas anzufangen weiß. Ich weiß ja nicht was du da alles dranhängen willst aber hast du dir schonmal refurbed Lenovo M720s auf ebay angesehen? Das sind wirklich solide Geräte mit vernünftigem Stromverbrauch und PCI-e Slot.

 

[feitz]

Hi, ich habe den gleichen Rechner und habe deshalb Deinen Post gefunden.
Könntest Du evtl. mal ein Bild hochladen, wie Du die SATA-Kabel heraus und in das LW-Gehäuse geführt hast, einschl. Stromversorgung?
Was mir bei dem Setup fehlt, ist, daß ein m.2 Steckplatz für die SATA Platine wegfällt, damit die m.2 SSD nicht mehr gespiegelt werden kann. Nachdem die Transfergeschwindigkeit zur SATA backplane eh nicht berauschend ist, überlege, ob man nicht ein USB externes Gehäuse (JBOD mit zwei oder vier slots) zur Speichererweiterung nutzen sollte, ist vermutlich schneller und variabler (einfach umstecken im Schadensfall).
Ansonsten +1 für das Gerät, toll verarbeitet und praktisch lautlos, braucht auch nicht mehr Strom als mein N100 NAS (UGreen DXP2800) und hat halt 64 B ECC Ram und viel mehr CPU-power).

 

[dakazze]

Hi, ich habe den gleichen Rechner und habe deshalb Deinen Post gefunden.
Könntest Du evtl. mal ein Bild hochladen, wie Du die SATA-Kabel heraus und in das LW-Gehäuse geführt hast, einschl. Stromversorgung?
Was mir bei dem Setup fehlt, ist, daß ein m.2 Steckplatz für die SATA Platine wegfällt, damit die m.2 SSD nicht mehr gespiegelt werden kann. Nachdem die Transfergeschwindigkeit zur SATA backplane eh nicht berauschend ist, überlege, ob man nicht ein USB externes Gehäuse (JBOD mit zwei oder vier slots) zur Speichererweiterung nutzen sollte, ist vermutlich schneller und variabler (einfach umstecken im Schadensfall).
Ansonsten +1 für das Gerät, toll verarbeitet und praktisch lautlos, braucht auch nicht mehr Strom als mein N100 NAS (UGreen DXP2800) und hat halt 64 B ECC Ram und viel mehr CPU-power).

Hey,
du hattest Glück, dass ich heute zufällig meine Mailbenachrichtigungen gecheckt habe

Hier wäre noch ein Foto des gesamten Setups in geschlossenem Zustand. Das Netzteil hat natürlich nicht genug Schmalz um auch noch mehrere 3,5" HDDs zu betreiben, also habe ich mir einfach das kleinste Netzteil mit 3 Molex Steckern gekauft. Bin mir nicht mehr sicher, aber ich meine, dass der Standard FTX heißt.

Dass der zweite M.2 Slot dadurch wegfällt ist für mich kein Problem, da ich einfach die vorgesehene interne 2,5" SSD verbaut habe und so wird jetzt eben zwischen M.2 SSD und SATA SSD gespiegelt. Der "reduzierte" Schreibzugriff wirkt sich nicht auf den Betrieb aus, aber Aufgrund der Zugriffe rate ich zu zwei gebrauchten Datacenter-SSDs. Google gibt genug zum Thema ZFS und consumer SSDs aus.

Ich habe mich auch ganz bewusst für dieses "kompliziertere" Setup und gegen USB Festplatten entschieden aber auch zum Thema USB HDDs für NAS findet man genug. Warum sollte denn die Übertragungsrate zur Backplane nicht berauschend sein? Ich habe die Werte jetzt nicht mehr im Kopf und auch gerade keinen Zugriff auf einen Rechner der per LAN verbunden ist, aber soweit ich mich erinnern kann, gab es an der Transferrate überhaupt nichts auszusetzen. Eher im Gegenteil, nachdem der Lesezugriff dank ZFS mirror viel schneller ausfällt, als es alle Clients gleichzeitig brauchen könnten.

Ach ja, hab gerade die Uptime gecheckt und mit aktuell 73 Tagen ist das ziemlich genau seitdem ich den Thread hier erstellt habe

 

[feitz]

du hattest Glück, dass ich heute zufällig meine Mailbenachrichtigungen gecheckt habe

Danke für die schnelle Antwort, der Thread kam wirklich genau zur richtigen Zeit.
Ich löse gerade mein Synology NAS 923+ durch eine Proxmox Umgebung ab. Erst wollte ich den Xeon mini als Basis für mehrere Desktop VMs nutzen, die Netzdienste verteilt auf einen kleinen Futro und die Daten auf einem UGreen Nas ebenfalls unter Proxmox, aber der Xeon mini braucht genausowenig Strom wie das UGreen und reicht als alleiniger Server völlig aus. Das UGreen kann ich noch zurückschicken (gutes Timing). Ich habe jetzt mal ein 4er Gehäuse von Fantec bestellt und probiere das mal als Datengrab unter ZFS, wenn das nicht funktioniert probiere ich Deine Lösung aus.

gab es an der Transferrate überhaupt nichts auszusetzen

Ah, ich hatte das oben dann vielleicht falsch verstanden. Zu dem Fantec Gehäuse gibt es gemischte Kommentare (wie bei allen solchen Gehäusen), hat jedenfalls keinen Raid-Controller, sondern nur JBOD, was schon mal gut ist. ich probiere es einfach eine Weile mit Testdaten und dann sehe ich weiter.

Hast Du in der Zwischenzeit mal probiert, die WiFi /BT-Karte gegen was im Server sinnvolleres zu tauschen?
Insgesamt tolle Kiste, fand auch den leisen Lüfter perfekt, ist ja bei vielen Mini-PCs eine Schwachstelle.
Danke nochmal und viele Grüße

 

[dakazze]

anke für die schnelle Antwort, der Thread kam wirklich genau zur richtigen Zeit.
Ich löse gerade mein Synology NAS 923+ durch eine Proxmox Umgebung ab. Erst wollte ich den Xeon mini als Basis für mehrere Desktop VMs nutzen, die Netzdienste verteilt auf einen kleinen Futro und die Daten auf einem UGreen Nas ebenfalls unter Proxmox, aber der Xeon mini braucht genausowenig Strom wie das UGreen und reicht als alleiniger Server völlig aus. Das UGreen kann ich noch zurückschicken (gutes Timing). Ich habe jetzt mal ein 4er Gehäuse von Fantec bestellt und probiere das mal als Datengrab unter ZFS, wenn das nicht funktioniert probiere ich Deine Lösung aus.

Also auch wenn der Xeon schon älter ist, hat er Kapazitäten Ende nie! Bei mir sind seit ich den Thread erstellt habe noch einige VMs/LXCs dazu gekommen und es ist noch immer ordentlich Luft nach oben. Beim RAM hab ich mit mit den 64GB so verschätzt, dass ich sogar 4 GB davon als RAM-Disc für diverse Dinge nutzen, die sonst nur für Verschleiß der SSDs sorgen. Aber soll mir recht sein, kann mein Arbeits-Windows, das auf dem Server läuft ohne schlechtes Gewissen 16 GB nutzen.
Bzgl. NAS kann ich TrueNAS wirklich nur wärmstens empfehlen, es ist damit so wunderbar einfach alles mögliche einzurichten. Obwohl ich, was sowas angeht wirklich faul bin, hab ich für alles Mögliche eigene User mit eigenen Berechtigungen, ich habe ein automatisches Backup auf eine andere TrueNAS Instanz, auf einem anderen Server, das auf 3 verschiedene Tasks an verschiedenen Tagen aufgeteilt ist und seit dem letzten Update können sogar ZFS pools endlich ganz leicht unsymetrisch erweitert werden.

Ah, ich hatte das oben dann vielleicht falsch verstanden. Zu dem Fantec Gehäuse gibt es gemischte Kommentare (wie bei allen solchen Gehäusen), hat jedenfalls keinen Raid-Controller, sondern nur JBOD, was schon mal gut ist. ich probiere es einfach eine Weile mit Testdaten und dann sehe ich weiter.

Mit ZFS brauchst du ja weder hardware RAID noch JBOD und beides solltest du auch nicht nutzen, wenn du ZFS verwendest, was nach aktuellem Konsens in fast jeder Situation empfohlen wird. Auch wenn USB nicht optimal ist, könntest du TrueNAS die Platten bzw. den ganzen USB Controller durchreichen und TrueNAS das ZFS management überlassen, ist jedenfalls einfacher als über Proxmox und zwar nicht nur was die Einrichtung angeht, sondern auch die laufende Wartung und Visualisierung.

Hast Du in der Zwischenzeit mal probiert, die WiFi /BT-Karte gegen was im Server sinnvolleres zu tauschen?
Insgesamt tolle Kiste, fand auch den leisen Lüfter perfekt, ist ja bei vielen Mini-PCs eine Schwachstelle.

Nein, ich muss aber auch gestehen, dass ich in letzter Zeit nicht mehr oft an den Server gedacht habe, nachdem alles völlig reibungslos läuft. Wenn es Probleme gibt, bekomme ich eine Verständigung pe Mail und so checke ich nur alle paar Wochen, ob es wichige Updates gibt.
Das einzige, das aktuell noch auf dem Plan steht ist, beim nächsten Reboot, wann auch immer dieser sein möge, den CPU Kühler abzunehmen und mit guter WLP neu zu montieren, wie du oben im Screenshot siehst, wird der CPU schon ordentlich warm.

 

[feitz]

Das einzige, das aktuell noch auf dem Plan steht

Danke, Deinen Post lese ich mir morgen in Ruhe durch. Eine kurze Frage noch: Ich finde im BIOS keine Möglichkeit, wake-on-lan einzustellen. Bin ich blind, oder geht das bei der Kiste nicht. Wäre wichtig, wenn man mal nicht zu Hause ist und irgendwas schiefgeht... Danke nochmal und schöne Woche, Claus

 

[dakazze]

Danke, Deinen Post lese ich mir morgen in Ruhe durch. Eine kurze Frage noch: Ich finde im BIOS keine Möglichkeit, wake-on-lan einzustellen. Bin ich blind, oder geht das bei der Kiste nicht. Wäre wichtig, wenn man mal nicht zu Hause ist und irgendwas schiefgeht... Danke nochmal und schöne Woche, Claus

Puh, zu WoL kann ich leider nichts sagen und es ist auch aktuell kein Reboot geplant, sodass ich auch nicht nachsehen kann.
Nachdem der Würfel bei mir 24/7 im Betrieb ist, habe ich "restore after power loss" so eingestellt, dass er immer sofort hochfährt, sobald er Strom hat. Sollte also der Strom mal kurz ausfallen, sind nach kurzer Zeit wieder alle Dienste online.
Wenn ich mich recht entsinne, gibt es auch eine Einstellung für die "Sleep states", das würde ich mal prüfen. Wenn dort die falsche Einstellung gesetzt ist, wird der Netzwerkadapter im Standby nicht mit Strom versorgt und kann auch kein magic paket empfangen. Außerdem würde ich beide Netzwerkadapter probieren, nachdem ich mir gerade nicht sicher bin, welcher der beiden der primäre ist. (Achtung, die haben natürlich beide eine eigene MAC Adresse).

 

[feitz]

"restore after power loss"

Danke, das suche ich noch mal, habe ich auf Anhieb nicht gesehen (hatte aber nach WoL gesucht).

"Sleep states",

auch ein guter Tip, wobei mir reichen würde, wenn der Rechner nach Stromausfall von alleine wieder hochfahren würde. Hängt dann hinter der USV eh an einer Schaltdose, die ich remote schalten kann.
Danke für Deine Hilfe, bin froh, auf den Thread gestoßen zu sein. Hab' mir gestern noch einen zweiten bestellt, den nehme ich dann als Desktop (auch unter Proxmox) und gleichzeitig als Ersatz, wenn der erste mal abrauchen sollte. Den kann ich dann auch mal mit Deiner SATA-Lösung testen, ich hab' die gleichen backplanes noch rumfliegen, vielleicht passt er auch noch mit in ein kleines Gehäuse rein, so daß man die stromversorgung über das Gehäusenetzteil mit abdecken könnte.

 

[mcpaschetnik]

cooles Projekt.
könntest du aus Interesse ein Bild von der Rückseite knipsen? Danke

 

[dakazze]

Hab' mir gestern noch einen zweiten bestellt, den nehme ich dann als Desktop (auch unter Proxmox) und gleichzeitig als Ersatz, wenn der erste mal abrauchen sollte.

Wenns nur um den Desktop gehen würde, packt der eine das auch. Wie gesagt ist mein Arbeits PC auch eine win11 VM auf dem Rechner und das läuft sehr gut. Ich verbinde mich zwar per remote desktop mit der VM aber wenn die iGPU nicht für hardware encoding (streaming) gebraucht wird, kannst du diese per passthrough an die VM weiterreichen, ebenso wie maus, keyboard und alles andere was man so braucht und schon ist es auch ein lokaler windows PC.

cooles Projekt.
könntest du aus Interesse ein Bild von der Rückseite knipsen? Danke

Danke, bin auch noch sehr happy damit! Das Teil läuft, ohne sich durch Probleme bemerkbar zu machen und das schon seit 74 Tagen ohne eine einzige Unterbrechung.
Leider kann ich aktuell keine Fotos von der Rückseite machen, weil das Teil recht gut verbaut ist aber das hier hab ich noch vom Zusammenbau, allerdings vor dem Kabelmanagement:

 

[feitz]

Wenns nur um den Desktop gehen würde, packt der eine das auch.

ja, vermutlich. Aber für wichtige IT-Sachen habe ich grundsätzlich Reserve (komme aus der IT) und der 1. Xeon steht im Keller beim zentralen Switch und ist per USV abgesichert. Büro im Dach mit kpl. Infrastruktur, dort kommt der zweite hin. Falls der erste Ausfällt, wird der zweite geschlachtet. Den werde ich vermutlich auch nicht per USV absichern, das ganze IT-Zeugs braucht in Summe doch ordentlich Strom.

OT: Hatte im Haus immer 5500 kWh Stromverbrauch pro Jahr (2 Pers.), dann Heizungspumpe getauscht und meinen heißgeliebten, bis unter's Dach aufgerüsteten Mac Pro 4.1 gegen einen M1 mini getauscht, jetzt brauchen wir nur noch ca. die Hälfte an Strom. Ich möchte nicht wissen, was der Mac Strom gezogen hat, war aber im Winter immer schön kuschelig warm unterm Schreibtisch.

 

[xST4R]

@dakazze

cooles projekt , aber was mich da richtig stören würde ist die stromversorgung der festplatten gibt es da keine bessere lösung ?

sowas vielleicht ?

und ein weiterer vorschlag wär eine umhausung 3d zu drucken

 

[dakazze]

Naja, ich hätte sogar einen FDM und einen großen SLA drucker aber so schlimm finde ich das jetzt nicht. Es ist ja ein ordentlich kleines Netzteil, das ohnehin versteckt ist und ob das nun ein FTX NEtzteil oder soeines wie aus deinem Bild ist, macht dann doch auch keinen Unterschied. Wenn ich mich recht entsinne hätte ich sogar wegen kleinen PSU nur mit Molex gesucht, aber die liefern alle nicht genug Strom für 3 geschweige denn 5üä- 3,5" Festplatten.

 

[sandreas]

@dakazze

Vielen Dank für den Post - ich bin irgendwie angetan von dem Teil. Größe eines NUCs, Xeon CPU, ECC Support für bis zu 64GB RAM und 2xNVMe sind genau die Sachen, die ich für meinen Home-Server brauche. Hattest du mal gemessen, was die Kiste OHNE die ganzen HDDs an Strom benötigt, also quasi nur mit einer oder 2 NVMe SSDs?

Das dürfte ja dann deutlich unter 20W liegen...

 

[feitz]

Das dürfte ja dann deutlich unter 20W liegen...

Ich springe mal ein, weil ich dzt. nur den Xeon ohne Erweiterungen betreibe.

Mit 2x NVME (Lexar 4 TB), einer kleien 2.5" SSD und 2x32GB ECC zieht meiner ca. 15W idle. Ein Fujitsu Futro S740 unter Proxmox mit 2 SSD und 16 GB DDR4 mit wenigen VMs/LXCs (Adguard, LMS, MySpeed und HA) braucht schon ca. 8W.

Allerdings betrachte ich das immer aus der Datensicherheits-Sicht, weil 30 W 24/7 sparen und dafür einen Haufen Geld in neue Hardware investieren lohnt eher nicht, auch nicht längerfristig...
Dafür hat der Mini Xeon halt ECC, mit ZFS hoffe ich, daß mir keine Fotos mehr kaputt gehen, wie ich das im großen Stil mal bei einem Absturz eines QNap hatte. Und leise ist er

 

[Thokar]

Hast du zufällig ein Bild davon, wie die interne 2,5" SSD angeschlossen ist ?

 

[sch4kal]

@dakazze

cooles projekt , aber was mich da richtig stören würde ist die stromversorgung der festplatten gibt es da keine bessere lösung ?

sowas vielleicht ?

und ein weiterer vorschlag wär eine umhausung 3d zu drucken

Das fatzt dir weg, sobald die Backplane einfach alle Festplatten gleichzeitig hoch fährt. Hatte ich im 4-Bay 12G SAS Gehäuse von Icydock ausprobiert. Ging am selben Tag noch zurück zu Amazon.
Hab dann ein älteres BeQuiet ATX Netzteil mit so einem Schalter für den ATX Stecker genommen, das lief.

Cooles Projekt, wenns dazu einen europäischen Hersteller nur für das Board mit CPU gäbe (gerne auch neuere Gen als Coffeelake), wäre ich fast versucht damit, den Epyc Embedded ablösen zu wollen.
Auf längere Sicht müsstest du mal schauen, wie die Transmission Errors bei dir hoch gehen bzw. ob sie hoch gehen. Das war bei mir der Fall mit einem LSI 9300-8e HBA + Amphenol Kabel zum 12G SAS Icydock. Seit ich auf eine Supermicro Backplane gewechselt bin, keine Transmission Errors mehr.

 

[feitz]

Hast du zufällig ein Bild davon, wie die interne 2,5" SSD angeschlossen ist ?

Nein, aber das ist ganz einfach: die Platte wird in die vorgesehene Halterung im Deckel festgeschraubt und wenn man den Deckel zumacht, muß man den SATA-Anschluss im Deckel in einen Pfostenstecker im Gerät einsetzen. Etwas fummelig, aber keine Kabel und - wenn man trifft - stabile Verbindung.

Beitrag automatisch zusammengeführt: Heute um 19:41

Bild

weiter oben im Thread ist doch ein Bild mit 2.5" SSD... dort sieht man auch die Pfostenleiste über der m.2 NVME...

 

[sandreas]

Ich springe mal ein, weil ich dzt. nur den Xeon ohne Erweiterungen betreibe.

Mit 2x NVME (Lexar 4 TB), einer kleien 2.5" SSD und 2x32GB ECC zieht meiner ca. 15W idle. Ein Fujitsu Futro S740 unter Proxmox mit 2 SSD und 16 GB DDR4 mit wenigen VMs/LXCs (Adguard, LMS, MySpeed und HA) braucht schon ca. 8W.

Hervorragend, vielen Dank für die Infos.

Mit 2x NVME (Lexar 4 TB), einer kleien 2.5" SSD und 2x32GB ECC zieht meiner ca. 15W idle. Ein Fujitsu Futro S740 unter Proxmox mit 2 SSD und 16 GB DDR4 mit wenigen VMs/LXCs (Adguard, LMS, MySpeed und HA) braucht schon ca. 8W.

Ja, ich hab hier 2 Fujitsu D3417-B Boards mit Xeon 1225 und 64GB ECC RAM (einen als Fallback / Backup / Experimentiermaschine). Die sind schon sehr sparsam, haben aber nur einen NVMe Platz und sind hin und wieder etwas... sagen wir zickig mit dem Intel AMT.

Dafür hat der Mini Xeon halt ECC, mit ZFS hoffe ich, daß mir keine Fotos mehr kaputt gehen, wie ich das im großen Stil mal bei einem Absturz eines QNap hatte. Und leise ist er

Ja, von meinem Hauptserver mit Fotos und Dokumenten habe ich mehrere Backups (unter anderem auch auf Bluray offsite). Deswegen "riskiere" ich das mit einer NVMe, aber wohler würde ich mich mit Redundanz schon fühlen.

Allerdings betrachte ich das immer aus der Datensicherheits-Sicht, weil 30 W 24/7 sparen und dafür einen Haufen Geld in neue Hardware investieren lohnt eher nicht, auch nicht längerfristig...

Das sehe ich ganz genau so. Jedoch ist meine Hardware SOOO dermaßen alt, dass ich jetzt schon mal langsam über was moderneres nachdenken könnte. Vorteile sind 2xNVMe (=Ausfallsicherheit) und der kleinere Formfaktor. Verbrauch wäre wohl nicht so viel geringer, meine Fujitsu Kiste braucht im Idle 9.3W in Proxmox, 10-12Watt mit mehreren Dockern, das ist schon ziemlich gut.

Es gibt aktuell wenige Alternativen, die preislich erschwinglich, effizient und leistungsfähig sind und dazu noch Features wie ECC oder 2.5Gbit / 10GBe bieten.

Wenn die oben genannte Kiste noch 2.5GBe hätte (besser 10GBe, aber das braucht wieder mehr Strom), wäre sie vermutlich nahezu perfekt für meinen Anwendungsfall.