DIY Homeserver mit Proxmox, Unraid oder Truenas, Ubuntuserver

[spacemonQuee]

Guten Tag allerseits,

ich bin im Begriff, meine Speicherlösung im Heimnetzwerk anzupassen. Grund dafür ist in erster Linie die Lautstärke, in zweiter Linie die Zugänglichkeit.

Dazu habe ich überlegt, von meinem vorhandenen Homeserver in einen neuen umzuziehen und dafür größtenteils meine alte Hardware zu nutzen die ich hier noch herumliegen habe.

Hier ist der Teil, an dem ich mir am unsichersten bin weil ich noch keine Erfahrung damit habe. Als Basis hätte ich Proxmox genommen, dann Unraid oder Truenas installiert für das NAS/Fileserver, eine Nextcloud, eventuell eine Windows VM um Repository und Database von AWS Deadline zu installieren, die im Netzwerk für alle anderen PC/Workstations sichtbar ist (benötigt u.a. MongoDB hierfür), und dann falls möglich Pi-hole

Was wird benötigt:
Leiser Homserver, vier neue HDD, NVME Read/Write Cache (per neuer PCI erweiterungskarte), Fileserver mit Truenas/Unraid, Nextcloud, Mellanox CX-3, MongoDB, Pi-hole


Was ist vorhanden:

Momentan habe ich einen Dell T20 Homeserver mit einer SSD und vier 4TB Platten im RAID 5, inklusive PCI-SATA Karte und einer Intel X520-DA2 10GbE Karte.
Xeon E3-1225V3,
12GB RAM.
Dazu ein Mikrotik CRS305-1G-4S+ Switch mit vier 10GbE sfp+ ports damit Server und workstations untereinander 10GbE netzwerk haben.

Installiert ist Ubuntu Server LTS 18.04 (ohne GUI, nur Terminal), Fileserver (6 smb Netzlaufwerke, basierend auf den vier platten im RAID5) und Nextcloud für Zugriff von Unterwegs - dafür nutze ich den DNS Dienst von no-ip - alles installiert nach dieser Anleitung: https://www.techgrube.de/tutorials/...u-18-04-teil-1-einleitung-hardware-und-kosten

Der ist mir leider viel zu laut. Ich bin mir nicht sicher ob es die Festplatten oder das Netzteil sind, aber es ist nicht Wohnzimmertauglich. Und Wohnzimmertauglich muss es sein, es gibt keine anderen Platz für den Server.

An alter Hardware habe ich noch noch ein altes gedämmtes Chieftec CS601 Gehäuse, Asus X99 E-WS/Usb3.1 Mainboard, Intel i7 5930k, 64GB RAM, be quiet! straight power 10 600W.
Von diesen Teilen würde ich gerne so viel wie möglich wiederverwenden, was mich in eine Zwickmühle bringt, da ich gerne ZFS genutzt hätte, ich hierfür aber auf jeden fall ECC RAM nutzen möchte. Das Mainboard ünterstützt das, der Core i7 jedoch nicht. Den müsste ich wohl gegen eine gebrauchte Sockel 2011-3 Xeon CPU tauschen, also Xeon und ECC Ram anschaffen.

Jetzt die Frage an die Experten, macht das alles sinn wie ich mir das ausmale? Insbesondere der Software Teil mit Proxmox, Unraid oder TrueNAS etc. da ich das alles noch nicht genutzt habe bisher. Versuche momentan noch herauszufinden ob ich Unraid oder TrueNAS nehme, tendiere zu TrueNAS wegen der besseren Bedienoberfläche und weil ich keine VMs auf Unraid brauche, habe ja Proxmox als basis.

Wäre dankbar für Ideen, Verbesserungsvorschläge und sonstige Anregung.

Viele Grüße

 

[mrpasc]

Als Hinweis: falls du dich für TrueNAS / ZFS entscheidest: die vorhandene PCIE SATA Karte ist wahrscheinlich nicht gut verwendbar, empfohlen sind nur Intel (Onboard) SATA Controller oder ein HBA. „Schreib/Lesecache“ in dem Sinne gibt es bei ZFS auch nur bedingt, der schreibcache ist immer im RAM, lesecache (l2arc) bei deinem RAM eher kontraproduktiv. D.h. Bei der vorhandenen Hardware ist wohl Unraid besser geeignet.

 

[spacemonQuee]

Als Hinweis: falls du dich für TrueNAS / ZFS entscheidest: die vorhandene PCIE SATA Karte ist wahrscheinlich nicht gut verwendbar, empfohlen sind nur Intel (Onboard) SATA Controller oder ein HBA. „Schreib/Lesecache“ in dem Sinne gibt es bei ZFS auch nur bedingt, der schreibcache ist immer im RAM, lesecache (l2arc) bei deinem RAM eher kontraproduktiv. D.h. Bei der vorhandenen Hardware ist wohl Unraid besser geeignet.

Danke für die Info!
wenn ich das vorhandene Mainboard nehme hat das genügend (10) SATA anschlüsse, die PCI karte brauche ich dann nicht mehr. Read/Write cache hätte ich auch nur verbaut wenn der einen vorteil bringt und weil ich hier noch ein paar nvme ssds rumliegen habe.

 

[mrpasc]

Vorsicht, wenn ich mich richtig erinnere hat der X99 Chipsatz selbst nur 6 SATA Ports. Die anderen wären dann sicherlich auch wieder nicht so empfehlenswert ASmedia oder gar Marvell Controller. Müsstest du nochmal einen Blick in die Spezifikation werfen

 

[Trambahner]

Um ganz offen zu sprechen: ich würde in so eine alte Plattform nicht mehr investieren oder sie 24/7 wiederverwenden, denn sie wird alles andere als sparsam sein. Der T20 ist gegen den X99 ein Sparwunder.

Wenn die Festplatten 7200er sind, dann sind sie laut im T20. Die können in den T20-Schächten gerne schnell das Vibrieren geraten und das leichte T20-Gehäuse in Resonanz bringen.
5400/5900er (echte rpm, nicht "5400 rpm class"!) sind da deutlich leiser.

 

[underclocker2k4]

Nö:

Produktspezifikationen

Kurzübersicht mit Spezifikationen, Funktionen, Preise, Kompatibilität, Design-Infos, Bestellcodes, SPEC-Codes und mehr.

ark.intel.com

Das MB hat noch 2 SATA Express, wobei dann auch SATA könnten.

 

[spacemonQuee]

also insgesamt könnte ich 6 SATA ports vom mainboard nehmen, habe ins handbuch geschaut. bräuchte ja aber nur 4 oder 5 mit hotspare.
x99 ist halt alt und nicht sonderlich sparsam das stimmt schon, 24/7 wird das bestimmt schnell teuer.
ich frage mich ob der T20 geeignet wäre für Proxmox/Truenas etc. dann baue ich vielleicht dessen inneres "einfach" in ein neues Gehäuse.

Meine Festplatten sind in der Tat zwei alte HGST Diskstar NAS platten mit 7200rpmn und zwei alte 4TB red mit 5600 rpm. die würde ich entweder gegen vier geshuckte platten >8TB tauschen wenn demnächst mal wieder ein Angebot kommt oder gegen vier WD Ultrastar HC530 mit 12-16TB. macht Preis/Leistung am meisten sinn für mich. Toshiba und Seagate Exos hab ich schon ausgeschlossen, IronWolf und WD Red sind mir zu teuer.

 

[Trambahner]

Die Deskstars NAS fangen in der Tat das Brummen an (hab die 6TB selber mal im T20 getestet).

Die HC530 (hab ich auch im T20 getestet) werden etwas leiser sein im Idle (= Helium-HDD typisch) , aber sind auch nicht T20-Gehäuse tauglich. Bei Zugriffen meinst Du dann, ein Gewitter geht los; weil die Zugriffe der HC530 sind datacenter-typsch sehr sehr "knackig". Ausserdem >musst< Du die HC530 kühlen, in den T20 HDD-Plätzen werden die schnell viel zu heiss. In einem gedämmten Define R4 (mit zusätzlicher Dämmung des Käfigs zu den Gummipuffern in den Schlitten) hörst Du das noch stark durch.
Sprich, Datacenter-Laufwerke wirst Du >nie< wohnzimmertauglich bekommen. Die sind auf maximale Performance optimiert, nicht auf niedrige Lautstärke. Und schnellstes Beschleunigen und Abbremsen der Schreiblese-Köpfe lärmt halt mal.
Beachte, dass sich über die Jahre auch die Kapazitätsgrenzen verschoben haben, welche HDDs luftgefüllt und welche mit Helium.

Ansonsten sehr sehr leistungsfähige Disks. Bei Random I/O den Deskstars massiv überlegen, sequentiell auch deutlich. HC530 = immer 14 TB übrigens, die größeren heissen dann HC550 oder HC560.

PS: Ich betreibe ein Raidz2 aus 6x HC530 in einem Define R4. Das Ding steht aus gutem Grund im Abstellraum versteckt. Die haben 6x6TB Deskstar NAS verdrängt (die auch im Abstellraum stehen mussten). Ich weiss also einigermaßen, wovon ich da schreibe.

 

[spacemonQuee]

ui ok das ist gut zu wissen. hatte eigentlich vor die platten in die 5,25" schächte des CS601 einzusetzen, entweder hiermit: https://www.icydock.de/goods.php?id=139
oder in zwei von denen hier: https://geizhals.de/icy-dock-mb153sp-b-a857086.html?hloc=de wobei zweiteres dann etwas zu heiß werden könnte. und wenn sich das ganze in der front befindet und nicht direkt im inneren des Gehäuses könnte es nochmals lauter werden...

 

[Trambahner]

Und bitte nicht auf die Idee kommen, HDDs in irgendwelchen alten Gummiband-Entkopplern aufzuhängen. HDD müssen stabil befestigt werden.

 

[spacemonQuee]

dein Server mit 5950X ist dann aber auch nicht gerade sparsam oder?

 

[underclocker2k4]

Nochmal Rückmeldung zur HC550, die neben älteren 4TB REDs, im NAS laufen.
Allein das Hochdrehen der Spindeln ist ein leichtes unterschwelliges brummen. Für mich nicht wirklich störend.
ABER, wenn die Köpfe flitzen, dann geht es ab. Und das liegt am beschriebenen Verhalten. Die wollen als bald zum Einsatzstelle und macht schon gut Geräusche. Leise ist wirklich was anderes.

 

[Trambahner]

dein Server mit 5950X ist dann aber auch nicht gerade sparsam oder?

Etwa 50-55W Idle (ESXI 7) wenn die Platten stehen, 85-90 wenn die HDDs idle drehen. Windows oder aktuelles Linux wären etwas sparsamer als ESXI. Läuft auch nicht 24/7 sondern nur bei Bedarf.
Aber halt 16 aktuelle, hochperformante Kerne die bis 5Ghz takten können, 64GB ECC, LSI-Hostbusadapter, IPMI remote-Control und 2xPM9A3 7.68TB und 2x10Gbase-T.
Für das Gebotene (und sehr viel Datacenter-grade Hardware drin) sehr effizient.

Der X99 wird Idle nicht oder nicht viel weniger mehr ziehen bei deutlich geringerer Leistung.
Mein Supermicro Skylake (1240v5 @ X11SSH-CTF, also 4 Kerne) hat Idle btw in etwa das gleiche gezogen.

Mein Proxmoxzwerg etwa 23-25W Idle (das ist der 5600X @ B550M Tuf Gaming, 2xSN850 2TB, 1x970 Evo 1TB, 3 Fans)
Mein Deskmini X300 mit 4350G unter Ubuntu 22.04, 2x870QVO 4TB, 1x970Evo 1TB: etwa 7,2W Idle (auch unter Windows so).

 

[spacemonQuee]

Nochmal Rückmeldung zur HC550, die neben älteren 4TB REDs, im NAS laufen.
Allein das Hochdrehen der Spindeln ist ein leichtes unterschwelliges brummen. Für mich nicht wirklich störend.
ABER, wenn die Köpfe flitzen, dann geht es ab. Und das liegt am beschriebenen Verhalten. Die wollen als bald zum Einsatzstelle und macht schon gut Geräusche. Leise ist wirklich was anderes.

hmhmhm. dann vielleicht doch in den teuren Apfel beißen und 8TB Reds kaufen, mal sehen. oder eben 8-12TB externe platten shucken.

Mein Proxmoxzwerg etwa 23-25W Idle (das ist der 5600X @ B550M Tuf Gaming, 2xSN850 2TB, 1x970 Evo 1TB, 3 Fans)
Mein Deskmini X300 mit 4350G unter Ubuntu 22.04, 2x870QVO 4TB, 1x970Evo 1TB: etwa 7,2W Idle (auch unter Windows so).

kann man Proxmox auch einfach runterfahren und bei bedarf wieder hoch? bzw in den Ruhezustand? vor allem mit VMS und so, starten die dann automatisch wieder mit oder muss man jedesmal per Hand neu starten? Meinen Ubuntuserver versetze ich oft in den hibernate modus und wecke ihn bei bedarf dann auf.

 

[mentou]

In Proxmox kann pro VM/LXC entschieden werden, ob diese/r beim Systemstart des Hypervisors automatisch mitgestartet werden soll oder nicht
Edit: Selbst die Boot-Reihenfolge der VM/LXCs kann konfiguriert werden

siehe hier

 

[pumuckel]

Vorsicht, wenn ich mich richtig erinnere hat der X99 Chipsatz selbst nur 6 SATA Ports. Die anderen wären dann sicherlich auch wieder nicht so empfehlenswert ASmedia oder gar Marvell Controller. Müsstest du nochmal einen Blick in die Spezifikation werfen

Die x99/c612 Plattform hat 6+4 (sata und ssata) ports welche alle gut für ZFS geeignet sind und genialerweise auch einzeln (also 6 und 4) durchreichbar sind.

Ich nutze die 6 für Proxmox und den 4er ssata hab ich an ne VM durchgereicht

 

[spacemonQuee]

Die x99/c612 Plattform hat 6+4 (sata und ssata) ports welche alle gut für ZFS geeignet sind und genialerweise auch einzeln (also 6 und 4) durchreichbar sind.

Ich nutze die 6 für Proxmox und den 4er ssata hab ich an ne VM durchgereicht

wie sieht das restliche setup aus? Xeon CPU und ECC Ram oder consumer hardware?

Ich glaube inzwischen, das beste wäre ich baue den vorhandenen Dell T20 in ein neues Gehäuse um. Dann noch 32GB ECC Ram rein (gerade schon gebraucht gesucht, schwer zu finden), eine neue SATA karte und eine Mellanox C-X3.

 

[underclocker2k4]

Ich glaube inzwischen, das beste wäre ich baue den vorhandenen Dell T20 in ein neues Gehäuse um.

Zu bedenken ist, dass das MB zwar noch passen mag, aber beim NT wir es lustig. Das ist kein ATX, braucht also ein neues und das MB hat dafür kein ATX Power. Braucht also Adapter usw.

Ich würde erstmal versuchen die Geräuschquelle wirklich genau zu bestimmen. Also mal Lüfter ab (aufpassen wegen Alarmen), dann auch mal mögliche Vibrationen durch Handauflegen (fühlen und Kraft aufbringen) zu identifizieren und ggf. auch mal die Platten ausbauen (Stromlos machen, ggf. ohne OS boot) usw.
Wenn man dann Hinweise hat, dann kann man sich das noch überlegen. Eigentlich bekommt man gut raus, was die Geräusche macht. (ggf. auch Vibrationen aufs Case und das dann auf Untergrund)
Und wenn es z.B. nur die Platten sind, dann kann man auch 100 Systeme bauen, die Platten werden dadurch nicht besser. Da hilft dann nur wirkliche Silentplatten oder eben SSD. (viel Spaß bei der Kapa)

Beitrag automatisch zusammengeführt: 02.09.2022

wie sieht das restliche setup aus? Xeon CPU und ECC Ram oder consumer hardware?

Auch ConsumerHW kann dort Xeon und auch ECC. Das betrifft insbesondere auch das ASUS MB oben.

 

[BobbyD]

Und bitte nicht auf die Idee kommen, HDDs in irgendwelchen alten Gummiband-Entkopplern aufzuhängen. HDD müssen stabil befestigt werden.

Wobei ich hatte so ein Antec Gehäuse mal und hab keine Nachteile feststellen können, dafür waren die HDDs tatsächlich sehr leise, da wirklich entkoppelt, hab leider den Namen vergessen. Sah ähnlich aus wie das hier.

 

[spacemonQuee]

Zu bedenken ist, dass das MB zwar noch passen mag, aber beim NT wir es lustig. Das ist kein ATX, braucht also ein neues und das MB hat dafür kein ATX Power. Braucht also Adapter usw.

das Problem hätte ich mit einem Adapter gelöst, wie dieser hier.

Ich würde erstmal versuchen die Geräuschquelle wirklich genau zu bestimmen. Also mal Lüfter ab (aufpassen wegen Alarmen), dann auch mal mögliche Vibrationen durch Handauflegen (fühlen und Kraft aufbringen) zu identifizieren und ggf. auch mal die Platten ausbauen (Stromlos machen, ggf. ohne OS boot) usw.

Die Geräuschquelle sind in erster Linie die zwei 7200rpm HGST platten, danach der Netzteillüfter. Der Rest ist leise. Platten ausbauen kommt nicht in Frage, dann zerschieße ich mir ja das RAID.

Auch ConsumerHW kann dort Xeon und auch ECC. Das betrifft insbesondere auch das ASUS MB oben.

ich weiß, daher in meinem Startpost auch die Überlegung, ob gebrauchter Xeon für sockel 2011-3 und ECC Ram was in meinem Fall wäre.

 

[Trambahner]

Wobei ich hatte so ein Antec Gehäuse mal und hab keine Nachteile feststellen können, dafür waren die HDDs tatsächlich sehr leise, da wirklich entkoppelt, hab leider den Namen vergessen. Sah ähnlich aus wie das hier.

Mit heutigen Platten und ihren viel schmaleren oder gar überlagernden Spuren machste das lieber nicht so... Heutige Platten kalibrieren sich ja oft sogar regelmässig hörbar.
Die sollten/müssen stabil eingebaut sein (Actio = Reactio!), wenn sie zuverlässig und schnell laufen sollen. Gerade Datacenter-Platten/ Multiplatter-HDD willst Du daher nicht in solchen Bändern haben, die die verursachte Bewegung der HDD nicht verhindern. Darum haben in Consumergehäusen oder kleinen Towerservern ggf. vorhandene Entkoppelelemente auch nur eine recht geringe Elastizität.

 

[spacemonQuee]

so, fehlt noch ECC RAM, 4 neue Festplatten und die 10GbE sfp+ Karte und dann kann ich umbauen. ein Xeon E3-1245V3 ist unterwegs, LSI ist schon da.