Zusammenschluss Server Raspi - ioBroker, OMV, Promox, Unraid

[Habedere]

Servus zusammen,
nachdem mein ioBroker Raspi (2GB) mitlerweile an seine Grenzen stößt und der Softwarestand meines OMV-Servers mehr als zu wünschen übrig lässt, bin ich am überlegen alles neu aufzulegen...

Also zum aktuellen Bestand:
1. Raspi 3B mit 2GB RAM inkl. 120GB Curcial BX500
-> Software ioBroker neuester Stand mit diversen Adaptern
-> MariaDB SQL Datenbank

2. Orange Pi Zero
-> Software ioBroker sehr alter Stand als client für M-Bus Adapter
->Pi-Hole

3. Odroid C2 mit E-MMC Speicher (ersetzt durch Tanix TX 5 - daher frei)
-> früher Kodi

4. Fileserver
PicoPsu 120Watt
Intel Pentium G4400, 2x 3.30GHz
MSI B150M Eco
Crucial DIMM Kit 16GB, DDR4-2133, CL15
Intel X25-V G2 40GB (sehr alt)
3x 4TB WD Red (ext4 - GPT; kein RAID)
-> Software OpenMediaVault 3.0.99 (Erasmus) auf Kernel Linux 4.9.0-0.bpo.6-amd64

Mein Wunsch ist möglichst alles auf den "leistungsfähigeren" Server zu werfen und auch zukünftig Reservern zu haben - Hardware als auch Software.
-ioBroker (!)
-piHole
-OMV (oder Alternative?!)
-evcc.io
-evtl. zukünftig mal emby, Plex, Homeassitant, Owncloud etc.

Es wurde mir empfohlen meine bestehende Fileserver-Hardware zu verwenden und auf eine Kombination aus Proxmox und Unraid zu setzen.
OMV hatte ich bisher ausschließlich genutzt um Daten innherhalb des Heimnetzwerks zur Verfügung zu stellen. Die Daten benötige ich meist nur 1 mal pro Woche. Daher liefer der bisherige Server auch nie dauerhaft durch...
Einen Teil der Daten (Bilder mind 450 GB bei über 50.000 Dateien - Tendenz steigend) möchte ich aber nach Möglichkeit dauerhaft zur Verfügung haben, um diese evtl. auch mal über VPN - extern abzurufen. Außerdem Syncronisierung und Backup vom Handy aus. Evtl auch auf eine sparsame SSD legen damit die RED´s nicht anspringen müssen. Von diesen Daten habe ich auch ein Backup auf einer alten HDD und dem Notebook. Ein weiteres Backup auf eine der RED´s wäre dann auch gut.

Wie sieht ihr Spezialisten das?
Macht Proxmox und Unraid "Sinn"?
Ist ein Umzug möglich ohne die HDD´s zu formatieren?
Sollte ich an der Hardware gleich noch Schrauben? (CPU oder M2-SSD über PCI-E?)

Mfg

 

[wddn]

Schaue dir mal TrueNAS Scale an…
Home Assistant, Nextcloud, PiHole, Plex/Jellyfin als App installieren

Ich habe parallel Proxmox auf einem HP T620+ am laufen mit OPNSense, PiHole, Home Assistant und Omada Controller.
TrueNAS Scale ist Anfänger-freundlicher.

In jedem Fall mehr cores & RAM um genug Headroom zu haben: 8c/16T mit 64GB RAM sind ein guter Kompromiss… wenn günstiger evtl. Ein Intel 4c/8t (8000/9000)

 

[Habedere]

Vielen Dank für die Info - ich werde mir TrueNAS Scale mal näher ansehen...
Hätte ich damit Nachteile was die Flexibilität und Leistungsfähigkeit angeht im Vergleich zur empfohlenen Konstellation?

In jedem Fall mehr cores & RAM um genug Headroom zu haben: 8c/16T mit 64GB RAM sind ein guter Kompromiss… wenn günstiger evtl. Ein Intel 4c/8t (8000/9000)

Benötige ich von Anfang an mehr Power für TrueNAS oder Proxmox etc oder nur wenn dann mehrere Apps/Docke/VMs laufen?
Denn aktuell möchte ich ungern Geld rein stecken, sofern es nicht unbedingt sein muss.
Ich könnte also im Zweifelsfall ja immer noch nachrüsten...
Bei 8c/16T und 64GB RAM wäre quasi eh schon der Ofen aus - dann kann ich gleich die ganze Hardware komplett neu aufsetzen.
Ein 6700t oder 7700t ist gebraucht auch nicht zweistellig zu haben - und dann wäre ich erst bei 4C/8T.
RAM müsste ich komplett ersetzen weil mein Board mit 2x 8GB voll ist
ECC habe ich auch nicht

Die Entscheidung fiel auch unter dem Gedanken dass ein Raspi 4 4GB Ersatz für meinen ioBroker zu teuer ist für das Gebotene
Ansonsten würde alles bisher zu meiner Zufriedenheit laufen.

 

[ruezi]

Warum eigentlich Proxmox und Unraid.

Reicht dir nicht evtl. Unraid aus?
Für das meiste sollte es Docker geben + irgendwann kannst du für die Docker noch SSDs nachschieben (oder auch gleich), so dass die HDDs in den Spindown gehen (können), wenn du nicht darauf zugreifst.
Formatierung der HDDs wäre hier vermutlich notwendig.

Alternativ würde auch Proxmox alleine und dort z.B. OMV als VM gehen.
Bei dieser Lösung habe ich persönlich aber etwas länger mit dem Spindown der HDDs zu kämpfen. Deshalb wurde es bei mir letztendlich für das "NAS" Unraid, weil das relativ schnell und unkompliziert mit der vorhandenen Hardware umsetzbar war.
Dein OMV-Datenpool könnte evtl. erkannt und wieder eingebunden werden können (HDDs an VM durchreichen etc)

 

[wddn]

Wenn günstig und potenter als Raspi: HP T620 Thin Client für 50€: 4C/4T bei ca. 10W
Proxmox drauf als Hypervisor

Den aktuellen Fileserver parallel nutzen: OMV, Unraid, TrueNAS scale drauf und als NAS nutzen… mit den Apps /Docker kannst du immer noch rumspielen und schauen wie es läuft - 2C/2T für Hypervisor ist sehr dünn - evtl später einen 6700 mit 4C/8T rein

Spar dir die T CPUs - den geringeren Max Verbrauch kannst du auch manuell erzielen.

 

[Habedere]

Warum eigentlich Proxmox und Unraid.

Reicht dir nicht evtl. Unraid aus?
Für das meiste sollte es Docker geben + irgendwann kannst du für die Docker noch SSDs nachschieben (oder auch gleich), so dass die HDDs in den Spindown gehen (können), wenn du nicht darauf zugreifst.
Formatierung der HDDs wäre hier vermutlich notwendig.

Alternativ würde auch Proxmox alleine und dort z.B. OMV als VM gehen.
Bei dieser Lösung habe ich persönlich aber etwas länger mit dem Spindown der HDDs zu kämpfen. Deshalb wurde es bei mir letztendlich für das "NAS" Unraid, weil das relativ schnell und unkompliziert mit der vorhandenen Hardware umsetzbar war.
Dein OMV-Datenpool könnte evtl. erkannt und wieder eingebunden werden können (HDDs an VM durchreichen etc)

Ja das war auch mal ein Gedanke - Unraid alleine.
Warum eine Kombination aus beiden sinnvoller wäre erschließt sich mir auch nicht ganz
Aber da ich mich hier nicht so gut auskenne folge ich der Empfehlung - bzw frage hier nochmal nach...

Ich möchte auf jedenfall das System auf einer SSD haben und wie gesagt optional auch die Bilder etc.
Ich könnte einen PCI-E Adapter kaufen + eine 1 TB NVME SSD.
Macht es Sinn hier das System + Daten zu platzieren?

Spinndown der HDD´s ist mir sehr wichtig, weil die Daten wie gesagt recht selten benötigt werden. Habe auch schon überlegt diese Hardwaretechnisch zu deaktivieren. Teile hätte ich hierfür sogar da...

Beitrag automatisch zusammengeführt: 27.05.2023

Wenn günstig und potenter als Raspi: HP T620 Thin Client für 50€: 4C/4T bei ca. 10W
Proxmox drauf als Hypervisor

Den aktuellen Fileserver parallel nutzen: OMV, Unraid, TrueNAS scale drauf und als NAS nutzen… mit den Apps /Docker kannst du immer noch rumspielen und schauen wie es läuft - 2C/2T für Hypervisor ist sehr dünn - evtl später einen 6700 mit 4C/8T rein

Spar dir die T CPUs - den geringeren Max Verbrauch kannst du auch manuell erzielen.

Bissl ein Invest ist schon OK - sofern es sich "lohnt".
Hab mich mal ein bisschen umgesehen - also ein 6700er (ohne T) wäre für n Fuffi zu haben. Kompatibel wäre das ganze auch. RAM könnte ich mal nachrüsten wenn ich merke dass es nicht reicht.
Möchte das ganze schon ordentlich aufbauen und nicht x-mal umbasteln. Eben weil ich hier wenig Erfahrung habe und jeder "Umzug" ein Kampf ist
Bin aber schon bereit mich damit zu befassen und einzulesen.

Ach ja - hab mal bei unserer IT-Abteilung nachgefragt.
Da könnte ich in nächster Zeit einen älteren Server abstauben....
4Gbit oder 10Gbit Anbindung
Doppelnetzteil
8 Cores (16 Threads)
64 - 256 GB RAM

Fürchte aber dass der Stromverbrauch heftig sein wird und die Hardware etwas overkill ist
Geschätzt rund 60 Watt Idle-Verbrauch.
Aber vll. kann ich nur einen Teil der Hardware verwenden und das ganze etwas stromsparender machen...

 

[ruezi]

Bei Unraid wird das "System" auf einen USB-Stick installiert.
Ansonsten können die Datenträger mehr oder weniger beliebig gemischt und die einzelnen Freigaben auf diesen verteilt werden.

Sprich, SSD verbauen und die Bilderfreigabe einfach dieser zuordnen.
Dokumente/andere "Archivdaten" den HDDs.

Falls benötigt als Cache (bestenfalls) 2 m2 SSDs. Das ist aber nicht zwingend notwendig und kann jederzeit nachgeholt werden.

 

[wddn]

60W idle wäre nicht schlecht - ich gehe eher von 100W aus…

In deinem Fall würde ich mir wirklich überlegen den jetzigen Server als reinen Fileserver / NAS zu verwenden (SMB/NFS) und nur bei Bedarf anzuschalten und dazu einen Mini-PC als Hypervisor, z.B. Beelink EQ12 Pro, oder Minisforum

 

[Habedere]

Bei Unraid wird das "System" auf einen USB-Stick installiert.
Ansonsten können die Datenträger mehr oder weniger beliebig gemischt und die einzelnen Freigaben auf diesen verteilt werden.

Sprich, SSD verbauen und die Bilderfreigabe einfach dieser zuordnen.
Dokumente/andere "Archivdaten" den HDDs.

Falls benötigt als Cache (bestenfalls) 2 m2 SSDs. Das ist aber nicht zwingend notwendig und kann jederzeit nachgeholt werden.

Ah ok - danke. D.h. ich bräuchte nur ein kostengünstige SATA SSD für die dauerhaft verfügbare Daten. Die HDDs schicke ich in den Spindown oder schalte ich direkt über Hardware einfach ab bis ich die wirklich wieder benötige...
Wenn ich aber zusätzlich mit Proxmox etc. arbeiten möchte, läuft dies schon auf der SSD oder?
Wenn ja - machte es da Sinn mittels PCI-E Adapter auf eine NVME zu setzen? Bzw. Enterprise SSD?
2 m2 SSDs bringe ich nicht drauf und das Board unterstützt auch keinen 4-fach Adapter etc.

60W idle wäre nicht schlecht - ich gehe eher von 100W aus…

In deinem Fall würde ich mir wirklich überlegen den jetzigen Server als reinen Fileserver / NAS zu verwenden (SMB/NFS) und nur bei Bedarf anzuschalten und dazu einen Mini-PC als Hypervisor, z.B. Beelink EQ12 Pro, oder Minisforum

60W war die Schätzung des IT´lers. Keine Ahnung ob ich evtl. nur einen Teil der Hardware nutzen könnte/würde und dass dann sinnvoll upgraden sollte.

Klar - die kostengünstige Variante wäre den Server so zu belassen und evtl. einfach nur einen Fujitsu Eprimo (gebraucht) etc. zu kaufen. Die bekommst für knapp 100€ mit nem 6500T + recht wenig RAM usw...
Der Beelink EQ12 Pro kostet aber auch um die 300€. SInd zwar dann 8 Cores aber auch mit 16GB RAM limitiert. Die meist verbaute 500GB NVME wäre dann noch zu knapp.
Ist mehr RAM letztendlich nicht wichtiger als CPU-Leistung bzw. Kerne?

Wenn ich nen i7-6700 für ca. 50€ verbaue, hätte ich zumindest 4 Cores / 8Threads. Ein Upgrade auf 32GB RAM (maximum) würde mich im Verkauf/Tausch evtl. 40€ kosten - sofern ich das dann wirklich benötige.
Was in allen Fällen dazu käme wäre eine 1TB SSD (welch Anschluss auch immer) für System und/ode dauerhaft verfügbare Daten.

 

[ruezi]

@Habedere
Unraid:
Für die Daten sollte normalerweise eine SATA-SSD ausreichen, wenn auf dem MB eh noch Steckplätze frei sind/wären.

Proxmox kann/wird ganz "normal" auf Platte/SSD installiert.
Auch hier reicht meiner Meinung nach eine SATA-SSD für das System bzw. die Container/VMs aus. Eine (großer) Unterschied in der Performance wird da vermutlich nicht feststellbar sein

 

[Sannyboy111985]

Ein 6700 mit 64GB RAM kann schon einiges. Im HP SFF Elitedesk 800 stemmt das mit 1 NVME und 1x SSD mit unter 20W.
Auf dem Deb11-web laufen Nextcloud und Freshrss
Auf dem Home einge kleine Webanwendungen in Docker.
Der Smarthome hat ein Openhab2 & Openhab 3 und einen IOBroker laufen - wobei der ganze Smarthome Kram über die 3 Systeme und das Homeassistant verteil sind.

 

[Habedere]

Unraid:
Für die Daten sollte normalerweise eine SATA-SSD ausreichen, wenn auf dem MB eh noch Steckplätze frei sind/wären.

Alles klar - danke für die Info!

Ein 6700 mit 64GB RAM kann schon einiges. Im HP SFF Elitedesk 800 stemmt das mit 1 NVME und 1x SSD mit unter 20W.
Auf dem Deb11-web laufen Nextcloud und Freshrss
Auf dem Home einge kleine Webanwendungen in Docker.
Der Smarthome hat ein Openhab2 & Openhab 3 und einen IOBroker laufen - wobei der ganze Smarthome Kram über die 3 Systeme und das Homeassistant verteil sind.

Danke für die Info.

Ich habe jetzt noch einen anderen Plan - da ja an meiner Hardwarebasis gezweifelt wurde...

Hätte mir jetzt einen gebrauchten Dell Precicion Tower 3431 / i7-9700 / 16GB RAM /512 GB SSD zugelegt.
Den könnte ich als Server und ggf. auch wie geplant als NAS verwenden - hoffe ich.
Lt. BDA hat er 3 SATA und einen M2 (+PCI-E)
Somit sollte ich meine 3 WD Red anschließen können + eine M2 SSD.
Optisches Laufwerk kann raus und auch kein Problem wenn ich die HDDs außerhalb vom Gehäuse lagern müsste.
Da dieser 4 RAM- Steckplätze hat, kann ich auch noch aufrüsten bis 64GB. Denke damit sollte ich gerüstet sein...
Stromverbrauch wird sich zeigen - mal sehen ob ich da noch was optimieren kann.

Meine alte Hardware könnte ich dann verkaufen - Raspi + Serverhardware.

​

 

[Habedere]

Servus,
also ich habe mir jetzt einen "Dell Precicion Tower 3431 / i7-9700 / 16GB RAM /512 GB SSD" gebraucht gekauft. Wie neu - 200€. Denke das geht schon...
Ersten Verbrauchsmessungen scheinen auch zu passen - schwankt im Win Idle etwas - aber zwischen 7 und 12 Watt lief das ganze.

Die NVME müsste ich wohl austauschen, um diese für meine Bilder + System zu verwenden. Werde die zum testen aber jetzt erst mal probieren...
Mein RAM vom Fileserver taktet mit 2133 - denke denn werde ich auf dem Board mit 2666 nicht zum laufen bringen
Daher lasse ich die 16GB mal stehen und schau wie sich das verhält. Habe auch gelesen dass der PC inoffiziell sogar 128GB RAM packen könnte.
Daher probiere ich bei einem Upgrade erstmal 2x 32GB Riegel.

Anfangen möchte ich erstmal mit Proxmox. In einer VM dann mal OMV und/oder unRaid probieren. (TrueNAS ist angeblich recht RAM hungrig)
Seht ihr ne Möglichkeit dass ich bei beiden Systemen meine bestehenden 3x ext4 einbinden kann?
Notfalls könnte ich mit einer neuen 2TB NVME (für System und Bilder) die Daten auch so hin und her schaufeln, dass ich die HDD´s einzeln formatieren könnte.

 

[Habedere]

Warum eigentlich Proxmox und Unraid.

Reicht dir nicht evtl. Unraid aus?
Für das meiste sollte es Docker geben + irgendwann kannst du für die Docker noch SSDs nachschieben (oder auch gleich), so dass die HDDs in den Spindown gehen (können), wenn du nicht darauf zugreifst.
Formatierung der HDDs wäre hier vermutlich notwendig.

Alternativ würde auch Proxmox alleine und dort z.B. OMV als VM gehen.
Bei dieser Lösung habe ich persönlich aber etwas länger mit dem Spindown der HDDs zu kämpfen. Deshalb wurde es bei mir letztendlich für das "NAS" Unraid, weil das relativ schnell und unkompliziert mit der vorhandenen Hardware umsetzbar war.
Dein OMV-Datenpool könnte evtl. erkannt und wieder eingebunden werden können (HDDs an VM durchreichen etc)

Servus,
wie hast du das Problem mit dem Spindown gelöst?

Soweit läuft meine o.g. Hardware recht gut und die 16GB RAM des anderen PC hab ich auch noch installiert.
Es läuft Proxmox mit vorerst 4x LXC und 2x VM auf einer 2TB 970 EVO Plus. Meine 3x 4TB WD RED laufen ebenfalls.

Wenn ich die HDDs manuell in den Standby schicke benötigt dass System 22 Watt. Ist jetzt nicht übel aber evtl. geht mit den HDDs noch was.
Hab auch optional von "powertop" gelesen, welches ich aktivieren möchte.

MFG

PS: Danke für die Unterstützung!

 

[ruezi]

@Habedere :
Ich kann es dir leider nicht mehr genau sagen, da ich die Konstellation so nicht mehr aktiv am Laufen habe.
Glaube, dass der ausschlaggebende Punkt der Global Filter in der lvm.conf war (siehe Proxmox Forum)

Leider hat das aber auch nicht immer funktioniert und gelegentlich war ein manuelles Eingreifen notwendig.
Deshalb verrichten nun zwei Systeme ihren Dienst:
Proxmox: Wireguard, Adguard, PiHole, ....
Unraid: NAS (ggf. kommen hier noch per Docker AdGuard/PiHole als Backup)