[Kaufberatung] Yet another (True)NAS-System evtl. in Kombination mit Virtualisierung

[Buliwyf Stonehand]

kannst du nochmal etwas zum aktuellen IDLE stromverbrauch sagen? also wo du aktuell mit proxmox und den HDDS/NVMEs stehst?

Ich kenne aktuell leider nur die Leistungsaufnahme, welche die USV anzeigt. Keine Ahnung, wie genau die Messung durch die USV ist. Neben dem Server hängen an der USV auch noch ein Zyxel GS1910-24 (max. 18 W) und ein DrayTek Vigor 165 (max. 7,5 W). Alles zusammen zieht die meiste Zeit 112 W. Der Anteil des Servers dürfte bei etwa 90 W liegen.

 

[SuperFury]

@Buliwyf Stonehand

Ich wollte zuerst einen all-in-one Server aber habe mich fuer zwei Server entschieden:
Server 1: Proxmox Hypervisor fuer essentielle Dienste (essentiell = schreit jemand zu Hause falls der Server nicht laeuft?)
Server 2: TrueNAS Scale mit nicht-essentiellen Diensten

Server 1: Proxmox Hypervisor - 5-10W
Hardware:

• HP T620 Plus Thin Client
• AMD GX-420CA mit 4c/4t
• 16GB RAM
• 120GB SATA SSD
• Intel i350-T4 NIC

Software:

• Proxmox 7.4.3
• OPNSense
• Pi-Hole
• Home Assistant
• Omada Controller

Server 2: TrueNAS Scale - 50-100W
Hardware:

• Asrock Rack X470D4U
• Ryzen 2700X 8c/16t + Noctua NH-U9DX i4
• 4x16GB ECC DDR4 Samsung 2666Mhz
• Intel X710-DA2 NIC
• Boot Pool: Crucial P2 NVME SSD 250GB for OS
• VM Pool: 2x Micron 7300 Pro 960GB NVME SSD (PLP, 1.9PB TBW) - mirrored for usage for VMs, Apps, ISO Storage
• Storage Pool: 4x HDD CMR striped mirror with 2x mirrored NVME for special vDev

Software:

• TrueNAS Scale Bluefin
• Pi-Hole 2
• Omada Controller 2
• Jellyfin
• Kavita
• cloudflared
• Nextcloud
• Heimdall

Vorschlag fuer deine Situation:

Dell PowerEdge T30 als TrueNAS Server

• VMware ESXi 6.7u3 -> TrueNAS Scale
• Intel Xeon CPU E3-1225v5 -> ok
• 64 GB DDR4 ECC RAM (4x 16 GB) -> ok
• Fujitsu RAID Controller D2616 + BBU -> notwendig?
• 4x 3 TB WD Red als RAID-10 -> 6x18TB an die 6x SATA des Mainboards
• Intel Quad-Port Gigabit NIC -> optional schnellere NIC
• 60 GB SSD SanDisk SDSSDP06 (OS) ->PCIe M.2 Adapterkarte, fuer OS, oder PCIe SATA (HBA) Controller
• RouterOS in Kombination mit einem DrayTek Vigor 165 als Ersatz für die Fritz!Box -> OPNSense, oder pfSense?
• Starface als Ersatz für die Telefoniefunktion der Fritz!Box
• Home Assistant Operating System -> Hypervisor?
• Eine DebianVM, um diverse Docker-Container (z.B. Mailcow, Jellyfin, Nextcloud, Traefik) zu betreiben
  • Mailcow, Traefik -> Hypervisor
  • Jellyfin, Nextcloud -> TrueNAS
• Eine Windows Server VM, Hauptsächlich für Veeam Backup (Sicherung der VMs auf dem NAS)
• Pi-Hole?

Neuer stromsparender Hypervisor
z.B. Mini PC
SSD storage

• Hypervisor: VMware ESXi 6.7u3 oder Proxmox
• Router: OPNSense, oder pfSense
• Starface als Ersatz für die Telefoniefunktion der Fritz!Box
• Home Assistant Operating System
• Eine DebianVM, um diverse Docker-Container (z.B. Mailcow, Jellyfin, Nextcloud, Traefik) zu betreiben
  • Mailcow, Traefik -> Hypervisor
• Eine Windows Server VM, Hauptsächlich für Veeam Backup (Sicherung der VMs auf dem NAS)
• VPN: Cloudflared als tunnel?

HP ProLiant MicroServer N54L
ich wuerde mal schauen, ob du die Fujitsu RAID Controller D2616 + BBU als HBA flashen kannst um mehr SATA Anschluesse zu haben + Molex splitter und dann die 5x8TB und 4x3TB HDDs nutzen als Backup Server mit TrueNAS - quasi cold storage

So, evtl. kannst du ein paar Inspirationen rausnehmen
Alexander

Hey Alexander,
ich bin aktuell im Begriff den HP T620 Plus mit derselben NIC zu bestücken, damit dieser meinen Router ersetzt - hätte Dir eine PM geschrieben, aber das darf ich noch nicht (sorry, wenn ich den Thread karpere) - Könntest Du mir die Ressourcenverteilung deiner Proxmox-Instanz mitteilen ?
Hoffe, die NIC kommt bald an, aber Dein Setup beruhigt mich aktuell sehr, weil ich davon ausgehe, dass Du die NIC via Passthrough durchreichst, stimmt das ?

VG
Dennis

 

[wddn]

Hallo,

OPNSense: 2 Kerne, 8GB RAM
Home Assistant: 1 Kern, 8GB RAM
PiHole: 1 Kern, 4GB RAM
Omada: 1 Kern , 4GB RAM

Ist von der Leistung am Anschlag, aber ok. Ich habe einen zweiten PiHole auf dem TrueNAS Scale und Omada gehe ich sowieso selten rein.

NIC ist natürlich durchgereicht (als Linux Bridge).

Viel Spaß damit

Ich bin gerade am failover „üben“ - Proxmox Scripts von GitHub erleichtern die Installation ungemein. VMBackups auf einem Netzwerkspeicher funktionieren sehr gut

 

[asche77]

OPNsense und pihole dürften mit der Hälfte des RAMs auskommen.

 

[wddn]

OPNsense und pihole dürften mit der Hälfte des RAMs auskommen.

OPNSense RAM ist recht gut gefüllt, aber PiHole ist sicher großzügig.
Problem ist auch nicht der RAM, sondern die CPU Leistung:
nur vier langsame AMD Jaguar Kerne…

Generell würde ich gerne meinen Proxmox Hypervisor upgraden (mehr Kerne, z.B. 4650G mit 64GB ECC RAM) und mehr Dienste darauf laufen lassen und dafür den TrueNAS Scale Server mehr in Richtung Fileserver nutzen, der nicht 24/7 läuft (aktuell fahre ich den Server ja nachts schon runter)

 

[SuperFury]

Hallo,

OPNSense: 2 Kerne, 8GB RAM
Home Assistant: 1 Kern, 8GB RAM
PiHole: 1 Kern, 4GB RAM
Omada: 1 Kern , 4GB RAM

Ist von der Leistung am Anschlag, aber ok. Ich habe einen zweiten PiHole auf dem TrueNAS Scale und Omada gehe ich sowieso selten rein.

NIC ist natürlich durchgereicht (als Linux Bridge).

Viel Spaß damit

Ich bin gerade am failover „üben“ - Proxmox Scripts von GitHub erleichtern die Installation ungemein. VMBackups auf einem Netzwerkspeicher funktionieren sehr gut

Hey, vielen Dank für die Aufklärung. Gepaart mit den Aussagen von @asche77 und dem Faktor, dass meine Kiste leider nur 8GB spendiert bekommen hat, size ich für den ersten Aufschlag wie folgt:
OPNsense: 2 Kerne / 4GB RAM
HAOS11.0: 2 Kerne / 2GB RAM (schaue noch, welche Variante es sein soll)
pihole: 1 Kern / 512MD

Dann habe ich noch etwas in Reserve für einen Nginx Proxy Manager o.Ä.

Das Durchreichen per LinuxBridge ist mir dann später auch noch klar geworden, nachdem ich jeden Strohhalm griff, irgendwo noch iommu-Support zu finden.
Ich bin selber recht neu in dieser Materie, arbeite zwar im Enterprise-Segment, aber dort doch recht gekapselt und bin, was diese Konstellation angeht noch auf einer zu hohen Flughöhe unterwegs - Zeit einzutauchen.

Der Bedarf besteht, seitdem meine aktuelle Fritzbox nun erstmalig eine komplette Firewallregel "vergessen" hat - da ich inzwischen die Kombination aus FTTH-Modem ->FreetzBox 7490 fahre und der alte T620 Plus noch hier rumstand, wollte ich das mal angehen. Habe aktuell eine Intel NC364T drin, habe nun aber eine Intel i350-T4 in Zusendung und werde die alleine wegen des Verbrauchs noch einsetzen. Aber theoretisch loslegen kann ich auch mit der NC364T.

Zielbild soll für mich sein, dass ich die FritzBox weiterhin als WLAN-Access, Switch und DECT Station nutze, ansonsten kann die stromsparen OPNsense soll alles weitere klären, dazu dann eine vernünftige Netzsegmentierung.

Bei der Recherche kam natürlich sofort OPNsense, aber nach der Installation habe ich mich gefragt, ab sich die Kiste nicht langweilt und nebenbei noch andere Dinge in sich vereinen könnte, die ich logisch dort sehe.
Dadurch kam ich dann zu Proxmox und nun stehe ich da

Im weiteren Setup sind mehrere weitere Server und ein NAS, bei denen ich dann mal schauen muss, was ich wo einsortiere

 

[asche77]

Noch drei Anmerkungen
- OPNsense dürfte selbst mit 2GB mehr als genug RAM haben - Ausnahme wenn ihr Zenarmor oder ntopng verwendet. (Hoher RAM Verbrauch dürfte meist Cache sein)
- statt separatem pihole könntest Du auch das Adguard Home Plugin für OPNsense verwenden (community repo). Oder einfach NextDNS.
- Reverse Proxy ginge auch über OPNsense Plugin - aber evtl gibt's auch gute Gründe, das in eine separate VM zu packen.