[Kaufberatung] Ein Server für alle Fälle? Konsolidierung der Systeme, Hardwarefindung und Brauchen vs Schöner Wohnen.

[Ceiber3]

Nicht gerade günstig, aber für mich wer das was. X16 belegt für Grafikkarte, x4 frei.

 

[Luckysh0t]

Und in der Synology Apotheke gibts auch was

Wobei Synology im Gegensatz zu Qnap nicht davon spricht dass derren Karten auch auserhalb von derren NAS funktioniert. Im CB Test von vor 3 Jahren findet sich auch ein Hinweis dass es keine Treiber zum laden gibt für andere Systeme. Ob dass nun ein Linux interessiert sei mal dahingestellt, aber es sollte zumindest bedacht werden. Ich habe jedenfalls die Qnap QM2-2P2G2T und die wird ad hoc im PVE erkannt und funktioniert.

 

[mrpasc]

Die Synology Karte funktioniert Wunderbar in fremden Geräten, sie tut hier bei mir in einem AsrockRack Atom C3758 Board klaglos Dienst. Der Netzwerkchip ist ein Aquantia 107, da gibt’s Treiber für alle gängigen BS.

 

[seppendepp]

So, board gekauft mit Kühler für 55,-EUR. Mein Preisvorschlag bei in der elektronischen Bucht wurde akzeptiert.

Offtopic
ZFS und Spindown: In meiner naiven Welt ist die Idee die NVME(s) sowohl für die Container als auch als Datencache zu nutzen, um dann bspw. nachts auf die HDDs zu schreiben. Geht das?

Nachtrag:
RAM: Fällt der Unterschied zwischen 2133 und 3200er Taktung groß aus? Merkt man das im Betrieb?

 

[sch4kal]

Offtopic
ZFS und Spindown: In meiner naiven Welt ist die Idee die NVME(s) sowohl für die Container als auch als Datencache zu nutzen, um dann bspw. nachts auf die HDDs zu schreiben. Geht das?

Nachtrag:
RAM: Fällt der Unterschied zwischen 2133 und 3200er Taktung groß aus? Merkt man das im Betrieb?

Ja das geht.

Ne fällt nicht auf, sind immer noch mehr GB/s, als du via Netzwerk wegschaufeln kannst.

 

[seppendepp]

Aktueller Stand:

Komponente	Hersteller und Typ	Status
Board	Gigabyte Mainboard MC12-LE0 + AM4 Kühler	bestellt
CPU	AMD Ryzen 5600	bestellt
RAM	2x16GB, Kingston Server Premier KSM32ED8/16HD	bestellt
NVME	Samsung 840EVO, 250GB	vorhanden
Festplatten	2x 14TB, Toshiba Enterprise Capacity MG07ACA14TE	bestellt
Netzteil	Cooler Master MWE White V2 400	bestellt
Gehäuse	Miditower Nanoxia Deep Silence 4	bestellt
Gehäuselüfter	n.n., brauche ich den? Kühl = Leise?!	offen
PCIe Adapter?	Asus Hyper M.2 x16 Gen4	später

Hat jemand noch Empfehlungen zu den offenen Punkten, insbesondere ein effizientes Netzteil und ein günstiges, aber stabiles Gehäuse?

Danke!

Edit:
Status aktualisiert.

 

[wddn]

Asus Hyper M.2 x16 Gen5

Gen5? Du weißt dass das Board nur 4.0 kann?

NT: Cooler Master MWE 400 oder 450

HDD: Toshiba haben ein gutes P/L Verhältnis - Helium gefüllte sollen bisschen sparsamer sein, z.B. Toshiba Cloud-Scale Capacity MG09ACA 18TB, 512e, SATA 6Gb/s (MG09ACA18TE)

 

[besterino]

Gen5? Du weißt dass das Board nur 4.0 kann?

Haben ist besser als brauchen?

Hab übrigens auch die Asus gen5 Karte hier. Tut.

 

[HansBohne]

Unterstützt Der 5600 & Board wirklich ecc oder kann der ecc ram nur als ram nutzen? Denn das gibt es auch und wird dann auch als ECC Support vermarktet.

CPUs nutze ich "alte" XEON v3 und v5 die reichen völlig problemlos für konstant 10 GBit und langweilen sich dabei

Ich bin aktuell Seagate/ Exos Fan zur Zeit. 18 Stück 16 TByte und 7 Stück 22 TByte im Einsatz - ohne Ausfälle bisher - davor 36 Stück 4Tb Seagate mit 2 Ausfällen in 9 Jahren

Netzteile nutze ich eigentlich immer inzwischen Seasonic mind Titan Standard weil dann auch mit Anlaufstrombegrenzung glaube die haben verrückte 12 Jahre Garantie....

 

[seppendepp]

Gen5? Du weißt dass das Board nur 4.0 kann?

Nein, wusste ich nicht. Danke für den Hinweis. Hatte nur nach der Karte geschaut ohne auf die Generationen zu achten.

HDD: Toshiba haben ein gutes P/L Verhältnis - Helium gefüllte sollen bisschen sparsamer sein, z.B. Toshiba Cloud-Scale Capacity MG09ACA 18TB, 512e, SATA 6Gb/s (MG09ACA18TE)

Ich habe mich für die 14 TB Variante entschieden. 2x Toshiba MG07ACA14TE.

 

[sandreas]

@seppendepp

Bin wirklich mal auf deine Verbrauchswerte gespannt, wenn du alles am Laufen hast. Falls du Messwerte hast, wäre es super, wenn du die posten könntest.

Für den Samba könntest du auch nen Docker nutzen. Ich hab auf meinem Proxmox nen Docker-Host im LXC laufen und dort nen Container mit Samba. Die Vorteile gegenüber einer Docker-VM sind geringere Ressourcen und man kann den Host-Storage "durchmappen" (man muss sich nicht vorher auf eine HDD-Größe festlegen oder etwas mounten). So kannst du host-Storage via Samba zur Verfügung stellen, OHNE eine TrueNAS VM zu erstellen oder Samba auf dem Host zu installieren und einzurichten.

 

[HansBohne]

Unsere Server haben idle 89 und 86W (Xeon V3, 9x16 TB, 10 GBit, FreeBSD und ArchLinux) der dritte 76W (Xeon V5, 7x22TB, 10 Gbit. TrueNAS Scale) HDDs laufen immer durch.

Max sind die bei ~ 112-125W (Scrubbing + CPU Benchmark gleichzeitig ) Beim Einschalten für <= 1 Sek bei 230W - ohne NT mit Einschaltstrombegrenzung war dieser Mini Peak bei teils 1500W (850W Netzteil Gold Std.) mit den mit Einschaltstrombegrenzung bleibt das jetzt immer unter 250W.

 

[Icenice]

Unterstützt Der 5600 & Board wirklich ecc oder kann der ecc ram nur als ram nutzen?

Mit dem Gigabyte MC12-LE0 auf jeden Fall. Das bestätigt auch Memtest Pro

 

[HansBohne]

Ah ok ja irgendwie hab ich da ein falsches Board geschaut gehabt - klar das ist schon ein "Profi" Board. Hehe meinte nur weil ich erst vor kurzem ein ECC able "beworbenes" Board im Blick hatte, das aber tatsächlich nur mit ECC läuft aber keine ECC Funktionalität hatte und auch der Hersteller das erst auf Rückfrage dann gesagt hat.

 

[Haldi]

BTW Gehäuse:

Gigabyte Mainboard MC12-LE0 AM4, IPMI, Dual Intel GB Lan ECC fähig (aktuell unter 50€)

Hast du Erfahrung mit Proxmox und kannst mir bei meinen Fragen helfen? Nope, aber dafür gibt es ja einen eigenen Sammler.

www.hardwareluxx.de

Beim Preis suchen aber bitte vorher hinsetzen!

Definitiv xD
Dann leiber für 12$ so nen 8x4x4 Bifuricator splitter mit M2 slots drauf.

15.8€ |PCIE 4,0 Split PCIE X16 zu X8 + X4 + X4 Expansion Riser Karte 2x .2 NVME Eingang Port| | - AliExpress

Smarter Shopping, Better Living! Aliexpress.com

de.aliexpress.com

Auch wenn die Half Height Karten dann immernoch knappe 1cm zu hoch sind.

ZFS und Spindown: In meiner naiven Welt ist die Idee die NVME(s) sowohl für die Container als auch als Datencache zu nutzen, um dann bspw. nachts auf die HDDs zu schreiben. Geht das?

Ja, Hab TrueNAS Scale installiert mit 1x Sata SSD für System, 1x NVME 2TB für dauerhaft aktiv und 4x6TB HDDs im RaidZ1.
Die gehe innert 5 minuten in den Schlaf modus. Benötigen aber trotzdem so 3-4W im Schlaf modus.

Ich hab das Board mit 5600 und 10Gbit Mellanox ConnectX3 Karte hier.

Gehäuse lüfter kann ich dir zwingend Emfpehlen! Wenn du den mitgelieferten Gelid CPU kühler hast möchtest du nicht das der über 1200RPM läuft ^^ Der macht bei 2700rpm ordentlich krach.
so 120er mit 600rpm ist beinahe unhörbar hilft aber viel.

Gigabyte Mainboard MC12-LE0 AM4, IPMI, Dual Intel GB Lan ECC fähig (aktuell unter 50€)

Hast du Erfahrung mit Proxmox und kannst mir bei meinen Fragen helfen? Nope, aber dafür gibt es ja einen eigenen Sammler.

www.hardwareluxx.de

 

[HansBohne]

Hmmm das ist aber sehr strange viel finde ich - oder hast Du da noch andere Sachen laufen wie virtuelle Maschinen? die die z.B. die CPU oder eine GPU fordern?

Meine Systeme verbrauchen mit "alway on" der HDDs grob vergleichbar viel wie Deines im HDD Sleep Modus - und das ist eigentlich ungewöhnlich, denn ich habe - bis auf die Netzteile die sind effizient - keine supersparsamen Teile verbaut sondern eher alte 2x XEON V3 + 1x XEON V5

 

[seppendepp]

Bin wirklich mal auf deine Verbrauchswerte gespannt, wenn du alles am Laufen hast. Falls du Messwerte hast, wäre es super, wenn du die posten könntest.

Klar, mache ich. Seit dem Wochenende sind nun alle Teile da. Ich habe nächste Woche Urlaub und mehr Zeit mich darum zu kümmern.

Für den Samba könntest du auch nen Docker nutzen. Ich hab auf meinem Proxmox nen Docker-Host im LXC laufen und dort nen Container mit Samba. Die Vorteile gegenüber einer Docker-VM sind geringere Ressourcen und man kann den Host-Storage "durchmappen" (man muss sich nicht vorher auf eine HDD-Größe festlegen oder etwas mounten). So kannst du host-Storage via Samba zur Verfügung stellen, OHNE eine TrueNAS VM zu erstellen oder Samba auf dem Host zu installieren und einzurichten.

Gute Idee. Nehme ich mit auf. Bin hinsichtlich Softwaresetup noch unschlüssig und habe mich noch nicht festgelegt.

 

[HansBohne]

Ich hab mal nochmal kurz den "Normalbetrieb" angeschaut - unsere Server sind halt n meist nur an wenn man was drauf oder runterkopiert . das jetzt ein System mit 9 HDDs + 1 SSD

Die 4W sind standby verbauch (IPMI) wird immer dann abends um 22:00 abgeschaltet wenn niemand den Server dann nutzt.

 

[seppendepp]

Kurzes Update meinerseits:

1. Ich lebe noch.
2. System ist nun fertig montiert.
3. Aktuell überlege ich wie ich das System aufbaue. Proxmox + Container (Samba, NC, etc.), Proxmox + TrueNAS oder direkt TrueNAS auf die Kiste installiere.
4. Daten zur Leistungsaufnahme folgen, wie versprochen.

 

[wddn]

3. Aktuell überlege ich wie ich das System aufbaue. Proxmox + Container (Samba, NC, etc.), Proxmox + TrueNAS oder direkt TrueNAS auf die Kiste installiere.

Proxmox mit TrueNAS VM - die Virtualisierung in TNS ist aktuell noch ein Gefrickel…

 

[pwnbert]

Das ist leider richtig, der Virtualizer in TrueNAS Scale ist eine ziemliche Behelfslösung. Hoffentlich wird das noch besser.

 

[seppendepp]

Ja, von den Problemen mit der Virtualisierung in TrueNAS Scale las ich auch. Das ist es auch, was mich momentan davon abhält es direkt auf die Kiste zu werfen. Da ist die Proxmox Schicht dazwischen vermutlich besser.

Die Idee von sandreas weiter oben mittels Proxmox und der Rest in Containern klingt auch nicht schlecht, weil sehr schlank. Andererseits ist die Integration in TNS durch die verschiedenen plugins (NC, smb, paperless etc.) natürlich sehr komfortabel.

Hachja....

 

[wddn]

Andererseits ist die Integration in TNS durch die verschiedenen plugins (NC, smb, paperless etc.) natürlich sehr komfortabel.

TrueNAS VM mit den Daten - NFS/SMB Freigabe und die Container/VMs darauf zugreifen lassen.

Mit den Proxmox Helper Scripts ist das auch alles schnell installiert

 

[HansBohne]

Hmmm paperless funktioniert bei mir in TrueNAS nicht, das hängt für immer auf "deploy" auch in der Beta von TrueNAS. Eine Grafikkarte konnte ich in TrueNAS auch nicht erfolgreich durchreichen - im "normalen" QEMU aber schon in Linux.

Immerhin Win11-64 als Gast läuft dann wieder problemlos ohne explizite Grafikkarte - was mir zum Glück reicht

 

[wddn]

Beste Nutzung der TNS VM Funktionalität?

PBS für Proxmox 😁

Ich bin immer noch ein Fan der zwei Server Lösung, da ich ein simples und automatisiertes Backup des Hypervisors habe (sehr easy zum restoren).

Benötige ich den Fileserver, bzw. Den Speicherplatz 24/7? Sicher nein, aber natürlich wäre es besser um den ARC unter ZFS effizienter zu nutzen (mein Fileserver läuft 18/7, mit automatisiertem Power Down & Up)

 

[Haldi]

Hmmm paperless funktioniert bei mir in TrueNAS nicht,

Hab's gerade gestern installiert (Dragonfish Beta) und es läuft einwandfrei.
Gibt aber 2 Versionen.

 

[HansBohne]

und welche haste installiert?

 

[seppendepp]

Aktueller Stand 03.08.2024:

Komponente	Hersteller und Typ	Status
Board	Gigabyte Mainboard MC12-LE0 + AMD Boxed Kühler	läuft
CPU	AMD Ryzen 5600	läuft
RAM	2x16GB, Kingston Server Premier KSM32ED8/16HD	läuft
SSD	Samsung 840EVO, 250GB	läuft
Festplatten	2x 14TB, Toshiba Enterprise Capacity MG07ACA14TE	läuft
Netzteil	Cooler Master MWE White V2 400	läuft
Gehäuse	Miditower Nanoxia Deep Silence 4	läuft
Gehäuselüfter	Integriert im Gehäuse	läuft
PCIe Adapter	Asus Hyper M.2 x16 Gen4	läuft
NVME	2x 240GB, ATP NVMe M.2 2280	läuft

Proxmox auf der Samsung SSD mit EXT4.
Der Rest wird als pool auf ZFS angelegt. Die beiden NVMEs sollen als ZFS Cache und für die LXC Container genutzt werden.

Stromaufnahmemessungen folgen, wenn ich alles fertig installiert habe und die Kiste in den Normalbetrieb geht, also mit bisheriger Geschwindigkeit wird das in 100 Jahren der Fall sein. ;-)


Die Asus Hyper ist ein riesen Brocken! Die passt so gerade ins Gehäuse. Glück gehabt:

 

[wddn]

Die Asus Hyper ist ein riesen Brocken! Die passt so gerade ins Gehäuse.

Die PCIe 3.0 Version ist kürzer - mein 4650G kann eh nur PCIe 3.0

 

[pumuckel]

Aktueller Stand 03.08.2024:

Komponente	Hersteller und Typ	Status
Board	Gigabyte Mainboard MC12-LE0 + AMD Boxed Kühler	läuft
CPU	AMD Ryzen 5600	läuft
RAM	2x16GB, Kingston Server Premier KSM32ED8/16HD	läuft
SSD	Samsung 840EVO, 250GB	läuft
Festplatten	2x 14TB, Toshiba Enterprise Capacity MG07ACA14TE	läuft
Netzteil	Cooler Master MWE White V2 400	läuft
Gehäuse	Miditower Nanoxia Deep Silence 4	läuft
Gehäuselüfter	Integriert im Gehäuse	läuft
PCIe Adapter	Asus Hyper M.2 x16 Gen4	läuft
NVME	2x 240GB, ATP NVMe M.2 2280	läuft

Sieht doch gut aus