Planung Server / Heimnetzwerk

[buyman]

Ich überlege jetzt schon länger, wie ich meine Hardware/Server/Netzwerklandschaft umbauen sollte, damit ich die nächsten Jahre Ruhe habe. Zentrales Thema ist die Datenhaltung, Backup, aber auch die Performance bei Bildbearbeitung (und zukünftig Videobearbeitung).

-------------------------------------------------------------------------------------------------------------------------------------------------------
Aktuelle Hardware:

Clients:

• Ryzen 3700X mit Arch Linux (Link)
• Lenovo W520 mit Arch Linux (wird früher oder später getauscht)
• Windows 7 PC (wird früher oder später auf Linux umgestellt)
• Android Smartphones & Tablet
• Kodi

2 Server:

• N36L
  • 8GB ECC RAM
  • 4x2TB im Raid-Z1 (+2 Spare Platten)
  • Entweder Umbau auf 5x2TB Raid-Z1 (+1 Spare Platte), oder beibehaltung der 4x2TB und zusätzlich 2x4TB im Raid1
  • Läuft nur auf Bedarf, soll Backup bereitstellen
  • Backup per Borg-Backup + wichtige Daten per rsync, für schnellen Wechsel auf das Backup im Fehlerfall
• N54L:
  • Aktuell 4GB ECC (entweder Erweiterung oder Tausch mit dem N36L für mehr ZFS Performance)
  • Aktuell 3x8TB und 1x3TB
  • Umbau angedacht auf 6x8TB im Raid-Z1
  • Zentraler Datenserver für alle Daten, Backup auf den 2. Server
  • Zugriff der Clients per ZFS

Die Server sind aktuell fast exklusiv als Fileserver verwendet. Durch die limitierte Performance wird das (abgesehen von kleineren Nebentätigkeiten) auch so bleiben (müssen).

Server - Switch 1 - Switch 2 - PC
             |
        W-LAN Router

Das ist aktuell die effizienteste Verkabelung in der Wohnung, kann aber auch geändert werden.

-------------------------------------------------------------------------------------------------------------------------------------------------------
Anwendungsszenario:

1. Mein bisheriges Anwendungsszenario für Bildbearbeitung mit Lightroom) war folgendes:
Daten auf lokaler Festplatte -> 1:1 Vorschauen von Lightroom auf lokaler SATA-SSD -> Lokales Katalog-Backup -> Gesamt-Backup auf einen Server
Vom Prozess her war das ausreichend schnell. Bottleneck war eher die Berechnung der Vorschauen, aber das konnte im Hintergrund passieren.

2. Im Zuge einer Umstellung habe ich alle meine Daten zentral auf einem Server abgelegt. Ziel war ein einfacheres Backup und der Zugriff über alle Geräte, auch wenn der Rechner nicht läuft. Die Daten liegen jetzt auf einem Server (siehe Hardwarebeschreibung unten).
Daten auf Server -> 1:1 Vorschauen von Lightroom auf lokaler SATA-SSD -> Lokales Katalog-Backup
Geschwindigkeit ist immer noch OK, da die Vorschauen lokal liegen.

Jetzt kommt aber das Problem: Lightroom hat bei mir leider ein Ablaufdatum durch den Wechsel auf Linux. Daher soll früher oder später auf Digikam/RAWTherapee umgestellt werden. Hier merke ich in der Konstellation einen deutlichen Fall von iowait beim Lesen der RAW-Dateien vom Server. Testweise hab ich die RAWs auf die SSD verfrachtet und eine Verbesserung festgestellt, auch wenn beide Tools auch so schon nicht langsam sind. LR funktioniert ja nur mit dem 1:1 Cache richtig schnell, da sind die anderen Tools imho deutlich besser. Der Cache alleine belegt aktuell 400GB an Daten bei ingesamt 1.2TB an RAWs. Effizienz sieht anders aus, dafür ist es schnell.

Hauptsächlich wird mit dem Stand-PC gearbeitet (zu 95%), und ich denke, das wird sich realistisch betrachtet nicht ändern in Zukunft.

-------------------------------------------------------------------------------------------------------------------------------------------------------
Die Probleme sehe ich jetzt:

• Gigabit Verbindung ist etwas zu langsam bei Bildern (Stichwort iowait in der Beschreibung oben)
• Und die 6x8TB sind weniger zukunftssicher als gedacht. Für mehr Luft bräuchte ich mehr Platten, aber der N54 ist natürlich voll.
• Die zentrale Datenhaltung ist super Zugriffsmöglichkeit von überlal gegeben (z.B. per VPN in Planung), schränkt aber bei Beibehaltung die Lösungsmöglichkeiten etwas ein.

Was soll also erreicht werden:

• Mehr Performance
• Genug Speicherplatz für die nahe Zukunft (2-5 Jahre)
• So teuer wie nötig, so günstig wie möglich

-------------------------------------------------------------------------------------------------------------------------------------------------------

Lösungsszenario 1:

• Neuer (Storage) Server
• Umbau auf 10G Ethernet

Vorteile:

• Ausreichend Platz für Festplatten in einem Gehäuse
• Server kann für Virtualisierung verwendet werden
• Zentrale Datenhaltung

Nachteile:

• Teuer
• Neue Netzwerkverkabelung
• Stromverbrauch

Zusätzlich wäre einer der 2 Server frei und könnte als Remote-Backupserver eingesetzt werden. Dafür könnte ich aber auch alte Hardware reaktivieren.
SSDs müsste ich trotzdem für die Daten einsetzen, dann aber halt vermutlich SATA SSDs

Lösungsszenario 2:

• Performancekritische Daten werden lokal am Standrechner gespeichert (SATA-SSD oder NVME)
• Restliche Daten liegen zentral am Server
• Backup vom Rechner auf Server, wird RO zur Verfügung gestellt (für Fernzugriff)
• Backup von Server 1 auf Server 2
• N54L bekommt eine zusätzlich PCIe SATA Karte + externes Gehäuse für HDDs (z.B. für 4x3,5" in 5,25" Einschub hätte ich herumliegen)

Vorteile:

• Günstigere Lösung
• Noch schnellere Geschwindigkeit als bei Lösung 1 für die lokale Daten

Nachteile:

• Daten nicht zentral verfügbar
• Erweiterung vom Server nicht ganz sauber mit externem Gehäuse (NT müsste es schaffen)
• ZFS Performance vom Raid-Z1 in Verbindung mit Verschlüsselung noch offen

Genug NVME bzw. SATA Slots wären im PC noch frei. Aktuell reden wir hier vermutlich von einem Bedarf von 2TB, könnte aber natürlich dann nach belieben erweitert werden.

Lösungsszenario 3: Mir fällt hier gerade nichts mehr ein und bin auf eure Ideen/Gedanken gespannt. Eine Mischung aus 1 & 2 wäre denkbar, also neuer Server, Daten lokal aber kein 10G.


Technisch finde ich natürlich Lösung 1 spannend (würde auch perfekt ins Unterforum passen dann), aber ich bin mir nicht sicher, ob 10G schon die richtige Lösung wäre. Wenn neuer Server, dann nur mit ECC RAM + Option auf 10G in Zukunft. Meine 3700X könnte ich tauschen und dafür verwenden, aber der ECC Support ist da ja wieder nicht offiziell und die Serverboards für AMD sind auch noch eher rar. Aber ich greife vor ...

 

[smoothwater]

Hallöchen, ist je echt ne Weile her
Ich würde letztlich ebenfalls eine Lösung aus einem Mix von 1 und 2 vorschlagen. Wenn ohne Aufwand möglich, einfach ein Patchkabel zwischen Server und PC legen, zwei günstige, gebrauchte Intel X540er oder X550er einfangen und das Netzwerk auf 10 GBASE-T ausbauen (Switch dazwischen wären bei nur 2 Geräten unnötig). Dazu lokal am PC eine schnellere, größere NVMe-SSD. Im Server würde ich bei 6x8TB eher auf Raid-Z2 setzen. Die Resilverzeit bei 8 TB ist schon recht lang. Das wäre mir bei der Datenmenge sonst einfach zu heikel. Je nach Datenmenge pro Arbeitstag und Server-Betriebssystem (Proxmox/FreeNAS/Ubuntu/...) könnte man im Server noch Cache-SSDs einbinden. Ansonsten würde ich dazu raten auch den Server an sich zu ersetzen. 64 GB RAM, nen günstiger, kleiner Threadripper der ersten Generation mit Board ist ab und an schon für unter 600 Öcken zu fangen. Mehr als genug Leistung für Jahre, wenn man die aktuelle Ausstattung zugrunde legt. Sollten die neuen 5000er Ryzen wirklich noch einmal 20% Leistung drauf setzen, sind auch bald die 2. Generation Threadripper in der Preisklasse zu finden.


Beste Grüße,
smoothwater

 

[buyman]

Ja, sehr lang

Weg zwischen Server und Rechner sind (in Kabellänge gemessen) so ca. 10-15m, also für SFP+ DAC leider etwas zu lange, sonst wäre das eine Option gewesen.

Ich bin noch etwas in mich gegangen, und habe festgestellt, dass es für einen neuen Server noch etwas zu früh ist. Ich wollte für die nächsten Jahre Ruhe haben, aber das werde ich so oder so nicht hinbekommen.
Dazu habe ich mal die ZFS Performance am N36L und am N54L gemessen mit Encryption (Werte nur ca. Angaben aus dem Gedächtnis). Beide Server laufen aktuell auf Debian Buster mit ZFS DKMS. Einfach um zu wissen, ob ich damit leben kann.

N36L (8GB ECC):

• Copy von Raid-Z1 Unencrypted Dataset auf Encrypted Dataset: ~10MB/s
• Copy auf Raid-Z1 encrypted Dataset via NFS: ~20MB/s
• Read von Raid-Z1 encrypted Dataset via NFS: ~30MB/s

N54L (4GB ECC)

• Copy von Raid-Z1 unencrypted Dataset auf encrypted Dataset: ~10MB/s
• Copy von encrypted Dataset auf unencrypted Dataset: ~18MB/s
• Copy von 8TB HDD auf auf Encrypted Dataset per rsync: ~35MB/s
• Copy auf Raid-Z1 encrypted Dataset via SMB: ~35MB/s
• Read von Raid-Z1 encrypted Dataset via SMB: ~40MB/s

Der Vergleich ist jetzt nicht ganz fair, weil NFS vs. SMB - wie stark die Auswirkung wirklich ist müsste ich mir genauer ansehen. Vermutlich marginal, wenn ich es mit dem lokalen Test vergleiche. Evtl. bringen auch 8GB RAM noch etwas (würde ich tauschen), aber es sollte auch so reichen. Copy innerhalb des Raids ist auf beiden Rechner sehr langsam. Hier hilft wohl nur mehr RAM.

Mein Plan wäre jetzt folgender:
N36L: reiner Backupserver
N54L: Datenserver, always On mit dem 6x8TB Raid-Z1. Die Resilver-Zeit ist kritisch, aber grundsätzlich sind die Daten entweder Offsite oder auf dem N36L gesichert.
Also für weniger wichtige Daten: N54L -> Offsite, für wichtigere Daten N54L -> N36L -> Offsite Backup
Performancekritische Daten kommen auf die Workstation. Also RAWs, Videos, VMs. Backup direkt auf den N36L und dann Offsite.

Sollte mir zwischenzeitlich "günstige" & passende Serverhardware über den Weg laufen, kann ich das Raid-Z1 so wie es ist übersiedeln. Erweiterung würde dann mit einem weiteren Raid bzw. Mirrors erfolgen. Alternativ ginge noch die Variante mit 2 zusätzlichen 8TB Platten, Wechsel auf Raid-Z2. Dazu könnte ich eine vorhanden Asus U3S6 und eben den 5,25" Erweiterung in den Microserver bauen. Der Deckel würde dann aber offen bleiben

Bleibt noch der Speicherplatz für den PC. In der Workstation steckt aktuell eine Sabrent Rocket 1TB sowie eine Sandisk Ultra II mit 960GB. Beide mit System, lokalen Daten, Spielen und Lightroom Cache (400GB) ziemlich stark belegt.

Fotos liegen aktuell bei ca. 1,2TB, 425GB LR Cache, VMs rechne ich mal mit 200GB. Cache und VMs würde ich auf eine NVMe legen, die Bilder und evtl. zukünftige Videos können vermutlich auch auf einer SATA SSD liegen bleiben. Wie ich es gerade drehe und Wende, ich komme auf keine sinnvolle Konfiguration/Ergänzung. Eigentlich bräuchte ich eine 2TB NVMe und eine 2TB SATA SSD als Speicher (evtl. 2 für ein lokales Mirroring).

 

[hominidae]

Ja, sehr lang

Weg zwischen Server und Rechner sind (in Kabellänge gemessen) so ca. 10-15m, also für SFP+ DAC leider etwas zu lange, sonst wäre das eine Option gewesen.

...dann nimm ein AOC oder ein normales LWL-Patchkabel...auf ein passives DAC bist Du bei SFP+ ja nun wirklich nicht beschränkt, oder wie hast Du das gemeint?

 

[buyman]

...dann nimm ein AOC oder ein normales LWL-Patchkabel...auf ein passives DAC bist Du bei SFP+ ja nun wirklich nicht beschränkt, oder wie hast Du das gemeint?

Die Verkabelung ist ein sehr kleiner Teil der Überlegungen. Ich bin natürlich nicht auf SFP+ DAC angwiesen - ich hatte nur im Kopf, dass es die günstigste Lösung wäre (und weniger Strom verbraucht als 10G NICs + evtl. einen Switch).
AOC kannte ich noch nicht - danke für den Hinweis. Das ganze 10G Thema ist noch neu für mich, da muss ich mich noch weiter einlesen für die Zukunft.

 

[hominidae]

...das Thema Kosten/Flexibilität usw hatten wir gerade erst...schau mal ab hier: https://www.hardwareluxx.de/community/threads/10gbit-homenetzwerk.807277/post-27797671

 

[buyman]

So, nach nunmehr fast 3 Jahren muss ich das Thema doch wieder angehen - und zwar als oben genannte Lösungsvariante 1. Ist einfach langfristig das sauberste.

Also ein neuer Server muss her - die Leistung des N54L ist einfach nicht mehr zeitgemäß (vom N36L ganz zu schweigen):

• Hardwarebasis ist offen: Leistung und Speicher ausreichend für ZFS und die ein oder andere Virtualisierung, aber nichts leistungshungriges (Home Assitant, Lokaler Web(-Dev)-Server, etc.)
• Für die wichtigen Daten hätte ich gerne 2x4TB im MIrroring verwendet (reicht lt. aktueller Belegung aus)
  • Optional spätere Erweiterung mit weiteren 2x4TB
• Das Raid-Z1 mit den Daten würde gerne übersiedeln, dh. 6x3,5" sind bereits belegt
  • Erweiterung um 2-6 Platten wäre aber praktisch bzw. bereits angedacht
• 10G Ethernet streiche ich, aber ich hätte gerne SFP+ verbaut, also über eine PCIe Karte. Wenn ich das richtig sehe, muss ich dafür einen 8x Slot einplanen (4x eher die Ausnahme)
  • Ich hatte jetzt kurz überlegt ob 2,5G oder 5G reichen könnte, aber irgendwie wäre das wieder eher eine halbe Lösung
• Gehäuse muss in den vorhandenen Raum passen (wohl das schwierigste, dazu unten mehr)

So, und damit habe ich ein kleines PCIe Dilemma:

• SFP+ Karte benötigt lt. aktueller Recherche einen 8x Slot
• SATA/SAS Erweiterungskarte vermutlich ebenfalls 8x (z.B. die LSI SAS 9300-16i als Gebrauchtkauf)
• Will ich bei den SSDs auf NVME setzen brauch ich auch eine PCIe zu NVME Karte, und ein Board mit Bifurication. Und einen 16x Slot ebenso.

Auf der Basis gehe ich von mind. µATX als Board bzw. ATX aus und dazu Gehäuse gesucht. ITX gäbs zwar auch gute (z.B. das Silverstone DS380 hätte mir gut gefallen), aber da komme ich mit den Anforderungen nicht ganz hin. Ich möchte keine volle Tiefe ausnützen, dh. maximal 500-550mm. Meine aktuellen Favoriten wären:

• Silverstone Case Storage CS381
• Fantec SRC-2012X07 bzw. SRC-2012X07-12G/6G
• Inter-Tech 3U-3508 (leider nur 8x3,5", die 5,25" müsste man dann nutzen)
• Inter-Tech 5U-5512: kürzer, dafür aber mit 5U. Die 5,25" oben sind bei mir auch suboptimal, auch wenn ich dann direkt am Server die CD-Sammlung automatisiert digitalisieren könnte. Preislich auch nicht ganz günstig.

Das Fantec würde mir gut gefallen, kann aber leider nur Low Profile Karten und 80mm Lüfter. Es gäbe auch noch weitere, aber leider noch nicht ferfügbar oder nur im Ausland.

• Plink IPC-S3162 bzw. IPC-S3162-12G / Genesys S316B-ATX bzw. S316B-ATX-12G
• Inter-Tech IPC NAS-8: "nur" 8 HDDs, aber noch nicht verfügbar. Sieht für mich aber sehr interessant aus.

Die Genesys hat noch niemand unter anderem Namen in freier Wildbahn gefunden, oder?

Theoretisch hatte ich auch kurz einen Dell T440 im Auge - gebraucht wäre der bezahlbar. Aber mit Dual Sockel vermutlich zu großer Overkill, auch hinsichtlich Stromverbrauch.

Vorhandene Hardware habe ich quasi nicht, außer ich tausche wirklich noch den 3700X gegen einen 5800X3D. Aber ich denke, da ist langfristig ein Umstieg auf AM5 besser. SSD Speicher ist vermutlich SATA besser als NVME, weil das mit den PCIe Lanes vermutlich ein Problem und/oder teuer wird. Je nach Case benötige ich sowieso einen zusätzlichen Festplattencontroller - mit SFP+ Karte wird das knapp. Was denkt ihr?

Edit: Links zu den Cases (Geizhals bzw. Hersteller füge ich später noch bei allen hinzu).

 

[wddn]

Hallo,

ich habe aehnliche Anforderungen, aber bin schon ein bisschen weiter.

• Hardwarebasis ist offen: Leistung und Speicher ausreichend für ZFS und die ein oder andere Virtualisierung, aber nichts leistungshungriges (Home Assitant, Lokaler Web(-Dev)-Server, etc.)
  • da reicht dir quasi schon ein Quadcore, z.B. ab Intel i3 8100
  • da du ZFS nutzen willst, wuerde ich auf ECC RAM setzen und dann gleich auf 32GB Riegel, da ZFS de nRAM gut nutzen kann
    • CPU Optionen:
      • Ryzen 3700X mit Asus, oder Asrock Mainboard (ich verwende ein Asrock Rack X470D4U)
      • Intel i3 8/9 er Serie mit Intel C246 Mainboard
      • Intel W680 Mainboard mit Intel 13500
• Für die wichtigen Daten hätte ich gerne 2x4TB im MIrroring verwendet (reicht lt. aktueller Belegung aus) - Optional spätere Erweiterung mit weiteren 2x4TB
  • Da wuerde ich auf SSDs setzen
• Das Raid-Z1 mit den Daten würde gerne übersiedeln, dh. 6x3,5" sind bereits belegt - Erweiterung um 2-6 Platten wäre aber praktisch bzw. bereits angedacht
  • willst du dir das wirklich antun mit 6x 2TB (oder8TB) Platten? Ich fahre aktuell ein mirrored strip (RAID10) mit 4x 16TB Platten um den Stromverbrauch niedrig zu halten
• 10G Ethernet streiche ich, aber ich hätte gerne SFP+ verbaut, also über eine PCIe Karte. Wenn ich das richtig sehe, muss ich dafür einen 8x Slot einplanen (4x eher die Ausnahme) - Ich hatte jetzt kurz überlegt ob 2,5G oder 5G reichen könnte, aber irgendwie wäre das wieder eher eine halbe Lösung
  • 10G Ethernet wuerde ic hauf jeden Fall machen - ich mag vierstellige Transferraten zwischen meiner Workstation und Server
  • SFP+ Karten sind sehr guenstig und die Sitche sind auch bezahlbar geworden - ich habe hier noch ein aktives 15m und 10m DAC Kabel rumliegen
  • Schaue das du eine PCIe 3.0 Karte kaufst anstatt 2.0. Meine Intel X710-DA2 hat 3.0 (eine lane 1Gb/s -> zwei lanes reichen, besser x4), meine X520-DA2 nur 2.0 ( eine lane 500Mb/s -> besser 8 lanes)

Ich bae mir damals das X470D4U gekauft, da bifurcation des x16 Slots auf 4x4x4x4 moeglich fuer meine 4x NVME in Hyper M.2 Karte und einem zweiten PCIe 3.0 >x8 slot fuer meine Intel X710 NIC - dazu hat das IPMI hat schon einen einfachen Grafikchip drin, so dass ich den 2700X verwenden konnte.
Einen HP HBA habe ich hier auch noch rumliegen, aber der verbraucht mir zuviel Strom - internen SATA ports reichen mir.

Falls du die Anzahl der HDDs verringern kannst, hast du mehr Gehaeuse Moglichkeiten - ich mag mein UNYKAch UK4329 (4U, dass zumindest ein gescheiter Kuehler reinpasst)

Wenn komplett und guenstig: der Dell hat ein C246 Chipset

Dell Precision 3630 E-2174G 4x3.8GHz 8GB 480GB SSD 300W Windows 10 Professional

Die Dell Precision 3630 Workstation ist auf Leistung und Skalierbarkeit ausgelegt, die weit über die üblichen Standards hinausgehen. Post-Lease-Computer, 100% betriebsbereit. Ausgestattet mit 4-Core Xeon Prozessoren

amso.eu

 

[buyman]

Danke für deine Ausführungen. Ja, 32GB RAM und ECC hatte ich eingeplant. Die CPU Optionen schaue ich mir nochmal an. Asrock Rack X470 / X570 habe ich auf dem Schirm, vor allem wegen der IPMI Option. Das ist zwar kein muss, aber doch ein deutlicher Komfortgewinn. Beim 3700X dann sowieso ein Muss mangels der iGPU.

Ja, die wichtigen Daten kommen auf eine SSD. Aktuell liegen die auf dem Raid-Z1, das ist aber suboptimal. Außerdem würde ich die Platten bei Nichtbenutzung doch gerne in den Spindown schicken. Die Frage bei den Daten war nur 2,5" SATA SSD vs. NVME.

Ok, bei den SFP+ Karten muss ich im 10G Thread nochmal intensiver vorbeischauen / mich einlesen. Dh. ich kann die Karten problemlos in einem elektrisch weniger angebundenen Slot verwenden (mechanisch muss es natürlich passen)? Das würde dann ein Dilemma lösen - Single SFP+ reicht ja beim Server, d.h. 2x 3.0 Lanes. Also mal nach 2 günstigen Karten ausschau halten.

Bzgl. Festplatten: ich hatte überlegt das ganze neu Aufzubauen. Ziel sind >50TB an Speicherplatz + 4TB für die Daten. Aktuell habe ich 6x8TB, dh. Netto 40TB (ok, praktisch nicht, aber lassen wir das mal außen vor). Theoretisch kann ich mit 2x16/18/20TB im Mirroring erweitern und habe mein Ziel erreicht. 4 oder 5 neue Platten zu kaufen und wieder in ein Raid-Z1 zu geben ist teurer, darum wollte ich jetzt mind. die 8 Slots.

Das X470D4U habe ich auch schon länger im Auge und aus aktueller Sicht kann es alles, was ich benötige. Mal schauen, ob mir ein günstiger 5800X3D über den Weg läuft. Andererseits würde auch ein einfacher Zen1/2 auch reichen mit ECC.

 

[Trambahner]

Ich würde kein X470D4U mehr neu kaufen, einfach der begrenzten/verschwendeten I/O wegen. X470 kann nur mit gen3x4 mit der CPU kommunizieren und bietet selber nur gen2 Lanes an, damit ist ein Gutteil der möglichen Bandbreite bei Zen2+3 verschwendet.
=> go for X570D4U, wenn 10G Kupfer in Frage kommt sogar das 2L2T. Mehr I/O kannst aus AM4 nicht herausholen. Leider sind die recht teuer geworden (ich habs noch zum Starterpreis bekommen für ~450,-)

Nachteil: Preis und ist etwas stromhungriger
Vorteil: Deutlich mehr I/O Bandbreite nutzbar (durchgängig PCIe gen4), den damaligen Berichten nach das ausgereiftere Produkt, X470D4U war das "Erstlingswerk" dieser Art bei AM4.

Wichtig: beide Boards können die Ram-Spannung _nicht_ nach oben verstellen (auch wenns im Bios so aussieht), läuft immer mit max. 1.2V.

 

[buyman]

Ok, ich schreibe dann mal meine aktuelle Planung auf

1. Asrock Rack X570D4U: https://geizhals.at/asrock-rack-x570d4u-a2407901.html
2. Ryzen 3700X (vorhanden)
3. 2x KSM32ES8/16MF
   • Alternativ 2x KSM32ED8/32HC, also 64GB
   • Stehen beide nicht auf der Kombailitätsliste vom Board, aber soltle egal sein hoffe ich
4. 2x NVME SSD mit 4TB (z.B. Lexar NM790)
5. 2x Toshiba HDD mit 16/18 oder 20TB (MG08, M09, MG10)
6. PCIe auf NVME Adapter: da sollte auch was günstiges reichen? https://www.amazon.de/gp/product/B0BHWN7WKD/
7. ASUS XG-C100F

Gehäuse und Netzteil sind noch offen - da warte ich noch auf ein Feedback von einem Hersteller bzgl. Verfügbarkeit. Praktisch reicht jetzt 8x3,5" aus, also werde ich da meine Liste nochmal durchgehen.

Alternativ habe ich auch mal nach C246 Boards gefiltert, das wäre dann schon günstiger als die Ryzen Plattform:

Mainboards Intel Xeon mit Chipsatz: C246, M.2 M-Key PCIe: ab 2x, SATA 6Gb/s: ab 8x Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Mainboards Intel Xeon mit Chipsatz: C246, M.2 M-Key PCIe: ab 2x, SATA 6Gb/s: ab 8x

geizhals.at

Und das müssten dann die passenden CPUs mit ECC sein, oder?

Prozessoren (CPUs) Intel mit Segment: Desktop (Mainstream), Codename: Coffee Lake-R/Coffee Lake-S, Sockel: 1151 v2, CPU-Funktionen: ECC-Unterstützung Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Prozessoren (CPUs) Intel mit Segment: Desktop (Mainstream), Codename: Coffee Lake-R/Coffee Lake-S, Sockel: 1151 v2, CPU-Funktionen: ECC-Unterstützung

geizhals.at

Prozessoren (CPUs) Intel mit Segment: Server/Workstation, Sockel: 1151 v2 Preisvergleich Geizhals Österreich

Preisvergleich und Bewertungen für Prozessoren (CPUs) Intel mit Segment: Server/Workstation, Sockel: 1151 v2

geizhals.at

W680 / 16500 schließe ich mal aus, ist preislich ähnlich zur AM4 Plattform auf den 1. Blick.

 

[wddn]

Welches OS?

Nimm lieber eine Servergrade NIC, z.B. Intel, Mellanox.

Asus Hyper M.2 ist relativ günstig - da kann man sogar die PCIe 3.0 Variante nehmen. 3.5GB muss man erstmal ausnutzen können (würde trotzdem die 4.0 Variante nehmen).

C246 mit ECC wird günstig, falls du einen i3 nimmst, z.B. 9100, da ECC unterstützt wird - Nachteil: Max 4C/4T

 

[buyman]

Ok, muss ich mir ansehen, aber fürn Standrechner sollte die reichen (muss mal im Arch Wiki nachsehen). OS wird vermutlich Arch Linux oder Debian als Unterbau sein + QEMU zur Virtualisierung. ESXi habe ich (eigentlich) nicht vor.

 

[wddn]

Ok, muss ich mir ansehen, aber fürn Standrechner sollte die reichen (muss mal im Arch Wiki nachsehen). OS wird vermutlich Arch Linux oder Debian als Unterbau sein + QEMU zur Virtualisierung. ESXi habe ich (eigentlich) nicht vor.

Da der Hauptzweck Fileserver ist:
TrueNAS, UNRAID (ZFS noch nicht so ausgereift), oder Proxmox (würde wahrscheinlich TrueNAS virtualsieren).

TrueNAS Scale kann auch virtualisieren, aber Proxmox mit TT Helper Scripts und PBS finde ich ausgereifter.

 

[underclocker2k4]

Ok, muss ich mir ansehen, aber fürn Standrechner sollte die reichen (muss mal im Arch Wiki nachsehen).

Würde ich mir dennoch nochmal überlegen.

Connectx-3 online kaufen | eBay

Tolle Angebote bei eBay für Connectx-3. Sicher einkaufen.

www.ebay.de

X520 Intel online kaufen | eBay

Tolle Angebote bei eBay für X520 Intel. Sicher einkaufen.

www.ebay.de

für kurzentschlossene:

Intel X520-SR1 Netzwerkadapter E10G41BFSRBLK 10GB/s | eBay

10GB/s max Datenrate.

www.ebay.de

EDIT:
Nur zur Sicherheit, vSphere 8 unterstützt beide Karten nicht mehr. Wenn vSphere 100%ig ausgeschlossen ist, dann ist das kein Problem.
(und dennoch hat man eine enterprise grade NIC)

 

[buyman]

Gebrauchte NICs sind natürlich eine Option, Enterprise Grade ist auch gut. Gebraucht sogar noch günstiger, also gefällt mir noch besser (wird schon lang genug halten).

Vmware ist definitiv kein Thema - entweder ich bau mir den Unterbau selber oder ich setze z.B. auf Proxmox (wobei ich mich damit noch nicht auseinander gesetzt habe). Arch Linux + QEMU habe ich auch auf dem Hauptrechner im Einsatz.

 

[Shihatsu]

Archlinux würde ich persönlich nicht auf nem Server einsetzen - ich würde da immer zu Debian greifen. rolling Release + Bleeding Edge passt nicht zu "Server".

 

[wddn]

Versuche mal TrueNAS Scale - sehr einfach zu bedienen

 

[buyman]

Archlinux würde ich persönlich nicht auf nem Server einsetzen - ich würde da immer zu Debian greifen. rolling Release + Bleeding Edge passt nicht zu "Server".

Ja, ich bin auch noch unentschlossen. Auf den Servern läuft bisher Debian - das funktioniert recht gut, auch von den Update Zyklen her. Macht auch viel "Magic", die Arch von Haus aus nicht macht (was teilweise schon praktisch ist).
Stressfreier ist sicher ein Debian oder Debian-basierter Unterbau - aber ich habe auch mit Arch die letzten 3 Jahre sehr gute Erfahrungen gemacht.

TrueNAS Scale kannte ich bisher nicht - klingt auch sehr interessant. Muss ich mir mal noch genauer ansehen.

Leider sind die erhofften Angebote für die Server-Komponenten bisher nicht gekommen, daher werd ich mir die Konfigurationen nochmal genau ansehen.

 

[Shihatsu]

aber ich habe auch mit Arch die letzten 3 Jahre sehr gute Erfahrungen gemacht.

Als Server oder als Desktop? Weil: Äpfel und Birnen und so...

 

[wddn]

TrueNAS Scale kannte ich bisher nicht - klingt auch sehr interessant. Muss ich mir mal noch genauer ansehen.

TrueNAS Core ist FreeBSD, aber Scale ist Debian… komplett kostenlos… Download uns mal testen.

 

[buyman]

Als Server oder als Desktop? Weil: Äpfel und Birnen und so...

Als Desktop - die meisten Probleme hatte ich aber aufgrund der eingesetzten Hardware. Ich kenne Leute, die Arch (privat) auch auf ihren Servern einsetzen, das funktioniert schon. Aber ich würde auch eher zu Debian und die Ableger davon tendieren. Das hatte ich aber auch schon geschrieben.

 

[buyman]

So, nach etwas Abstinenz melde ich mich wieder. Das Serverprojekt / Planung läuft noch, aber dank zweier Kinder <3 Jahren eher als Neben-Neben-Nebenbeiprojekt. Es kommen immer wichtiger Sachen dazwischen - leider.

Ich bin aber etwas weiter:

• die erhoffenten Angebotspreise des 5800X3D sind mir verwehrt geblieben. Damit ist mein 3700X noch nicht frei. Im Vergleich zu den 7xxxX3D preislich auch nicht so interessant - da käme wenn, dann ein Plattformwechsel.
• Asrock Rack 470X und 570X sind ebenso nicht wirklich günstig, daher schließe ich die vorerst mal aus
• ITX fällt raus, d.h. das Gehäuse muss µATX oder ATX unterstützen

10G Karten muss ich mir noch ansehen, evtl. mache ich aber doch den Zwischenschritt über 2,5G und nutze die bestehende Verkabelung bis zum Umzug weiter (sollte längenmäßig klappen). Wobei die X520 jetzt auch neu nicht so teuer sind: https://store.10gtek.com/10g-networ...-x520-da1-intel-e10g42btda-equivalent/p-20166
Evtl. nehme ich auch übergangsweise doch 2.5Gbit Ethernet und nutze die bvestehende Infrastruktur bis zum Umzug weiter.

Ein wenig Hardware ist zwischenzeitlich doch eingetroffen:

• PCIe auf 4x M.2 Karte
• 2x Lexar NM790 mit 4TB

Zusätzlich als Spielerei noch ein Gigabyte MC12-LE0. Eigentlich gedacht um den Backupserver später mal mit mehr Speed auszutauschen, würde es theoretisch doch 90% meiner Anforderungen abdecken. Die Bericht um die Stabilität machen mir noch etwas Sorgen - muss mir mal den entsprechenden Thread im Forum noch vollständig durchlesen (https://www.hardwareluxx.de/communi...am4-ipmi-dual-intel-gb-lan-ecc-fähig.1347943/). Angebote für 5600, 5600X, 5700X und 5800X gibts aktuell immer wieder - das wär dann entweder ein direkter Prozessor fürs Board oder eine Tauschoption für den 3700X.

Schade ist nur, dass der M.2 Slot am Mainboard nur mit PCIe 3.0 1x angebunden ist. Damit lassen sich evtl. die fehlenden SATA Ports nachrüsten, für 2x SATA für 2 HDDs im Mirroring soltle es trotzdem reichen. Leider habe ich wenig Berichte über die Funktion solcher Adapter gefunden. M.2 auf PCIe, M.2 auf OCULINK, M.2 direkt auf SATA: https://www.amazon.de/MZHOU-Adapter...B582-Chip-Windows-M-2-2SATA-Key/dp/B0B14GZX3M oder gleich mit 5x, aber das wäre dann eher knapp bei 1GB/s: https://www.amazon.de/ORICO-Adapterkarte-Unterstützung-Desktop-Windows/dp/B09V141RFL

Die M.2 Adapterkarte sollte im 16x funktionieren, der 4x Slot ist hinten offen, 4x soltle auch bei PCIe 3.0 4x für 10G SFP+ reichen. Zuverlässigkeit des Boards und die fehlenden SATA Anschlüsse lassen mich wie gesagt noch zögern, das wird meine Hausaufgabe für die nächsten Tage.

Gehäuse habe ich jetzt einige auf der Liste, von günstig bis teuer bis hin zum interessanten Chinakracher (https://caseend.com/data/jmcd/jmcd-9s2 oder https://caseend.com/data/jmcd/jmcd-12s4) - aber fast 350€ inkl. Versand lt. aktuellen Aliexpress Preisen sind dann doch etwas viel. Direkter kauf über Taobao + Broker + Weiterleitung ist auch nicht günstiger, auch wenn das 9S2 in China nur 100$ kostet (140$ für das 12s4). Mit 100-150$ Versand + EUSt oder 180$ / 270$ als DDP Luftfracht kommt man bei ähnlichen Preisen raus. Beim kleinen lohnt es noch eher, aber für weniger Geld gibts auch schon das InWin IW-MS08 oder ein Silverstone CS382.


Als Alternative sind die C246 µATX Boards auch nicht so günstig, also z.B. Asus C246M Pro bzw. das Pro/SE - wobei ich jetzt kein Fan von Asus bin. Und zum Thema Bifurcation bin ich auch nicht wirklich schlau geworden. Das Intel M10JNP2SB klingt grundsätzlich gut, hat aber keine M.2 und zu Bifurcation habe ich im Manual jetzt auch nichts gefunden. Bei Supermicro landet man in Preisregionen, wo sich die Plattform dann für mich nicht mehr lohnt, z.B. beim X11SCH-LN4F.

Je mehr ich mir das C246 Thema ansehe, desto eher denke ich wieder an das MC12-LE0 mit den 4TB SSDs zu testen und zu schauen, wie sich das verhält. Oder doch auf ATX Boards setzen - mehr Auswahl, dafür bin ich dann bei einem 19" Case.

 

[wddn]

Ich habe das MC12LE0 hier und bin im Testaufbau.
Günstiger bekommt man aktuell keine ECC Plattform.
Bifurcation geht und außer Problemen mit der iGPU kann ich von keinen Problemen berichten.
Der M.2 x1 slot ist perfekt für das OS. 4x NVymE über Adapter + 6x SATA reicht in den allermeisten Fällen

 

[smoothwater]

Zum Thema MC12-LE0 und Adapter:
Ich nutze den hier für ne durchgereichte USB-Karte:

www.amazon.de/gp/aw/d/B09ZSP7HFR?psc=1&ref=ppx_pop_mob_b_asin_title

Quasi M.2 per USB-Kabel auf PCIe x4 mit x1-Anbindung. Funktioniert bisher tadellos.

Quad-NVMe-Adapterkarte im x16 per Bifurcation geht auch sauber und ne x550-T2 im x4 sowieso.
Stabilitätsprobleme mit dem Board könnte ich bisher keine feststellen. Gibt aber manchmal Probleme beim initialen BIOS Update. Das hatte ich auch.

 

[buyman]

Ok, das klingt beides doch super. Dann sollte ich evtl. doch auf einen 5700X upgraden - das wär dann die günstige Lösung. Dazu noch 32GB oder 64GB RAM und die Kiste ist für die nächsten Jahre mit dem 3700X gerüstet. Und evtl. sogar noch ein 2. MC12LE0 besorgen - der Preis ist einfach zu heiß.

Bzgl. NVME: Ich hatte jetzt geplant die freien 2x M.2 für OS zu verwenden und mit 2x1TB oder 2x2TB zu bestücken im Mirroring. Dann habe ich OS + VMs auch gesichert dort liegen. Darum würde ich den M.2 1x Slot eben für anderes verwenden wollen.

 

[smoothwater]

Kurz zur Info: NMVE-Raid seitens der Platine geht nicht. Kann man zwar einstellen, aber das RAIDXpert2-Menü enthält nur Möglichkeiten für SATA-Laufwerke

 

[buyman]

Danke für die Info, ich hätts aber vermutlich ohnehin per SW gelöst. Vermutlich beim Systemteil mit Btrfs, Daten bekommen dann ZFS. Welcher Unterbau als Host in Frage kommt dann muss ich mir noch ansehen, Proxmox ist ja noch nicht ganz so weit da.

Für meinen Hautprechner wirds dann ein Upgrade von 3700X auf 5700X, den gibts ja aktuell bei MF für 148€. Der 3700X wandert dann aufs Gigabyte. Mal schauen, ob MF auch gerade den passenden ECC RAM im Angebot hat.

 

[buyman]

So, ich hab mir die offenen Themen nochmal angesehen.

1. Case wird wahrscheinlich ein Silverstone CS382. Rechnerisch etwas zu hoch, aber ich kann mehr Platz am Verwendungsort schaffen. Oder hoffen, dass ich die Füße entfernen kann und so die fehlenden Milimeter eingespart werden. Das eigentlich favorisierte Inter-Tech IPC NAS-8 (oder Sohoo NAS-8) ist weiterhin noch nicht verfügbar. Theoretisch hab ich sicher noch irgendwo ein Gehäuse das groß ist für 6 Festplatten - ein LCX-01SL

2. RAM werden 2x32GB ECC 3200 CL22, also der übliche Kingston: https://geizhals.at/kingston-server-premier-dimm-32gb-ksm32ed8-32hc-a2679022.html Sollte laufen, belegt nur 2 Slots und später könnte ichi mmer noch auf 128GB umsteigen. Sollte aber nicht nötig sein denke ich, außer ich lasse viel virtualisieren und ZFS möchte doch noch mehr RAM.

3. Netzteil war bisher überhaupt nicht auf der Liste. Sofern ich nicht noch eines herumliegen habe, werde ich auch das Netzteil aus meinem Rechner (https://www.hardwareluxx.de/community/threads/ryzen-3xxx-system-für-linux.1248691/) in den Server verfrachten. 80plus Platinum passt, leistungsmäßig ist es überdimensioniert - leider nicht ideal. Passiv sollte es aber auch keine Probleme geben - Luftstrom im Case wird mehr als ausreichend sein, wenn es in meinem PC jetzt auch reicht.

4. Netzwerkkarte: leidiges Thema - in den Server werde ich jetzt doch gleich eine SFP+ verbauen. Ich habe einen günstigen China-Switch mit SFP+ der ohnehin nahe Server verbaut werden wird. Konkret ist es ein Horaco HYWS-SGT0204S (https://de.aliexpress.com/item/1005005992916169.html) - vermutlich baugleich zu dem hier: https://www.servethehome.com/yuanley-ys25-0402-fanless-4-port-2-5gbe-2-port-10gbe-switch-review/
DAC Kabel zwischen Server und Switch und dann entweder mit 2.5Gbit weiter oder zum Hauptrechner ebenfalls mit 10G. Hat auch den Vorteil, dass ich auch andere Verbindungen dann auf 2.5GBase-T laufen lassen und da auch ein Upgrade habe. Ich hätte also doch letztens die Dual X520 einfach mit bestellen sollen bei Pio

M.2 auf SATA ist noch offen, aber solange mir keine 16/18/20TB vor den Einkaufsbutton läuft kann das noch etwas warten (ich hoffe einfach irgendwer probierts vor mir aus). Worst Case muss ich den 16x PCIe mit 8x4x4 fahren und die 8x noch für einen PCIe -> SATA Adapter nutzen.

Damit sollte für den Server fast alles geklärt und wird demnächst bestellt.

 

[mrpasc]

Das eigentlich favorisierte Inter-Tech IPC NAS-8 (oder Sohoo NAS-8) ist weiterhin noch nicht verfügbar.

Die „Nachahmer“ verkaufen es schon auf Ali:
Just found this amazing item on AliExpress. Check it out! 110,39€ | 2022 new office home storage hot-swap Server chassis IPFS 8bays NAS case 6GB sata backplane USB3.0 support matx motherboard

110.21€ |2022 neue büro home storage hot swap Server chassis IPFS 8 buchten NAS fall 6GB sata backplane USB 3,0 unterstützung matx motherboard|Computergehäuse und -tower| - AliExpress

Smarter Shopping, Better Living! Aliexpress.com

a.aliexpress.com

Hatte von denen die 4 Bay und die 6 Bay Nachbauten der Inter-Tech und war soweit zufrieden. Die Versandkosten machen es natürlich unattraktiver…