Neues Konzept für bestehenden Server

[Gelöschtes Mitglied 270849]

Hallo miteinander,

ich bin gerade dabei mir ein neues Konzept zu planen, da ich momentan mit meiner Lösung nicht ganz so zufrieden bin.
Aktuell habe ich folgenden Server im Einsatz:

CPU: Intel Xeon E3-1225 v3 @3.20GHz
MB: Supermicro X10SLH-F/X10SLM+-F
RAM: (4x8) 32GB DDR3 Samsung ECC 1600MHz
HDD: 6x 4TB Seagate
SSD: 2x 256GB Crucial
RAID-Controller: IBM M5015
OS: Proxmox
VM: Debian (Docker), OMV (Storage)

Hauptsächlich liegen die Probleme an meinem derzeitigem Storage. Der Hardware Raid-Controller (IBM 5015) macht ständig Probleme, nach jedem Neustart muss ich hoffen, dass alle Platten erkannt werden.
Das Hinzufügen einer neuen Platte dauert auch eine Ewigkeit. Ich habe auch keine Info darüber ob z.B. eine Platte kaputt ist, da der Raid-Controller nicht aktiv ausgelesen wird von mir.
Genutzt wird das Raid von der OMV VM, mit ext4 als Dateisystem. Die beiden SSDs laufen im Raid 1 und dort ist Proxmox installiert.

Sprich ich möchte weg vom Hardware Raid und hin zum Software Raid, mir scheint da die Bequemlichkeit ein wenig höher zu sein.
Ich greife auf meinen Server remote zu, da ist der Flaschenhals die Internetverbindung.

Das einfachste wäre wahrscheinlich, Backup machen, Raid-Controller durch HBA ersetzen und die einzelnen Platten an OMV durchreichen und dort verwalten.
Aber was dann? ZFS, Btrfs, mdraid oder SnapRAID? Wenn ich z.B. eine 4TB durch eine größere ersetzen möchte, bleibt mir eigentlich nur SnapRAID oder?
Deswegen frage ich mich auch, ob es vielleicht sinnvoll ist, mein Storage in ein NAS von QNAP oder Synology auszulagern? So bräuchte ich auch kein Proxmox und kann auf dem Server direkt Debian installieren und Docker laufen lassen.

 

[hominidae]

...oder unRaid als OS nehmen? Da kannst Du einfach Disks dazustecken
Mit den 2xSSD hättest Du einen excellenten Write-Cache und Storage für Docker, welche nativ unter unRaid gehen.
Mit dem X10SLH hast Du leider nur 6x Sata, ein HBA muss also doch sein...ansonsten brauchst Du noch nen 5EUR USB-Stick und eine Lizenz (für bis zu 12 Disks/SSDs wohl die Plus-Lizenz, ca. 89USD, wenn ich recht erinnere).

 

[v3nom]

Sehe ich auch so. Bequem HDDs nachrüsten und verschiedene Kapazitäten mixen: unRAID
Schnell und sicher, aber unflexibel: TrueNAS mit ZFS

 

[Ceiber3]

Bedenke aber, UnRaid ist mit HDD's eine Geschwindigkeitskrücke. Magst du Speed und magst Festplatten dazustecken beispielweise mixen, dann würde ich eher Xpenology nehmen.
Sprich ESXI als Host und Xpenology als Storage VM mit durchgereichten HBA. Magst du ZFS nutzen mit gleichgroßen Festplatten, TrueNas.
Und magst du ein fertig Nas wo du dich um nichts kümmern und sorgen musst, kann ich dir folgende Qnap mit ZFS empfehlen:

AMD:

TS-h973AX | Verbessern Sie die Unternehmensproduktivität mit dem Quad-Core 9-Bay QuTS hero NAS, das U.2 NVMe SSD und 10GbE/2,5GbE Konnektivität unterstützt

Mit einem AMD Ryzen™ V1500B Quad-Core Prozessor der V1000 Serie von AMD und 10GbE/2,5GbE Konnektivität bietet das 9-Bay TS-h973AX eine hybride Speicherinfrastruktur mit hoher Kapazität in einem kompakten Format. Mit fünf 3,5-Zoll SATA 6Gbps Laufwerksschächten, zwei 2,5-Zoll U.2 NVMe...

www.qnap.com

Intel:

TS-h686 | Intel Xeon D Desktop QuTS hero-NAS mit vier 2,5 GbE-Ports, entwickelt für Echtzeit-SnapSync-Datensicherung und Anwendungen für virtuelle Maschinen

Das TS-h686 bietet Unternehmensleistung zu SMB-Preisen und verfügt über einen Intel Xeon D-Prozessor und DDR4 ECC (Error Correcting Code)-Speicher (erweiterbar auf 128 GB) mit Zuverlässigkeit. Mit dem ZFS-basierten Betriebssystem QuTS hero gewährleistet das TS-h686 die Datenintegrität und...

www.qnap.com

TS-h886 | Intel Xeon D Desktop QuTS hero-NAS mit vier 2,5 GbE-Ports, entwickelt für Echtzeit-SnapSync-Datensicherung und Anwendungen für virtuelle Maschinen

Das TS-h886 bietet Unternehmensleistung zu SMB-Preisen und verfügt über einen Intel Xeon D-Prozessor und DDR4 ECC (Error Correcting Code)-Speicher (erweiterbar auf 128 GB) mit Zuverlässigkeit. Mit dem ZFS-basierten Betriebssystem QuTS hero gewährleistet das TS-h886 die Datenintegrität und...

www.qnap.com

TVS-h1288X | Intel® Xeon® W Desktop QuTS hero NAS, ideal für die High-Speed-Zusammenarbeit im Medienbereich über Thunderbolt™ 3 und 10GbE Virtual Machine-Anwendungen

Das TVS-h1288X mit hoher Kapazität verfügt über einen leistungsstarken Intel® Xeon® W-Prozessor und ermöglicht die Installation von zwei QNAP QXP-T32P Thunderbolt™ 3 PCIe-Erweiterungskarten (separat erhältlich), um vier Thunderbolt™ 3-Ports zu bieten. Damit eignet er sich perfekt für mit...

www.qnap.com

TVS-h1688X | Intel® Xeon® W Desktop QuTS hero NAS, ideal für die High-Speed-Zusammenarbeit im Medienbereich über Thunderbolt™ 3 und 10GbE Virtual Machine-Anwendungen

Das TVS-h1688X mit hoher Kapazität verfügt über einen leistungsstarken Intel® Xeon® W-Prozessor und ermöglicht die Installation von zwei QNAP QXP-T32P Thunderbolt™ 3 PCIe-Erweiterungskarten (separat erhältlich), um vier Thunderbolt™ 3-Ports zu bieten. Damit eignet er sich perfekt für mit...

www.qnap.com

 

[thb]

kann ich dir folgende Qnap mit ZFS empfehlen:

Hast Du bereits eins der Qnap mit QuTS hero? Ich hatte eigentlich vor aufgrund ZFS das TS-h686 zu kaufen. Jetzt habe ich aber in der vorletzten c`t Ausgabe den Test gelesen, wo mit QuTS ein deutlich geringerer Durchsatz (r/w) gemessen wurde, als bei dem Einsatz mit QTS und Ext4. Insbesondere die Schreibwerte mit ZFS (mit und ohne NVMe-SSD Cache gemessen) lagen bei nur rund 50% der Werte mit Ext4.

 

[gea]

Hast Du bereits eins der Qnap mit QuTS hero? Ich hatte eigentlich vor aufgrund ZFS das TS-h686 zu kaufen. Jetzt habe ich aber in der vorletzten c`t Ausgabe den Test gelesen, wo mit QuTS ein deutlich geringerer Durchsatz (r/w) gemessen wurde, als bei dem Einsatz mit QTS und Ext4. Insbesondere die Schreibwerte mit ZFS (mit und ohne NVMe-SSD Cache gemessen) lagen bei nur rund 50% der Werte mit Ext4.

Nur als Anmerkung
Es gibt bei ZFS kein SSD/NVMe Schreibcache.
Schreibcache bei ZFS ist immer und ausschließlich RAM

ZFS muss wegen der Prüfsummen auf Daten und Metadaten und wegen Copy on Write erheblich mehr Daten schreiben und ist stärker von der io Qualität der Platten abhängig als von deren reinen sequentiellen Leistungsfähigkeit. ZFS ist daher immer langsamer als z.B. ext4. Der Sicherheitsgewinn gegenüber alten Dateisystemen wie ext4 ist aber erheblich. Mit ausreichend RAM für den Schreib/Lesecache kann man das aber ausgleichen, teilweise sogar überkompensieren.

Ist halt so, alles hat seinen Preis. Man kann aber mit ZFS problemlos allerhöchste Performance erreichen, braucht dazu aber eventuell vor allem mit Verschlüssellung etwas mehr CPU und RAM als früher mit den alten Dateisystemen, siehe z.B. meine aktuellen Performance Tests mit ZFS unter Xeon vs Epyc und verschiedenen Platten und NVMe Pools unter https://napp-it.org/doc/downloads/epyc_performance.pdf

 

[thb]

etwas mehr CPU und RAM als früher mit den alten Dateisystemen

"Etwas" ist ja relativ zu betrachten. Die Systeme in Deinem Test haben 64/128GB sowie eine ganz andere CPU Leistung. Das Qnap TS-h686 z.B. kommt mit einem Xeon D-1602 dual-core und 8GB, unterstützt aber bis 128GB.
Entsprechend wird m.E. das Qnap mit QuTS Hero und ZFS erst dann eine passable Wahl, wenn der RAM gleich deutlich aufgerüstet wird.

 

[underclocker2k4]

siehe z.B. meine aktuellen Performance Tests mit ZFS unter Xeon vs Epyc und verschiedenen Platten und NVMe Pools unter https://napp-it.org/doc/downloads/epyc_performance.pdf

Ist das Delta (~Faktor 2) zwischen Xeon und Epyc durch die Cores oder durch den Clock (Singlecoreperformance) zu begründen?

 

[gea]

Ist das Delta (~Faktor 2) zwischen Xeon und Epyc durch die Cores oder durch den Clock (Singlecoreperformance) zu begründen?

Um das genauer zu sagen müsste man CPUs mit gleicher Coreanzahl und unterschiedlichem Takt vergleichen. Hier sind es ja zwei Systeme die zwar ähnlich teuer waren bei denen der AMD aber sowohl schneller taktet und dazu doppelt soviel Cores hat. Letztendlich wird beides beteiligt sein wobei ein System mit 16 Cores für ein reines Storagesystem nicht wirklich nötig ist (Mein Einsatzziel dafür ist ja auch eher ESXi und dafür ist die Coreanzahl und RAM auch ausgelegt).

Prinzipiell würde ich die Taktfrequenz für ein Storagesystem wichtiger sehen als die Anzahl der Cores. Ein gleichschnelles Epyc System mit halber Coreanzahl und RAM wäre vermutlich storagemäßig nicht wesentlich langsamer.

Virtualisiert mit 8vcpu und 64 GB RAM waren die Ergebnisse bei dem Plattenpool mit und ohne Verschlüssellung ähnlich wie Barebone mit 128G RAM und 16 Cores ohne Slog. Mit Optane auch als Slog waren die Werte viel langsamer als die Barebone Werte aber da sind die Rahmenbedingungen anders und irgendwie gibt es noch Probleme mit NVMe pass-through vor allem unter Epyc.

Beitrag automatisch zusammengeführt: 08.12.2020

"Etwas" ist ja relativ zu betrachten. Die Systeme in Deinem Test haben 64/128GB sowie eine ganz andere CPU Leistung. Das Qnap TS-h686 z.B. kommt mit einem Xeon D-1602 dual-core und 8GB, unterstützt aber bis 128GB.
Entsprechend wird m.E. das Qnap mit QuTS Hero und ZFS erst dann eine passable Wahl, wenn der RAM gleich deutlich aufgerüstet wird.

Bei meinem Vergleich ging es darum zu sehen wie sich ein 3000 Euro SuperMicro Xeon Server von vor einem Jahr gegen ein aktuelles gleichteures Epyc schlägt und welche Performance man wann mit ZFS Verschlüssellung aktuell erreichen kann. Für professionellen Einsatz ist das ein Schlüsselthema (DSGVO).

Ein 1602 DualCore mit 8GB RAM ist da natürlich nicht vergleichbar. Man könnte die Plattenperformance mit mehr RAM für den Schreib/Lesecache aber auch da deutlich schneller bekommen. 8GB für einen ZFS Server ist eher wenig. Solarish mit native ZFS oder Open-ZFS mit seinem in ZFS integrierten multithreaded SMB Server statt SAMBA käme damit etwas besser zurecht als Linux oder Free-BSD.

Da das Qnap ja auch kein Schnäppchen ist, würde ich RAM da auf jeden Fall auf >=16GB aufrüsten. 1000-2000 MB/s Storageperformance mit aktiver Verschlüssellung wird man da ja ohnehin nicht anstreben sondern eher mit 50 MB/s zufrieden sein.

 

[Stueckchen]

Sprich ich möchte weg vom Hardware Raid und hin zum Software Raid, mir scheint da die Bequemlichkeit ein wenig höher zu sein.
Ich greife auf meinen Server remote zu, da ist der Flaschenhals die Internetverbindung.

Die Zeiten in denen ein Softwareraid wirklich langsamer sind, sind eigentlich vorbei. Würde immer da hin. So wie es aussieht hat dein Raidcontroller ein LSI9260i chip und lässt sich nicht auf HBA umföaschen.

Das einfachste wäre wahrscheinlich, Backup machen, Raid-Controller durch HBA ersetzen und die einzelnen Platten an OMV durchreichen und dort verwalten.

Backup und dann zurückspielen ist das einzig wahre. Würde aber den ganzen Controller durchreichen und nicht die einzelnen Platten. SSDs dann an den SATA Controller. Zur not Liese sich auch dieser Durchreichen. Wenn du nicht auf den letzen rest Pervormance aus bist, würde auch ein kleiner PCIe2Sata Controller Reichen.

Aber was dann? ZFS, Btrfs, mdraid oder SnapRAID? Wenn ich z.B. eine 4TB durch eine größere ersetzen möchte, bleibt mir eigentlich nur SnapRAID oder?
Deswegen frage ich mich auch, ob es vielleicht sinnvoll ist, mein Storage in ein NAS von QNAP oder Synology auszulagern? So bräuchte ich auch kein Proxmox und kann auf dem Server direkt Debian installieren und Docker laufen lassen.

Wenn du wirklich nur Omv und Docker auf Debian machst, sehe ich den Sinn von PVE eig nicht wirklich. Docker lässt sich doch bequem neben Omv installieren. Sei es über Plugin oder auch ohne.

Platten Mixen ist bei ZFS nicht wirklich drin, bei mdraid auch nicht.
BTRFS kann das aber (https://carfax.org.uk/btrfs-usage/) aber da hast du dann keine Webui auf Omv.
Bei Snapraid hast du halt lahme leseleistung.

Storage auslagern kann man machen,.. wenn du aber weiterhin ECC haben möchtest wird es teuer.

Wenn du prinzipell mit Omv zufrienen bist bleibe doch dabei, würde das nur eher dann direkt aufs Blech setzen. Sonst ist wie vorhergenannt natürlich unRaid eine alternative die immer gerne genannt wird. Xpenology würde natürlich auch gehen ist aber irgendwie immer eine Bastellösung, aber hast eine GUI für BTRFS

 

[v3nom]

Bedenke aber, UnRaid ist mit HDD's eine Geschwindigkeitskrücke.

Mit einem Cache kann man das etwas ausgleichen. Lesen von "alten" Daten die nicht mehr auf dem Cache sind, sind aber durch den Speed einer Platte begrenzt -> GbE wird gesättigt.

 

[tolga9009]

Du hast aktuell 6x 4TB. Wenn deine Anforderung ist, dass du irgendwann im Laufe der Zeit z.B. eine 4TB gegen eine 8TB tauschst - also dann 5x 4TB und 1x 8TB hast - dann fliegt ZFS direkt raus. Passt einfach nicht.

unRAID ist das Komplettpaket mit allem drum und dran inkl. guter WebGUI. Wenn ich dein Setup richtig interpretiere, kannst du in deinem Fall das Proxmox ganz "wegsparen", da unRAID auch Docker mitbringt. Großer Nachteil von unRAID ist die Storageperformance, was in deinem Fall (Zugriff übers Internet) wohlmöglich nicht so ins Gewicht fallen dürfte. Ich denke, dass unRAID der perfekte Kandidat für dich ist.

SnapRAID würde auch gehen, denke aber, dass unRAID hier die bessere Komplettlösung für dich ist.

Bei BTRFS ist die entscheidende Frage, in welchem RAID-Modus du deine aktuellen 6x 4TB Platten betreibst. Falls RAID5/6, fliegt auch BTRFS direkt raus.

 

[Ceiber3]

Mit einem Cache kann man das etwas ausgleichen. Lesen von "alten" Daten die nicht mehr auf dem Cache sind, sind aber durch den Speed einer Platte begrenzt -> GbE wird gesättigt.

Ja das schon, trotzdem finde ich das nicht gut. Cache voll, Speed mega low. Bei nen Shr RAID bei Xpenology hast du immer full speed. Docker kann es auch und VM,s über ESXI. UnRaid ist einfach nicht für Performance Entwickelt. UnRaid ist Top, wenn man nie plant mehr als 1 GBit LAN zu nutzen, auch die schnellsten Festplatten fallen je nach füllgrad von 270 auf 130 MB ab. Und 4 TB Festplatten gehören nicht zu den schnellsten. Ohne Cache auf 30 bis 40 Mb's. UnRaid ist auch Top wenn der Pool rein aus SSD bestehen. Schon bei 2,5 GBit LAN ist UnRaid die Bremse im System. Dazu sollte man bedenken das UnRaid mit Xfs keine Cecksummen ablegt und so keine Selbstheilung wie BTRFS und ZFS hat. Weiterer Punkt ist, UnRaid kostet Geld.

 

[hominidae]

naja, es ist unbestritten langsamer aber man muss beim Anwendungsfall schon genau hinschauen.
Die Möglichkeiten mit Docker und VMs sind für Viele inzwischen das eigentliche Plus für unRaid.
Das Thema ohne Cache bei 40-50MB/s stimmt auch nur bei "normaler" md_write_method ... nimmt man "reconstruct_write" ist schon mehr drin (bei mir etwa 90MB/s) gegen den Nachteil, dass bei einem write alle HDDs anlaufen müssen.
Den Cache kann man auch leer genug halten, wenn man den "Mover" einfach öfter laufen lässt und/oder den Cache gross genug macht.
Solange die Daten noch nicht ge-moved sind, bekommt man auch den Speed des Cache im read.

Der TE hat sich ja noch garnicht weiter zu den Anführungen hier oder konkreteren Anforderungen/Anwednungsfällen geäussert.

 

[konfetti]

"Etwas" ist ja relativ zu betrachten. Die Systeme in Deinem Test haben 64/128GB sowie eine ganz andere CPU Leistung. Das Qnap TS-h686 z.B. kommt mit einem Xeon D-1602 dual-core und 8GB, unterstützt aber bis 128GB.
Entsprechend wird m.E. das Qnap mit QuTS Hero und ZFS erst dann eine passable Wahl, wenn der RAM gleich deutlich aufgerüstet wird.

64GB ist doch eigentlich für so ein Storage-System das häuftig genutzt wird auch minimum - abgesehn davon, wenn das übers Internet geht, ist doch der Speed fast eh egal, weil der Upstream hier begrenzt.

Mein XigmaNAS mit 72GB RAM / 4 Cores langweilt sich auch die meiste Zeit, läuft aber eben auch als VM mit durchgereichtem HBA - ZFS Z1 mit 3x 4TB 2.5" HDDs, das performt eben dank des RAM-Cache sehr gut.
zusätzlich ist noch ein SSD-Pool für die VMs enthalten, der dem Host ESXi zurückgegeben wird, quasi ja so, wie das immer bei den AiOs gemacht/empfohlen wird.