Braucht man ECC RAM und neue Dateisysteme wie ZFS oder btrfs/ReFS

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Neben den Daten in den Dateien selbst, können bei RAM Fehlern auch die Metadaten des Filesystems korrupt werden und dies kann zum Komplettverlust des Filesystems führen, auch bei den Filesysteme mit Pürfsummen. Solche Filesystem sollte man daher immer nur zusätzlich aber nicht anstelle von ECC RAM (und natürlich dem passenden Board sowie der passenden CPU die auch die ECC Funktion unterstützen), sondern zusätzlich als weitere Sicherheitsstufe betrachten.

Das man vorher von Datenkorrpution erfährt, ist ohne ECC RAM auch nicht garantiert, denn die Dateien können schon vor dem Schreiben von RAM Fehlern korrumpiert worden sein, da sie ja vorher im RAM liegen, auch wenn sie z.B. übers Netzwerk übertragen wurden und dann berechnet das Filesystem die Prüfsummen eben schon für diese korrupte Version der Datei und wiegt den Nutzer in eine falsche Sicherheit.

Außerdem ist es eben ein Mythos, dass HDDs falsche Daten wiedergeben würden, die passiert wegen FW Bugs oder wenn es Probleme auf ihren Datenpfaden gibt, wogegen bessere HDDs und SSDs aber geschützt sind. Vielmehr geben HDDs und SSDs Lesefehler statt korrupter Daten zurück, wenn die Daten eines Sektors (bzw. bei SSDs i.d.R. einer Page) nicht zur ECC passen, die der Controller selbst dahinter ablegt. Es ist dann die Aufgaben der Software die die Daten lesen will, mit diesem Lesefehler korrekt umzugehen und keine halbgelesene Datei einfach so anzuzeigen als wäre alles gut gewesen. Bei einem klassischen Hard- oder Software RAID mit Redundanz fängt das RAID diesen Lesefehler ab, liest dann und nur dann die Redundanzdaten aus, korrigiert damit die fehlenden Daten und überschreibt auch gleich noch den Sektor auf der Platte bei dem der Lesefehler aufgetreten ist, weshalb solche HDDs keine schwebenden Sektoren (das sie die bei denen die Daten nicht zur ECC passen und beim Überschreiben des Sektors gleich wieder verschwinden) zeigen, sondern allenfalls wiederzugewiesene Sektoren (wenn der Controller der Platte die "neuen" Daten nach dem Überschreiben nicht korrekt lesen kann, dann verwendet er einen Reservesektor anstelle des defekten Sektors und nur dann ist dort wirklich ein Defekt auf der Oberfläche der HDD vorhanden).

Übrigens ist auch die Übertragung der Daten von der Platte zum Host Controller abgesichert, bei SATA mit einer CRC32 pro Datenpaket (FIS genannt), welches bis zu 8192 Byte Nutzdaten enthalten kann und die Wahrscheinlichkeit das Bitfehler dabei unerkannt bleiben, liegt irgendwo im Bereich von 1:10^46, was mal 8k ein Datenvolumen ergibt, welches um Größenordnungen über der Kapazität aller bisher gefertigten HDDs und SSDs liegt. Diese CRC32 Absicherung wurde überigens schon bei IDE mit dem Ultra-DMA Modus zusammen eingeführt und daher wird sie auch oft noch Ultra-DMA CRC genannt. Wenn ein Übertragungsfehler erkannt wird, muss die Übertragung wiederholt werden.

Daher würde ich es immer mit Matt Ahren, einem Mitentwickler des ZFS-Dateisystems, halten, der schreibt:
Man beachte die Reihenfolge, zuerst empfiehlt er ECC RAM und dann erst obendrauf ein Filesystem mit Prüfsummen wie ZFS zu verwenden, wenn man seine Daten liebt und vor Korruption schützen möchte!

PS: Hier ein Review verschiedener Filesysteme unter Linux auf zwei Optane 900P als Singledrive, sowie im RAID 0 und 1, ebenso mit ZFS On Linux 0.8.1, auch im RAIDZ.
 
Zuletzt bearbeitet:
Neben den Daten in den Dateien selbst, können bei RAM Fehlern auch die Metadaten des Filesystems korrupt werden und dies kann zum Komplettverlust des Filesystems führen, auch bei den Filesysteme mit Pürfsummen. Solche Filesystem sollte man daher immer nur zusätzlich aber nicht anstelle von ECC RAM (und natürlich dem passenden Board sowie der passenden CPU die auch die ECC Funktion unterstützen), sondern zusätzlich als weitere Sicherheitsstufe betrachten.

Das man vorher von Datenkorrpution erfährt, ist ohne ECC RAM auch nicht garantiert, denn die Dateien können schon vor dem Schreiben von RAM Fehlern korrumpiert worden sein, da sie ja vorher im RAM liegen, auch wenn sie z.B. übers Netzwerk übertragen wurden und dann berechnet das Filesystem die Prüfsummen eben schon für diese korrupte Version der Datei und wiegt den Nutzer in eine falsche Sicherheit.

Außerdem ist es eben ein Mythos, dass HDDs falsche Daten wiedergeben würden, die passiert wegen FW Bugs oder wenn es Probleme auf ihren Datenpfaden gibt, wogegen bessere HDDs und SSDs aber geschützt sind. Vielmehr geben HDDs und SSDs Lesefehler statt korrupter Daten zurück, wenn die Daten eines Sektors (bzw. bei SSDs i.d.R. einer Page) nicht zur ECC passen, die der Controller selbst dahinter ablegt. Es ist dann die Aufgaben der Software die die Daten lesen will, mit diesem Lesefehler korrekt umzugehen und keine halbgelesene Datei einfach so anzuzeigen als wäre alles gut gewesen. Bei einem klassischen Hard- oder Software RAID mit Redundanz fängt das RAID diesen Lesefehler ab, liest dann und nur dann die Redundanzdaten aus, korrigiert damit die fehlenden Daten und überschreibt auch gleich noch den Sektor auf der Platte bei dem der Lesefehler aufgetreten ist, weshalb solche HDDs keine schwebenden Sektoren (das sie die bei denen die Daten nicht zur ECC passen und beim Überschreiben des Sektors gleich wieder verschwinden) zeigen, sondern allenfalls wiederzugewiesene Sektoren (wenn der Controller der Platte die "neuen" Daten nach dem Überschreiben nicht korrekt lesen kann, dann verwendet er einen Reservesektor anstelle des defekten Sektors und nur dann ist dort wirklich ein Defekt auf der Oberfläche der HDD vorhanden).

Übrigens ist auch die Übertragung der Daten von der Platte zum Host Controller abgesichert, bei SATA mit einer CRC32 pro Datenpaket (FIS genannt), welches bis zu 8192 Byte Nutzdaten enthalten kann und die Wahrscheinlichkeit das Bitfehler dabei unerkannt bleiben, liegt irgendwo im Bereich von 1:10^46, was mal 8k ein Datenvolumen ergibt, welches um Größenordnungen über der Kapazität aller bisher gefertigten HDDs und SSDs liegt. Diese CRC32 Absicherung wurde überigens schon bei IDE mit dem Ultra-DMA Modus zusammen eingeführt und daher wird sie auch oft noch Ultra-DMA CRC genannt. Wenn ein Übertragungsfehler erkannt wird, muss die Übertragung wiederholt werden.

Daher würde ich es immer mit Matt Ahren, einem Mitentwickler des ZFS-Dateisystems, halten, der schreibt: Man beachte die Reihenfolge, zuerst empfiehlt er ECC RAM und dann erst obendrauf ein Filesystem mit Prüfsummen wie ZFS zu verwenden, wenn man seine Daten liebt und vor Korruption schützen möchte!

PS: Hier ein Review verschiedener Filesysteme unter Linux auf zwei Optane 900P als Singledrive, sowie im RAID 0 und 1, ebenso mit ZFS On Linux 0.8.1, auch im RAIDZ.

Interessanterweise vergleicht er diesmal ein RAIDZ mit einem RAID-0...was wohl raus gekommen wäre, bei einem ZFS Stripe ?
 
Wer sowas schreibt, sollte den Tests nochmals und diesmal aufmerksam lesen, denn das ZFS RAIDZ wird ja nicht nur mit RAID 0 sondern auch mit RAID 1 vergleichen und obendrein sind auch Ergebnisse der Filesysteme auf einem Einzellaufwerk dabei.
 
Wer sowas schreibt, sollte den Tests nochmals und diesmal aufmerksam lesen, denn das ZFS RAIDZ wird ja nicht nur mit RAID 0 sondern auch mit RAID 1 vergleichen und obendrein sind auch Ergebnisse der Filesysteme auf einem Einzellaufwerk dabei.

Hat zwar nix mit meiner Frage zu tun, aber ja, ich weiß das ZFS auch auf einem einzelnen Laufwerk dort oft schlecht abschneidet.
Nichtsdestotrotz wäre ein Vergleich mit einem ZFS Stripe imteressant gewesen.
 
Ein Raidz mit 2 Devices ist reichlich sinnfrei. Für sowas gibt es das Mirror-Vdev . Entweder wusste das der Reviewer nicht oder hat es, Spekulation, vielleicht sogar bewusst falsch gemacht.
Denn ein Raidz mit 2 Devs ist eben kein Raid1.
 
Zuletzt bearbeitet:
Neuere Storage Sicherheitsmaßnahmen wie ECC RAM, CopyOnWrite, doppelte Metadaten, Ende-Ende Prüfsummen, Raid, Snaps oder sync write adressieren jeweils unterschiedliche Gefahren für die Unversehrtheit der Daten. Jeder Punkt verbessert die Datensicherheit unabhängig von den anderen und es ist müßig zu sagen der eine ist wichtiger als die anderen. Erst zusammen wird daraus ein ganz besonders sicherer Storageserver.

Dass der Verzicht auf Sicherheitsmaßnahmen (v.a. CopyOnWrite und Prüfsummen) eine bessere Performance erlaubt ist naheliegend aber nicht das Thema.
 
Mich würde auch mal die native ZFS-Performance von Solaris 11.4 im Vergleich zur aktuellen stable ZoL-Implementierung interessieren.
Interessant ist der obige Vergleich eigentlich nur zu btrfs, ext4 und xfs vertraue ich keine Daten an, sofern nicht darunter noch ein sicheres Dateisystem oder RAID liegt.
 
ECC braucht weniger als 10% mehr "Silizium". Dass ECC teurer ist liegt wohl daran dass Intel Geld verdienen möchte und ECC nur bei den Workstation/Serverchipsätzen anbietet. Würden auch die Desktop Chipsätze ECC unterstützen gäbe es einen größeren Markt, höhere Stückzahlen und niedrige Preise.

ECC sollte bei gleicher Technologie also z.B. unbuffered ähnlich schnell sein. Da der Gamer Markt fehlt, liegt der Focus allerdings auf Stabilität (konservativ, langsam) als auf höchstem Takt.
 
Die meisten Systeme die für ECC ausgelegt sind haben ohnehin Quad/Hexa oder Octachannel. Da egalisiert sich die Einzelbandbreite.
 
ECC und teuer?
Gerade 64 GB reg ECC fürn Hunni geholt, was habe ich falch gemacht?
 
Zuletzt bearbeitet:
Problem ist halt das das 'registered' Ram ist und damit meist nur auf teuren/alten Serverboards läuft und die meisten günstigeren Boards halt unregistered ECC Ram brauchen.
 
Sehe ich auch nicht als "das" Problem, nachdem ich heraus gefunden habe, dass es passende Server samt Mainboard für denselben Preis in der Bucht gibt, als nur das nackte Mainboard alleine (z.B. Supermicro CSE-825 w X9DR3-LN4F+, 2 x E5-2620, 32Gb DDR3, 2 x 1Tb Server | eBay ).
Für daheim brauch ich nicht immer bleeding edge, die IvyBridge Xeons haben als 12-Kerner genug Leistung für daheeme, vor allem mit zwei Stück im Verbund. =)

//Edith:
Allerdings sollte man anmerken, dass die JASPER12-Foxconn-Blades für nen Hunni zwar ne geile Intel 10GB-Netzwerkkarte onboard haben, ansonsten aber recht beschränkt beim Hardware-Zubau sind.
Hunni halt...
(Braucht einer einen? =) )
 
Zuletzt bearbeitet:
aber dein Angebot hat ja noch DDR3 Ram und eine CPU von 2011. Wer will sowas zu Hause haben? Stromverbrauch geht da ja schon extrem in die Höhe.. Gerade, wenn das Teil vielleicht nur NAS machen soll.
Von der Lautstärke will ich nicht reden... hat ja nicht jeder einen kleinen Serverraum
 
Jeder weiß das es gebrauchte Server bei den resellern und bei Ebay extrem günstig in sehr guter Qualität gibt nur man hat als Privatman meist 2 große Probleme das ist die Lärmentwicklung und vorallen bei so betagten System der Energieverbrauch.
Und ganz ehrlich wer sich heute im privaten Umfeld noch System mit einer 7 Jahre in 32nm fertigung CPU kauft lebt entweder noch bei den Eltern die den Stromverbauch bezahlen oder kann einfach nicht rechnen.

Du solltest mit minimal 50-70Watt mehr Verbrauch gegenüber einen modernen System rechnen, und das sind dann bei einen 24/7 Server mal 120-150 Euro pro Jahr an aufpreis.
Und dann relativiert sich der günstige Kaufpreis recht schnell.
 
Zuletzt bearbeitet:
genau... ich wollte mir auch mal so ein 4 CPU-System gönnen... bin ganz schnell davon abgekommen, als ich irgendwas von über 400W Idle gelesen hatte... nun wird es ein Ryzen 3700x .. reicht auch für meine Basteleien.
 
Was zum Henker?
Der Foxconn hat beim letzten Check im Idle mit vier VMs ca. 60 W mit vier alten 500 GB-Platten gezogen (2x E5-2658 und damals 24 GB RAM).

Strom kommt hauptsächlich vom Dach und der Serverschrank steht im Keller, Eigenheim FTW.
(Ja, ich weiß, die Photovoltaik hat auch Geld gekostet, aber das ist bereits abgeschrieben.)
Jemand der rechnen muss wird sich nicht den Luxus eines 24/7-Servers leisten (können).

Und 400 W idle für nen Quad-Sockel?
Quelle? Opteron? Keine Stromsparmechanismen im BIOS aktivierbar gewesen?
Sorry, das mag ich nicht unbestätigt glauben.

Mit Consumer-Hardware wirst schnell an die Grenzen des machbaren stoßen, wenn dir der ESXi erst mal sagt, dass er die neue VM nicht starten kann, weil die anderen VMs dank Passthrough den Speicher vollständig reservieren müssen.
Dann viel Spaß nochmal schnell 32 GB DDR4 (ECC UDIMM!) in den Rechner zu stopfen.
 
Und 400 W idle für nen Quad-Sockel?
Quelle? Opteron? Keine Stromsparmechanismen im BIOS aktivierbar gewesen?
Sorry, das mag ich nicht unbestätigt glauben.

Ich hab Zuhause ein Octa-Opteron-System. Den Idle-Verbrauch kenne ich zwar nicht, aber Vollast auf allen 48 Kernen und einer HD7970 waren etwas unter 1KW.
 
60 Watt kann ich kaum glauben, auch wenn man mal Google anwirft kommt man beim Foxconn mit 2x E5-2650s auf 110-150Watt Idle und 170Watt beim Memtest.
Und was das jetzt mit falsch/schlecht konfigurierten VM's zu tun hat verstehe ich jetzt garnicht, egal ob ein neuer oder alter Server du kannst nur soviel Ram wirklich benutzen wie eingebaut ist.

Aber wir entfernen uns eh viel zu weit vom Topic.
 
60W Idle für Dual SandyBridge-EP kann ich auch nicht ganz glauben, das braucht mein Singlesocket Epyc ohne irgendwelche anderen Komponenten schon.
 
Ich organisiere mal einen ordentlichen Energiekostenmesser und messe nochmal nach, das DüWi hat zw. 60 und 80 W gelegen, Tendenz eher zum unteren Wert.
Volllastwerte glaube ich euch gerne.
Zudem habe ich im BIOS die Optionen auf Energieeffizienz getrimmt.

Speicher & ESXi:
Sobald man ein Stück Hardware (Netzwerkkarte, SATA-Controller, USB) durch routet, belegt ESXi den gesamten geplanten Speicher der VM vor, der ist dann für andere VMs weg.
Ich zähle mal:
Storage-VM: 8 GB
Mailserver-VM: 8 GB
Service-VM: 6 GB (Coud, Wiki, Redmine usw.)
HomeAutomation: 2 GB
Schon sind 24 GB weg, auch wenn die VMs den nicht sofort belegen.
Hab ich nur vier Speicher-Slots wirds schnell mal eng, wenn ich kurz mal ne Buildschwein-VM mit 20 Kernen und 16 GB RAM starten will.

Wenn dann die Frau dann noch fix was auf ner Windoof-VM (8 GB) machen will, ist Ärger vorprogrammiert.
Deshalb bei mir die Entscheidung, Server-Hardware mit viel RAM einzusetzen.
 
naja, heute gibt es ja recht günstig Consumer-Hardware, wo man problemlos 64 GB RAM draufpacken kann... Mit einem aktuellen Ryzen hat man preiswert auch genug Kerne zur Verfügung. Und vor allem, ist diese Hardware aktueller und hat bestimmt mehr IPC, als so ein 8 Jahre alter Xeon
 
Ich kauf nicht jedes Jahr neue Server...
Egal, Update an der Leistungsaufnahme-Front:
Wer misst, misst Mist.
Das DüWi fliegt heute noch in den Müll.

AAABER: So krass finde ich den Stromverbrauch auch nicht:
ESXi (2x E5 2658, 88 GB RAM, 3x 500 GB Deathstar, 200 GB SSD am USB):
Netzteil unter Strom: 10 W (krank, ein Glück ist es 24/7 an... =) )
BMC Boot / POST: ~84 W
ESXi Boot: ~95 W
Storage-VM Boot: ~120 W
4x VM Boot: 130..160 W
eingependelter Leerlauf: ~125 W (5 aktive VMs, 38 GB Speicherlast, CPU-Last laut ESXi ~930 MHz)

idle gesamter Serverschrank im Keller: ~250 W
bestehend aus:
besagtem ESXi
Selbstbau-NAS mit E5-1660, 24 GB RAM, 6x 8TB WD REDs, FreeNAS 11.2
QNAP 10GB-Switch mit 2 aktiven 10GBase-T Links (insgesamt 5 Links)
RB850Gx2 als Router
Fritzbox 6590C (Vodafone) als Quasi-Modem
Zyxel GS1900-8HP PoE-Switch
Raspi 3B am PoE
WLAN-AP am PoE
 
Die Werte sind schonmal realistischer.

Muß halt jeder selber wissen wieviel er ausgeben will bei 250Watt Verbrauch kostet der Serverschrank halt 45€ Strom pro Monat (bei 0,25€/KwH, jetzt kann man mit der Solaranlage ein drittel noch realistisch abziehen).

Mir wäre das halt zuviel deswegen habe ich einen 'relative' modernen PC (I7-4790K mit 32GB Ram , 1* SSD, 1*12TB HDD ) der 24/7 läuft und der auch 2 VM's unter Hyper-V für Downloads &Co aber an dem ich halt auch jetzt 'arbeite' und spiele.
Der verbraucht normal 22 Watt im idle und unter Last beim Spielen mit einer 750TI bis zu 130Watt.

Wichtig ist nur das man mal drüber nachdenkt ob einen das der Server wert ist und wenn es das ist ist ja alles OK.
Nur man sollte halt nicht nur den billigen Kaufpreis der ausgemusterten (aber leistunsgfähigen) gebraucht Server anschauen.
 
genau so sehe ich das auch... bei mir habe ich noch einen i5-4430 am idlen... dieser wird jetzt erstmal gegen einen kleinen billigen Ryzen 2600 ersetzt. Wenn dann der 16 Core draußen ist, kommt dieser auf das Brett hoch. Mainboard wird es das AsRockRack X470D4U: ASRock Rack > X470D4U
insgeheim hoffe ich noch auf einen 16Kerner ohne OC, der wegen mir auch langsamer getaktet ist. Mir geht es zum Basteln um viele viele Threads .. und das so preiswert bzw Sparsam wie möglich
 
ECC ist bei Profihardware üblich.

Uralt Server und deren Energieverbrauch schreckt einen aber eher ab, gute Hardware zu verwenden. Ich würde bei so einer Altgurke erst mal das Mainboard entsorgen und was aktuelles einsetzen.

Der Kern des Problems ist doch.
ECC RAM und neue Dateisysteme mit deren essentiellen Features CopyOnWrite, Snaps, Prüfsummen auf Daten und Metadaten sowie crashsicheres Schreiben verbessern die Datensicherheit erheblich. Die Frage ist eher, was kostet das mehr? Und da als Massstab einen Altserver zu nehmen der mal vor 10 Jahren 10000 Euro+ gekostet hat und 400W verbraucht, bringts irgendwie nicht.

Aktuell siehts doch so aus:
Bei Intel kostet ein Workstation/Serverboard mit ECC ab ca 150 Euro, ein gutes Gamerboard dasselbe, ein billiges Desktopboard ca 70 Euro. ECC RAM kostet ca 20% mehr, also z.B. bei 16 GB ca 70 Euro vs 90 Euro. Für einen kleinen Server nimmt man einen 4 Kern i3. Der ist so gut wie ein 4 Kern Xeon der letzten Generation kostet aber viel weniger und kann ECC und Virtualisierung mit vt-d.

Macht ca 100 Euro Aufpreis, bei AMD sogar weniger vs billiger Desktop Hardware ohne ECC. Insgesamt also der Aufpreis, den auch eine einzelne kleine Platte kostet. Bei einem klieneren NAS oder AiO Server mit ein paar Platten erträglich. Da ist es dann 500 Euro vs 600 Euro. Nei einem System mit mehr Platten ist der Aufpreis belanglos, der Sicherheitsgewinn erheblich.

ZFS ist OpenSource und umsonst. Btrfs kann weniger und auf Linux beschränkt aber auch umsonst. ReFS ikann noch weniger ist aber bei Windows dabei. Achja Apple APFS kann nochmal weniger hat aber auch einiges von ZFS und ist bei OSX dabei.

Laßt die alten Sachen wie ext4, hfs+ oder ntfs links liegen. Das ist Technologie Stand letztes Jahrtausend, ausgelegt auf 512 MB RAM und Festplatten < 1GB
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh