1-2x Home-Server

[Macer89]

Hallo, liebe Community!

Ich habe das Thema hier schon öfter mal angeschnitten, aber leider wie es so oft ist kommt immer wieder was dazwischen, man muss Kompromisse machen und im Endeffekt schiebt man gewisse Dinge vor sich hin, weil immer wieder etwas "wichtiger" ist.
Nun ja so schaut es auch bei meinem Home-/File-Server aus.

Ich schildere mal kurz meinen aktuellen Stand:

• CPU: Intel Core i3 (Clarkdale mit ~3.0GHz)
• RAM: 4 GB
• 16-Port Raid Controller (Areca 1680)
• Windows Server => NTFS als Dateisystem

Nun meine Vorstellung:
Ich möchte von NTFS wegkommen und auf ZFS wechseln was ja diverse Vorteile mit sich bringt. Das ganze sollte im Ende dann auf einer Linux-Maschine mit zfs-on-linux laufen.
Das wäre also das eine, die Fileserver-Funktionalität, des weiteren möchte ich auch noch einen ESXi um dort diverse VMs laufen zu lassen und gelegentlich auch ein paar Spielereien testen zu können.

Meine Überlegung war zu Beginn das ganze durch ein einziges System zu realisieren, das dürfte aber nicht ganz effizient sein, vor allem in Hinblick auf den Stromverbrauch, da einige VMs 24/7 laufen sollen und ich auf mein "Datengrab" nicht rund um die Uhr zugreifen können muss.
Daher tendiere ich mittlerweile zu 2 einzelnen Servern, die Frage ist die Dimension der Hardware-Komponenten...
In diversen Beiträgen habe ich schon gelesen, dass die Daumen mal PI Regel bei ZFS so 1 GB RAM pro 1 TB HDD-Speicher voraussetzt. Mein Plan wäre so gen 100 TB brutto Kapazität. Da ich mir aufgrund räumlicher Gegebenheiten zur Zeit kein Rack-Server-Case zulegen kann muss wohl oder übel ein normales PC-Case herhalten, darin könnte ich vermutlich maximal 20 Platten unterbringen => 20 x 4 TB HDDs => 80 TB brutto => in 5 x Raidz1 mit je 4 Discs => 60 TB netto Kapazität
60 GB RAM Minimum für ZFS nach der Faustregel => 64 GB wären aber schon eine ich sage mal nicht ganz unbeachtliche Investition

Bei > 32 GB RAM muss ich dann auf den 2011-Sockel setzen, weil bei den 1150-Sockeln nicht mehr RAM verwendet werden kann (ich hoffe ich irre mich hier nicht).
Ein System auf 2011 Basis zieht auch ganz gut Strom im Vergleich zum 1150.
Wäre hier auch ESXi empfehlenswert oder reicht ein stinknormales Linux?

Der zweite Server wäre dann ein reiner ESXi Server und würde nur genügend Speicher für die VMs benötigen, ~5 VMs mit einem Verbrauch zwischen 2-8GB pro VM. Ich denke hier sollten die 32 GB reichen.

Könnt ihr mir ein paar Tips/Vorschläge liefern wie ihr das konkret zusammenstellen würdet?
Vielleicht können sich ja auch ein paar mit bereits ähnlichen Konfigurationen etc. melden.
Beides sollte wenn möglich ziemlich stromsparend sein, da der eine Server ja den ganzen Tag laufen soll und der Fileserver auch wenn ich zu Hause bin die Daten für den HTPC bereitstellen soll.

Freue mich auf eure Meinung/Beiträge

 

[lukesky85]

Deine Überlegungen in allen Ehren aber du beschreibst hier ein System für Unternehmen. 80 TB und mehr sind doch relativ sinn frei. In diesem Bereich wirst du verschiedene Probleme bekommen. Allein ein Backup der Daten anzufertigen wird nochmal ein paar Tausend Euro kosten. Ohne Backup wirst du jeden Tag mit einem Totalverlust rechnen müssen. du wirst alle paar Wochen eine Festplatte verlieren. Jedes halbe Jahr ein kaputtes nicht wieder herstellbares Raid. ( 5 x Raidz1 -> eine Festplatte darf kaputt gehen. in ~1-2 Jahren kann es aber gut passieren das mehrere gleichzeitig kaputt sind. )

Die Faustformel 1GB Ram pro TB ZFS ist nur für Unternehmen relevant welche eine große Umwälzung der Dateien jeden Tag haben. Die Duplizierung benötigt solche mengen an Ram um effektiv arbeiten zu können. Diese macht aber oft nur im Unternehmenseinsatz wirklich Sinn. Bei Mediendateien ist die Ersparnis leider sehr gering.

Ich fahre einen 13 TB Server mit ca 1-2 GB Ram und greife mit ~3 Clients darauf zu. Ich kann einfach keinen Unterschied erkennen zu einem System mit mehr RAM. Hier limitiert die GBit Netzwerkkarte und nicht das System.

Wie ist den zur Zeit dein Datenaufkommen? Planst du wirklich ca. 4000 Filme und tausende Serien Folgen zu speichern? Zum Beispiel kannst du auf 10 TB ~400 HD-Filme und ~1000 HD-Serien Episoden speichern.

Also für persönlich ist dies alles ziemlich klar. Ich werde weiterhin auf N54L ähnliche Systeme setzen und ggf. einen zweiten Server irgendwann dazustellen. Mir reicht die Geschwindigkeit aus und bis 2K/4K Bildmaterial ist da kein Wechsel nötig. 13 TB auf 5 Festplatten reicht für mich aus. Da ich aber auch alles lösche was ich gesehen habe. Völlig überzogene 100TB sind für Privatleute einfach unrealistisch. Du wirst mit der Wartung, Backups und Befüllung soviel Zeit verschwenden das du nicht mehr dazu kommst die Sachen anzuschauen.

 

[Macer89]

Genau das selbe wurde mir vor Jahren gesagt als ich mein aktuelles System hochgezogen habe
Jetzt ist es mittlerer Schnitt und keiner würde auch nur ein "Oh so viel Speicherplatz!" daran verschwenden.
Das ist immer Ansichtssache, für viele mag es jetzt zwar wahnsinnig viel Speicherplatz sein, aber in ein paar Jahren wird das nicht mehr der Rede wert sein.

Deine Überlegungen in allen Ehren aber du beschreibst hier ein System für Unternehmen. 80 TB und mehr sind doch relativ sinn frei. In diesem Bereich wirst du verschiedene Probleme bekommen. Allein ein Backup der Daten anzufertigen wird nochmal ein paar Tausend Euro kosten. Ohne Backup wirst du jeden Tag mit einem Totalverlust rechnen müssen. du wirst alle paar Wochen eine Festplatte verlieren. Jedes halbe Jahr ein kaputtes nicht wieder herstellbares Raid. ( 5 x Raidz1 -> eine Festplatte darf kaputt gehen. in ~1-2 Jahren kann es aber gut passieren das mehrere gleichzeitig kaputt sind. )

Das ist mit dem Ausfall ist ein guter Einwand, dann vielleicht doch 3x Raidz2 mit je 6 Platten. Noch ist ja nichts in Stein gemeiselt.

Die Faustformel 1GB Ram pro TB ZFS ist nur für Unternehmen relevant welche eine große Umwälzung der Dateien jeden Tag haben. Die Duplizierung benötigt solche mengen an Ram um effektiv arbeiten zu können. Diese macht aber oft nur im Unternehmenseinsatz wirklich Sinn. Bei Mediendateien ist die Ersparnis leider sehr gering.

Das ist schon einmal gut zu hören, GBit/s sollte auf jeden Fall erreicht werden.
Super ins Konzept würde ein 10 GBit/s Netzwerk passen, eventuell spendiere ich den Servern so ein NIC und kremple mein Heimnetz etwas um.
Laut diversen Tests benötigt man für aktivierte Duplizierung sogar 5 GB / TB um das Feature sinnvoll nutzen zu können, das wäre allerdings definitiv Overkill und würde auch in extremste Sphären vordringen.

Ich fahre einen 13 TB Server mit ca 1-2 GB Ram und greife mit ~3 Clients darauf zu. Ich kann einfach keinen Unterschied erkennen zu einem System mit mehr RAM. Hier limitiert die GBit Netzwerkkarte und nicht das System.

Wie ist den zur Zeit dein Datenaufkommen? Planst du wirklich ca. 4000 Filme und tausende Serien Folgen zu speichern? Zum Beispiel kannst du auf 10 TB ~400 HD-Filme und ~1000 HD-Serien Episoden speichern.

Ich fahre zur Zeit 2x RAID 6 mit je 8 HDDs á 2 TB => Nettokapazität ~ 21,8 TB. Die derzeitige Situation verlangt mehr Speicherplatz. Es reduziert sich bei mir nicht alles nur auf Filme/Serien, bei mir liegen viele verschiedener Versionen unterschiedlicher VMs, Backups und ich nenne es mal Laufzeitdaten die im RAW-Format mitunter explodieren und mehrere TB verbrauchen.

Also für persönlich ist dies alles ziemlich klar. Ich werde weiterhin auf N54L ähnliche Systeme setzen und ggf. einen zweiten Server irgendwann dazustellen. Mir reicht die Geschwindigkeit aus und bis 2K/4K Bildmaterial ist da kein Wechsel nötig. 13 TB auf 5 Festplatten reicht für mich aus. Da ich aber auch alles lösche was ich gesehen habe. Völlig überzogene 100TB sind für Privatleute einfach unrealistisch. Du wirst mit der Wartung, Backups und Befüllung soviel Zeit verschwenden das du nicht mehr dazu kommst die Sachen anzuschauen.

Backup der wirklich wichtigsten Daten wäre dann quasi auf der alten Maschine.
Bin mir sicher, dass viele deiner Meinung sind und es auf die meisten Heimverbraucher auch zutrifft. Es gibt aber auch sicher einige Enthusiasten (wie mich) die das anders auslegen und sicher auch welche die noch einmal mehr als doppelt soviel Speicherplatz haben

 

[grobinger]

"home server"

 

[fsironman]

Zwei Systeme sind sinnvoll alleine schon wegen der Backupproblematik Du kannst dann die wichtigsten Daten von Datengrab auf deinen VM-Maschine und ungekehrt sichern.
Als Gehäuse hast du dann der Lian Li Würfel (D-8000) dir ausgesucht ?
Für ZFS kann man den Areca auch einfach nur als HBA verwenden ?

Wie viel davon sind statische Daten (Filme/Serien) bzw. anders gefragt durchschnittlich pro Tag wie viel würde an neuen/geänderten Daten dazukommen.
Je nachdem wäre da auch Snapraid ne alternative für nen Teil.


Ich habe selber 11 TB netto 12 Platten bunt gemischt mit snapraid und greyhole im Einsatz. Und viel Mehraufwand würde auch 20 oder mehr Platten nicht verursachen.
Im Prinzip hat man nur mehr Festplattenausfälle um die man sich kümmern muss. (Da hatte ich bisher einen und das war eine der beiden Snapraid Paritätsplatten also easy)

 

[RSM72]

Beides sollte wenn möglich ziemlich stromsparend sein, da der eine Server ja den ganzen Tag laufen soll und der Fileserver auch wenn ich zu Hause bin die Daten für den HTPC bereitstellen soll.

Nur als kleinen Denkanstoss - Du redest hier über eine Investition im mittleren vierstelligen Bereich (alleine Deine 20 Platten kosten grob überschlagen €3.000) und es juckt Dich was die Teile an Strom verbrauchen und ob Du aus Kostengründen besser Sockel 2011 oder 1150 nehmen solltest?

 

[Macer89]

Zwei Systeme sind sinnvoll alleine schon wegen der Backupproblematik Du kannst dann die wichtigsten Daten von Datengrab auf deinen VM-Maschine und ungekehrt sichern.
Als Gehäuse hast du dann der Lian Li Würfel (D-8000) dir ausgesucht ?
Für ZFS kann man den Areca auch einfach nur als HBA verwenden ?)

Hey ja du hast mich durchschaut, ich muss gestehen ich liebäugle zur Zeit etwas mit diesem Würfel
Ob ich den Areca als HBA oder doch weiterhin als Raid-Controller für das Backup-System nehme weis ich ehrlich gesagt noch nicht genau.

Wie viel davon sind statische Daten (Filme/Serien) bzw. anders gefragt durchschnittlich pro Tag wie viel würde an neuen/geänderten Daten dazukommen.
Je nachdem wäre da auch Snapraid ne alternative für nen Teil.

Ich schätze mal die Hälfte sind statische Daten, ein Viertel wenig bis kaum geänderte Daten und ein Viertel normales bis massives Änderungsaufkommen.
Snapraid sagt mir jetzt auf die schnelle nichts, das werde ich mir definitiv näher ansehen, klingt interessant.

Ich habe selber 11 TB netto 12 Platten bunt gemischt mit snapraid und greyhole im Einsatz. Und viel Mehraufwand würde auch 20 oder mehr Platten nicht verursachen.
Im Prinzip hat man nur mehr Festplattenausfälle um die man sich kümmern muss. (Da hatte ich bisher einen und das war eine der beiden Snapraid Paritätsplatten also easy

Ja genau das sehe ich auch so, nach der Installation ist der Aufwand relativ gering. Ich sehe mehr Aufwand auf mich zu kommen, wenn ich sage ich mal alle 1-2 Jahre ein neues System hochziehen muss.

Nur als kleinen Denkanstoss - Du redest hier über eine Investition im mittleren vierstelligen Bereich (alleine Deine 20 Platten kosten grob überschlagen €3.000) und es juckt Dich was die Teile an Strom verbrauchen und ob Du aus Kostengründen besser Sockel 2011 oder 1150 nehmen solltest?

Da gebe ich dir recht, aber da ich das System neu aufbauen will liegt es in meiner Hand welche Komponenten ich verwende und wenn ich sage ich mal bei ~gleichem Kostenfaktor 200 W sparen kann weil ich die effizientieren Komponenten habe dann kommt bei 200 W * 24 Stunden * 365 Tage bei einem Strompreis von zur Zeit ~20 Cent / kWh ein ungefähres Jahresersparnis von 350€ durchs "nix" tun raus. Ist natürlich nur eine einfache Milchmädchen-Rechnung, aber ich sage mal auf 5 Jahre möchte ich das System schon wieder haben und da kann ich mir dann von dem ersparten schon wieder fast ein neues aufbauen.

 

[grobinger]

Dumm nur daß das Einsparpotential mehr so bei 20W liegen wird...

 

[fsironman]

Die Frage die sich hier stellt:

Soll das Datengrab 24/7 laufen. Nur zu bestimmten Zeiten die terminierbar sind. Oder per WOL bei Bedarf aufgeweckt werden.

Davon hängt die Komponentenauswahl sehr stark ab. Für ZFS ist ECC-RAM schon zu empfehlen und beim dem Budget macht ein Server Mainboard nicht viel aus. Das kann aber eventuell kein WOL bzw S3.

Die Zeiten in denen Server noch richtig Strom gefressen haben sind Vorbei durch geschickte Komponentenwahl dürfte die Ersparnis maximal 30 Watt betragen.
Der größte Anteil sind die Stromkosten der Festplatten.

In meinen NAS habe ich 7x 3,5 2x2,5 und zwei ssds.
Stromverbrauch wenn alle Latten laufen: 71 Watt
Stromverbrauch wenn alle Platten schlafen: 28 Watt

Da mein NAS 24/7 läuft für diverse Netzwerkdienste Owncloud Crashplan Backup. Habe ich auf snapraid gesetzt.
Wenn ich z.b. einen Film schaue muss nur die Festplatte anlaufen auf der der Film auch physikalisch liegt anstatt das komplette RAID.
Einmal täglich macht snapraid dann den sync und danach legen sich platten wieder schlafen.

Über die Hälfte bis dreiviertel würde ich ein Snapraid volume machen. also 14 platten mit 2 oder 3 als parität die restlichen 6 ein RAID 6
Das wären dann 15*4TB = 54.56 TIB

Musst aber beachten Snapshot Raid wie snapraid es macht hat gewisse Vor und Nachteile:

+Bei zugriff muss nur eine Festplatte laufen
+Alle Festplatten sind einzeln lesbar
+Wenn mehr Festplatten ausfallen als die Parität es verkraftet kann man trotzdem den Rest noch lesen.

-Neue und geänderte Dateien sind nicht "gesichert" bis der sync läuft.
-Gelöschte Dateien zerstören Parität --> kann man mit "Papierkorb" verhindern

Anhand den Nachteilen wird klar das man das nur für wenig geänderte Dateien verwenden sollte.