FreeNAS ZFS Konfiguration

[haxon]

Hallo zusammen,

ich habe mir vor kurzem einen Poweredge T20 geholt und diesen mit zusätzlichen 16GB ECC-RAM versorgt, womit dieser nun insgesamt 20GB RAM besitzt.

Aufgerüstet mit (in Klammern sofern noch nicht gekauft):
(1x SSD für VMs)
(1x USB-Stick (siehe unten))
2x 8GB ECC-RAM
(1x IBM ServeRAID M1015)

Erst einmal zu dem Aufbau den ich plane:

Proxmox VE 3.3 als Wirtsystem
FreeNAS 9.2.1.7 (also neueste) als NAS Unterbau (das OS würde ich hier auf einen USB-Stick packen und an die NAS-VM durchreichen, damit sofern die SSD abraucht, der USB-Stick als Übergang das System betreiben kann (direkt als System, ohne VMs)
diverse andere VMs (Build-System, Test-VMs, evtl. Media-Server VM)


Konfiguration:

Auf dem System sollen zwei unterschiedliche Arten von Dateien abgelegt werden:

A) Bilder, Videos und Dokumente, die eine hohe Priorität besitzen und entsprechend immer verfügbar und zusätzlich gesichert werden sollen
B) Medien-Inhalte, die zwar wichtig sind, jedoch theoretisch ersetzbar. Diese sollten somit Schutz genießen, jedoch ist hier ein Ausfall verschmerzbar.


Diese Aufteilung macht es etwas schwierig für mich, mich für eine Lösung zu entscheiden, die sowohl Praxis tauglich ist, erweiterbar, als auch möglichst Speicherplatz schonend ist. Der besondere Umstand, dass bereits 2 Platten (1x 2TB, 1x 3TB) vorhanden sind, macht das Setup evtl. noch etwas schwieriger.


Ich habe hier an folgende Lösung gedacht und würde mich freuen, wenn jemand mit ähnlichem Setup oder Erfahrungen in diesem Gebiet hierzu etwas schreiben könnte. Allgemein würde ich zusätzlich 2x 6TB WD-RED Festplatten kaufen und verbauen und überlege die Festplatten wie folgt zu partitionieren:

I)
4  raidz  |    2    | |    2    ||    2    |
          |         | |         ||         |
2  mirror |    2    | |    2    |
          |         | |         | 
4  raidz  |    2    | |    2    |            |    2    |
          |         | |         |            |         |
                                             |    1    |

II)											 
6  raidz   |    3    | |    3    ||    3    |
           |         | |         ||         |
           |         | |         ||         |
2  mirror  |    2    | |    2    |            |    2    | 
           |         | |         |            |         |
1  mirror  |    1    | |    1    |
o. 2 stripe

Für I) spricht der Zugewinn an Speicherplatz, jedoch ist hier das Mirror, welcher für Daten der Kategorie A vorgesehen ist, nur durch eine Festplatte gesichert, evtl. ein Problem? Die Daten werden in regelmäßigen Abständen auf ein Zweitsystem gesichert, vielleicht kann ich somit damit erst einmal leben. Die beiden RAID-Zs würde ich zu einem Stripe zusammenfassen.

Upgrade: Sofern eine der kleineren Festplatten ausfällt, würde im nächsten Schritt durch einen weiteren Mirror die Daten aus Kategorie A durch eine weitere Kopie gesichert. Der weitere Platz einer 6TB Platte könnte jedoch nicht ohne weiteres genutzt werden, da die RAIDZs nicht einfach erweitert werden können.

Für II) spricht, dass hier der Stripe entfällt und die Kategorie A Daten durch 2 Festplatten gesichert sind. Dafür verliert man auf dem übrigen Bereichen entweder die gesamte Ausfallsicherheit und 1TB Nutzdaten oder 2TB weniger Nutzdaten, aber dafür Ausfallsicherheit.

Upgrade:

Ausfall einer der 2TB Platte: Problematisch, keine wirkliche Verwendung des neu dazugekommenen Platzes.
Ausfall der 3TB Platte: Aus dem "2 mirror" wird ein "4 RAID10" und das 1 mirror/2 stripe bekommt einen zusätzlichen Schutz oder einen "Speed-Boost"


Nun stellt sich für mich die Frage, ob man ein solchen Weg überhaupt einschlagen sollte, Festplatten unterschiedlicher Größen zu verbauen. Darüber hinaus frage ich mich, ob es signifikante Nachteile gibt, mehrere ZFS-Filesysteme parallel auf einer Festplatte anzulegen und somit eine Festplatte in unterschiedliche ZFS-Verbünde zu stecken. Hat hier jemand Erfahrungen? Dieses Vorgehen wäre nämlich selbst mit 4 gleichgroßen Festplatten denkbar.

 

[haxon]

Da sich leider niemand gemeldet hat, habe ich nun einfach nach gut dünken mein Setup aufbereitet.

Ich habe mich doch für ein Setup mit 3 WD-RED entschieden und habe nur die 3TB Platte übernommen.

Setup:

8  raidz   |    4    | |    4    ||    4    |
           |         | |         ||         |
           |         | |         ||         |
           |         | |         ||         |
4 raid 10  |    2    | |    2    ||    2    ||    2    |
           |         | |         ||         ||         |
                                             |    1    |

Zusätzlich hierzu habe ich noch einen Teil der SSD abgezwackt und FreeNAS für SWAP zur verfügung gestellt, dieser wurde allerdings bisland nicht benutzt.


Sowohl für die Verschlüsselung als auch für das Einbinden in FreeNAS, mussten manuelle Eingriffe gemacht werden - also für jemanden, der sich in so etwas nicht auskennt, ist eine andere Partitionierung, als sie FreeNAS vorgibt wohl nicht ratsam.

Falls jemand wissen will, wie ich die Partitionierung, Verschlüsselung und ZFS Pools angelegt habe, einfach fragen, dann werde ich mich noch daran machen, dies nieder zu schreiben.

 

[craxity]

Wozu verschlüsselst du?

Gesendet von meinem GT-I9300 mit der Hardwareluxx App

 

[phlowx]

Sowohl für die Verschlüsselung als auch für das Einbinden in FreeNAS, mussten manuelle Eingriffe gemacht werden - also für jemanden, der sich in so etwas nicht auskennt, ist eine andere Partitionierung, als sie FreeNAS vorgibt wohl nicht ratsam.

Was stimmt denn nicht mit der Partitionierung? Wenn du die SWAP-Partition meinst, die FreeNAS auf jeder Festplatte anlegt, die kann man, bevor man den Pool erstellt, deaktivieren.

 

[haxon]

Die Partitionierung und SWAP ist schon in Ordnung, jedoch wollte ich zwei unterschiedliche Pools aufbauen, da ich nicht alles als RAID-Z laufen lassen wollte. Nur aus dem Grund musste ich eine andere Partitionierung vornehmen.

Verschlüsselung: Wieso muss man das eigentlich begründen?

- Falls eine Festplatte kaputt geht, kann man diese ohne bedenken innerhalb der Garantiezeit einschicken, um einen Ersatz zu bekommen
- Ein Einbrecher bekommt sofern er den Server mitnimmt nicht auch noch meine Daten
- Unterschieben von Daten wird dadurch zumindest ein bisschen erschwert
- Man fühlt sich allgemein ein Stück sicherer

 

[craxity]

Du musst nichts begründen oder rechtfertigen. Ich wollte nur den Grund wissen, weil ich für mich kein sinnvolles Szenario für eine Vollverschlüsselung des Servers gesehen habe. Dabei habe ich beim Aufbau extra auf eine CPU mit AES-NI geachtet.

Und zu den genannten Punkten:

- Ist es mit RAID nicht ohnehin schwierig, die Daten aus einer einzelnen Platte zu rekonstruieren? Wer sollte sich überhaupt die Mühe machen? Das ist ja aufwendig und kostspielig.
- Kann ein Einbrecher den Server nicht einfach in sein Netz hängen und dann über die angebotenen Server-Dienste auf die Daten zugreifen?
- Was bedeutet Daten unterschieben? Wer? Was für Daten? Wozu?

Ich habe wichtige Daten in einem TC-Container auf einer Freigabe, den ich einfach auf dem Client einbinde.

 

[haxon]

Wo ist denn der Aufwand einer Verschlüssung, sofern sogar schon die Hardware dies unterstützt?

zum 1. Punkt: Bedingt, ich kenne zwar die Details von ZFS nicht, aber zumindest bei einem RAID10 liegen zumindest 50% der Daten auf einer Platte. Das kann je nach Daten durchaus schon etwas ausmachen.

2. Ein Einbrecher hat ja keine Zugangsdaten zu den Shares. Also wenn es hier lokal im Netz ist, hat er keinen Zugriff auf die Daten. Wenn er den Server mitnimmt und vom Strom trennt, muss erst wieder das Passphrase eingegeben werden. Ich gehe nicht davon aus, dass ein normaler Einbrecher extra den RAM schock gefriert, um den Key auszulesen. Kriminologen natürlich schon - darum geht es aber nicht.

3. Klar, das war nur hypothetisch und wird wohl niemand machen. Allerdings entwickle ich auch - zwar derzeit mehr als Hobby und daher noch nicht groß verbreitet - Anwendungen, dessen Sourcecode wäre schon ein Angriffsvektor. Auch Backups liegen auf dem System, hier könnte man beliebiges unterschieben und darauf hoffen, dass es wieder eingespielt wird. Einen speziellen Sinn genau hier anzugreifen sehe ich nicht, aber komplette Spinnerei ist es auch nicht. Dies wurde ja auch schon bei den Debian-Repositories etc. gemacht.


Aber nochmal: Warum nicht verschlüsseln? Der Aufwand ist nahe Null, der Nutzen größer Null.

 

[craxity]

Bei einem RAID10 bin ich nicht ganz sicher, aber bei einem RAID5 oder 6 dürfte nicht viel zu machen sein.

Musst du beim jeden Booten das Passwort eingeben? Das wäre ja ein Usability-Desaster. Das würde ich auch zu Aufwand zählen.

Meine Shares haben auch garkeine Passwörter.

Ich verstehe was du mit Daten unterschieben meinst. Wobei ich ohnehin nur Nutzdaten sichere und keine Programme oder ganze Installationen. Also kann höchstens jemand seine Urlaubsbilder in meine schmuggeln

 

[TCM]

Die Frage, wozu man verschlüsselt, ist objektiv selbstbeantwortend: Damit es keiner lesen kann.

Diese Frage explizit zu stellen bedeutet, denjenigen zu nötigen, sie über das Selbstverständliche hinaus zu beantworten, sprich: im Sinne von "Hast wohl was zu verbergen?" eine Antwort zu fordern. Man könnte genausogut jemanden fragen, warum er seine Gardinen zuzieht oder die Klotür zumacht. Weils andere einen Scheiß angeht. So einfach ist das.

Nicht der, der die Frage nicht beantworten will, sollte verächtet sein, sondern der, der sie stellt - gerade in der heutigen Zeit.

 

[craxity]

@tcm: aha, starke Worte. wenig sinnvoll bleiben sie trotzdem. du fabulierst von "nichts zu verbergen" und den Zeiten in denen wir leben. mir geht es um eine realistische Risikoeinschätzung.

ich hab ja nichts grundsätzlich gegen Verschlüsselung. aber das betrifft zB Kommunikation bzw den Fall, dass Daten das Haus verlassen. ich nutze soweit möglich e-mail-verschlüsselung und wenn ich in einem fremden Netzwerk bin, lasse ich meinen traffic per VPN über meinen Anschluss zu Hause laufen.

ich verstehe aber den Sinn bei einem homeserver nicht. um das besser zu verstehen, habe ich nachgefragt. immerhin bringt die Verschlüsselung einen größeren Aufwand im Alltag, der gerechtfertigt werden muss.

Gesendet von meinem GT-I9300 mit der Hardwareluxx App

 

[TCM]

immerhin bringt die Verschlüsselung einen größeren Aufwand im Alltag, der gerechtfertigt werden muss.

Ob das jetzt ein größerer Aufwand ist, sei mal dahingestellt. Wieso reicht "Privatsphäre" nicht als Rechtfertigung? Warum muss es überhaupt gerechtfertigt werden? Hast du überhaupt verstanden, was ich geschrieben habe?

Du konterst mit genau demselben Verhalten, das ich kritisiert habe. _Das_ erscheint mir wenig sinnvoll.

 

[haxon]

Ich schalte den Server sowieso nicht ab, da hier eben auch VMs laufen. Lediglich die Festplatten lasse ich nach einiger Inaktivität in den Standby schalten.

Vorher hatte ich jedoch eine Lösung, die über WOL das System gestartet und im Anschluss automatisch die Festplatten entschlüsselt hat und gleichzeitig solange dieses Tool aktiv war auch den Server am herunterfahren gehindert hat. Eines solchen Tools bedurfte es also sowieso.
Man musste hier natürlich das Boot-Passwort, sowie das Passphrase eingeben, aber ich sehe das eher als Login, der sowieso sinnvoll ist. Man hätte es wenn man wollte auch direkt mit dem Windows-Login verbinden können, schließlich gibt es den Windows Key Storage.

Ich sehe da jetzt nicht so großen Aufwand, den man extra rechtfertigen müsste, es ist ja nicht so, dass ich extra zu dem PC gelaufen wäre, einen USB-Dongle eingesteckt habe etc.

 

[guruhacker]

... du fabulierst von "nichts zu verbergen" und den Zeiten in denen wir leben ...

Der Ersteller dieses Threads fragte nach Technischem und einer der ihm wichtigen Punkte ist die Verschlüsselung seines Contents durch ZFS. Nunmehr soll sich haxon weitergehend dazu äußern, warum er Verschlüsselung will, obgleich er für mein Dafürhalten dieses bereits hinreichend und zufriedenstellend erledigt hat. Allein die von haxon befürchtete Mitnahme der HDDs durch Einbrecher ist en realistisches Szenario.

Dann bliebe noch das gegenwärtig sehr häufig vorkommende Ermittlungswerkzeug Hausdurchsuchung. Das ist durchaus auch ein Thema außerhalb der Hackerszene. Widerfährt einem solch ein Albtraum und die Datenträger sind für minmum Monate weg, dann wird auch abseits des Gegenstandes der Sache in das ganze Leben Einblick genommen. Denn in den Backups der Clients findet sich das ganze Leben wieder. Das ist a) nicht wünschenswert und b) ergibt sich immer potentiell eine Folgesache, denn irgendwo lässt sich jeder kriminalisieren im Wust der Rechtsvorschriften. Bei dieser Gelegenheit übrigens der Klassiker-Link auf Vetters Vortrag zu Hausdurchsuchungen vom 23. Chaos Communication Congress.

Selbst wenn das Individuum seinen Homeserver als Zuspieler für XBMC-Clients mit MKVs etc. aus dem Netz vollgeknallt hat, bleibt es dem Individuum belassen, da eh nicht thematisierbar, da es in seinen eigenen vier Wänden geschehen würde. Die Konsequenz wäre es, hinzufahren und nachzusehen oder einzufordern, dass er uns Forumsteilnehmern externen Zugriff gewährt, um nach der Einhaltung aller moralischen Werte zu schauen.

Ja, dieser Post ist emotional und ich bleibe dabei: Jeder hat etwas zu verbergen. Und die Privatsphäre ist ein Menschenrecht, auch im Digitalen! Seit Snowden ist das Netz voll mit schlauen Begründungen, wieso jeder etwas zu verbergen hat.

Persönlich führe ich ein anständiges Leben und die Leute um mich herum sicher auch, doch verschlüsselt mittlerweile ein Jeder von uns schon aus Prinzip alles, was auch nur ansatzweise zu verschlüsseln ist. Das betrifft Massenspeicher,Transportstrecken und Serverdienste.

Back to topic ...

 

[craxity]

Leute, ich wollte mit haxon darüber plaudern, warum er sich die Mühe macht seinen kompletten Server inkl. Betriebssystem zu verschlüsseln, da ich z.B. nur ausgesuchte Dateien in verschlüsselten Containern ablege. Mir erscheint die Komplettverschlüsselung nicht lohnenswert, da (aus meiner Sicht) recht umständlich und ich keine Risiko sehe. Dank der Ausführlichen Antowrten von haxon, kann ich nachvollziehen, warum er sich für die Vollverschlüsselung entschieden hat.

 

[Cookie1990]

Ich finde allerdings eine Vollverschlüsselung sinnvoller.
Sobald man das System gebootet hat funktioniert alles ganz normal (Es sei denn man richtet noch eine weitere Crypto Ebene ein), kein weiteres Problem.
Sobald der Rechner aus ist (Im Falle von FreeBSD reicht sogar schon das abgemeldet sein) sind die Daten vor dem Zugriff Dritter sicher.