FileServer-Gedanken für 2012

[Milchbubi]

Ahoi,
ich werde mir nen Home/File-server zulegen, sobald Ivy (Q1 2012) rauskommt.

Zweck:
- Fileserver
- VM's
- FTP

Hardware:
- Intel CPU mit HT, VT-x
- 8 (2x4) GB ECC RAM
- OS auf 60 GB SSD oder WD Blue 320 GB
- RAID 6 mit lsi 3ware 9750-8i
- 5x2 TB WD20EARS; 5400 U/Min => Netto ca. 6 TB
- (oder WD20EARX wegen SATA III; HBA kann mit SATA III umgehen, wobei eher keine nennenswerte Vorteile bestehen, doch selber Preis wie RS)


Verwendet werden soll Server 2k8 R2 Standard. Über den Sinn und nicht-Sinn von Raid 6 möchte ich nicht eingehen. Eigentlich wollte ich zuerst Raid 5 nutzen, doch dann sind urplötzlich 2 HDD's vom Kumpel abgeraucht, der nen Raid 5 Sys hatte. Mit dem 6er bin ich etwas sicherer.

Später werde ich noch meine privaten Daten auf externe HDD's (kein Raid) spiegeln

Macht es Sinn 4-5 VM's auf nem Fileserver gleichzeitig laufen zu lassen?
Eine ist zum Cutten von BluRays, die zweite für das runterladen, und eine dritte vllt als Art "Besuch von unseriösen Seiten"; also Seiten auf denen Viren sein können, ohne meinen Zocker-PC bzw. den Server mit Viren zu infizieren. Dann noch ne 4te zum Testen und wer weiß...vllt noch ne 5te für Linux oder sowas...

Hier weiß ich nicht ob es Sinn macht alle VM's auf ner Partition vom Raid 6 laufen zu lassen oder diese auf einer seperaten WB Black... Performance spielt nicht soo eine starke Rolle, sollte aber dennoch flüssig laufen. Gesagt sei auch noch, dass die ersten 3 IMMER laufen, die beiden anderen nur bei BEdarf hochgefahren werden.

FTP (FileZilla Server): Macht es Sinn den virtuell laufen zu lassen?

All das würde ich mit VMware Server realisieren. ESXi ist zwar auch cool, jedoch müsste ich hierfür den Server auf ESXi umlegen. Egal...

Und als nächstes möchte ich noch einen zweiten "Server", nunja so kann das eigentlich nicht bezeichnen anschaffen. Dieser soll als Firewall-Router zwischen meinem PC und dem Fileserver fungieren.

Nur die Frage ist ob sich das lohnt, wenn ne VM mit Viren infiziert ist. Alle wären dann ja theor. im selben Netz (BCD vom Server aus). Funktioniert das, wenn ich der "Download-VM" den Gateway vom Firewall-Router gebe und eine andere SNM + IP Bereich, quasi anderes Subnetz gebe?
Ich komm damit nicht ganz klar wie sich das verhält, wenn alles auf einem Host ist, egal ob physikalisch oder virtuell.

Soo...welche Hardware für so einen Firewall-Router wäre denn geeignet? Ein simpler Nettop?

MfG

 

[Redna]

Ich stelle mal in Frage, dass es sinnvoll ist, sich über ein viertel Jahr vor Anschaffung eines Systems schon über die Hardware-Zusammenstellung Gedanken zu machen und noch nicht verfügbare Komponenten einzuplanen. Wenn du jetzt einen Fileserver brauchst, kauf ihn jetzt, wenn du erst 2012 einen brauchst, mach dir dann über die Komponenten Gedanken, je nachdem, was dann zu welchen Preisen für deinen Einsatzzweck wirklich gerade verfügbar ist, wenn du das Ding brauchst.

Raid 6 ist für VMs nicht gerade typisch und im Vergleich zu z.B. Raid 10 eher suboptimal. Wenn das aber ein performanter Controller ist und du nicht gleichzeitig auf mehreren VMs oder auf VM und dem Fileservice des Host eine hohe Last erzeugst, wird es funktionieren. 8GB Ram für Host+5VMs ist nicht gerade großzügig, wenn du einigen davon eine komfortable Menge zuteilen willst. Laufen würde es, wie schnell, hängt von der Last ab.

VMWare Server ist doch aber meines Wissens schon seit Ewigkeiten nicht weiterentwickelt und offiziell auch nicht für den 2008R2 vorgesehen. Keine Ahnung, wie problemlos das läuft. Schonmal über die Hyper-V-Rolle nachgedacht, wenn du eh den 2008R2 einsetzt? Läuft - zumindest bei mir - saugut!

Die ganze Sache mit Hardwarefirewall zwischen PC und Fileserver erschließt sich mir nicht ganz. Was erhoffst du dir da? Glaubst du, wenn sich in einer VM mal ein Virus einnistet, dass der dann auch gleich trotz softwareseitiger Firewalls auf deinem normalen PC landet? Der richtige Kompromiss zwischen Sicherheit und Komfort bei den Routing- und Firewallregeln ist immer ein Thema in jedem größeren Netzwerk und wenn du selbst sagst, da nicht durchzublicken, habe ich Zweifel, dass du eine hardwareseitige Firewall-/Routinggeschichte so konfiguriert kriegst, dass es sicher ist, ohne dich ständig zu behindern. Angenommen, du bräuchtest das wirklich, müsstest du dann ja auch, um den Virtualisierungs-Host inkl. Fileservice und die VMs voneinander zu trennen, die jeweils über getrennte Netzwerkanschlüsse laufen lassen.

 

[dcdead]

Was bringt dir ECC RAM, wenn Intel das in den Desktop-Prozessoren sowieso nicht unterstützt?

 

[Milchbubi]

naja planen kann ich ja schonmal. Und wenn es was neueres gibt, dann nehm ich das auch wenn der Preis mitspielt.

Der Controller lsi 3ware 9750-8i steht eigentlich schon fest. Hier wird sich ja auch kaum was ändern. Hyper-V wäre noch ne Lösung dafür, stimmt.

Und wegen der Hardwarefirewall muss ich noch schauen. Die zwei weiteren Netzwerkkarten wären jetzt nicht das Problem. Wenn alle VM's vom Fileserver getrennt wären...

Und wegen dem ECC RAM wusste ich nicht, dass hierfür die Unterstützung des CPU's mitspielen muss.

Ich sag mal so. Der Fileserver soll dann 24/7 laufen, dazu noch gleichzeitig die Download-VM und evtl eine andere... Zugriffe auf den FS sind NUR dann wenn ich auch mal was benötige. Also wenn ich mir ein Image oder sonstiges vom FS zu meinem PC holen möchte. Ansonsten müsste sich ja das RAID 6 langweilen, so schätze ich das zumindest.

Genaue Raid 6 Benchmarks kenne ich aber auch nicht. Die Leseperformance ist zwar gut, die Schreibperf. hingegen nicht soo gut.

 

[Sukrim]

Bei RAID im Heimbereich würde ich stark empfehlen sich mal FlexRAID - Rethinking storage data management anzuschauen - ist eher wie das System vom WHS(v1) aufgebaut mit zusätzlicher Paritätsberechung statt Duplizierung. Wenn dir also 2 Platten bei einer Parity-Platte abrauchen, sind nicht alle Daten weg, sondern nur die Daten von den beiden Platten. Bis 2012 sollte dann auch schon die final-Version da sein.

Moderne HDDs laufen eh schon fast am gBit LAN Limit, daher wird's oft schon schwer ein schnelles RAID im Netzwerk auszulasten. Wenn du die Datenraten also nicht 100%ig benötigst (für Videoschnitt oder so - selbst dann wirst du wohl eher auf lokalen Daten arbeiten vermutlich) solltest du dir diese JBOD-artigen Lösungen mal näher anschauen (es gibt z.B. auch unRAID oder grayhole für Linux).

Außerdem würde ich empfehlen, den WHS 2011 zu verwenden, da alleine die angenehmen Client-Backups schon einen gewissen Mehrwert bieten.

 

[dcdead]

Also , was ich mit Flexraid erlebt hab (Blick in den Bugtracker), würde ich das nicht empfehlen - unkontrollierte Abstürze, Dateien ließen sich nicht mehr löschen etc. - Das ganze bezieht sich meistens auf Flexraid-View, also das zusammenfassen des Storage.

Die Grundfunktionalität ist okay, aber da würde ich dann (habe ich momentan auch) Snapraid empfehlen - vor allem, da es open source ist.

 

[dv2130n]

Was bringt dir ECC RAM, wenn Intel das in den Desktop-Prozessoren sowieso nicht unterstützt?

das ist nicht richtig,
vielmehr kommt es auf den chipsatz an (und das board-bios)

core i3 läuft beispielsweise mit ECC UDimms zusammen mit 3400chipset
(aber nicht mit ECC RDimms)
dagegen läuft core i5 nicht mit ECC UDimms und 3400chipset,
aber auch nicht mit ECC Rdimms, weil er nämlich überhaupt nicht mit dem
3400 chipset läuft

das ist ja nun alles schon ein verdammt alter hut, warum das immer noch nicht richtig gewußt wird, selbst von leuten nicht, die so einiges an intel-zeug rumstehen haben, bleibt rätselhaft

 

[Sukrim]

Also , was ich mit Flexraid erlebt hab (Blick in den Bugtracker), würde ich das nicht empfehlen - unkontrollierte Abstürze, Dateien ließen sich nicht mehr löschen etc. - Das ganze bezieht sich meistens auf Flexraid-View, also das zusammenfassen des Storage.

Naja, wenigestens wird FlexRAID aktiv weiterentwickelt... Bei storage pooling schaut's sonst nämlich recht düster aus: mhddfs wurde schon ewig nicht mehr angefasst, Greyhole ist ein PHP(!) Skript das SAMBA logs auswertet(!!) und Liquesce schaut mir auch nicht gerade fertig aus. WHSv1 fällt dank Server 203 Unterbau auch aus und das war's dann auch schon so ziemlich von dem, was ich mir auf die Schnelle ergooglen konnte.

 

[Milchbubi]

ich möchte das schon über einen HBA Controller laufen lassen.
Software-Raids möchte ich nicht. Auch wenn die einen sagen: "Mittlerweile ist SW-Raid wirklich gut geworden und läuft ohne Probleme"

Ich würde noch sehr gerne ein paar Meinungen zu meinem Vorhaben wissen

 

[RockyBaby]

Wenn du die VM's von den physischen Rechnern trennen willst kannst du auch ein internes VM-Netzwerk aufbauen und eine virtuelle Router-VM verwenden um mit dem normalen Netz zu kommunizieren.

Sollte das zu technisch klingen kann ich auch ne Zeichnung machen

 

[Anarchist]

Wenn du die VM's von den physischen Rechnern trennen willst kannst du auch ein internes VM-Netzwerk aufbauen und eine virtuelle Router-VM verwenden um mit dem normalen Netz zu kommunizieren.

Sollte das zu technisch klingen kann ich auch ne Zeichnung machen

genau. so hab ich das auch und funktioniert bestens

 

[Milchbubi]

@RockyBaby:
ich habe schonmal was von VM-Switche gehört. Denke mal man kann dann auch solche VM-Router bauen...

Wenn du Lust und Zeit hast kannst du mir gerne eine Zeichnung anfertigen

Aber das geht dann wieder soweit ich weiß nur mit nem ESX(i)

 

[Anarchist]

@RockyBaby:
ich habe schonmal was von VM-Switche gehört. Denke mal man kann dann auch solche VM-Router bauen...

Wenn du Lust und Zeit hast kannst du mir gerne eine Zeichnung anfertigen

Aber das geht dann wieder soweit ich weiß nur mit nem ESX(i)

Ist auch mit VMware Workstation o. HyperV umsetzbar.
Brauchst nur ne VM basteln, z.b. Debian mit 2 Netzwerkkarten, die eine zeigt ins Hauptnetz, die andere ins Testnetz + Routing.

 

[Sukrim]

Software-Raids möchte ich nicht.

Wieso möchtest du überhaupt RAID? Gegen Ausfälle schützt das bekanntlich nicht, nur gegen Ausfallzeiten...

Statt in einen RAID-Controller würde ich ja eher in Backupplatten investieren. Wie du ja schon erkannt hast, verliert man auch bei einem RAID sämtliche ungesicherte Daten, wenn mehr als die Parityplatten abrauchen.

 

[RockyBaby]

Bei mir sieht das ganze so aus.

Als System für die Router-VM nutze ich Smoothwall. Das ist recht einfach zu installieren und bietet eine Weboberfläche zur Konfiguration.

 

[Milchbubi]

- RAID um einmal ALLE meine Daten zentral abgelagert zu haben.
- um eine sichere (100%ige Sicherheit ist damit zwar nicht gegeben) Lösung zu haben
=> wenn mir eine 2 TB Platte ohne Raid hardwaremäßig ausfällt ist ALLES auf der Platte weg. So können bis 2 HDD'S ausfallen.
- damit auf meinem 24/7 Haupt-PC nicht ständig die Platten sinnlos mitlaufen (Lärm), auch wenn diese nur wenig benutzt werden. Der PC hat schon ne WaKü damit man bei 24/7 besser schlafen kann. Hohes CPU-OC wird dank WaKü auch gemacht

Natürlich könnte ich auch ein Raid 0 machen, das ich dann via Netzwerk auf einen anderen PC mit den selben Platten das Mirroring macht.
Dennoch müsste ich hier die Anzahl x HDD'S doppelt kaufen.

Müsste dann ähnlich wie Raid 0+1 sein

Meine wichtigsten Dateien sichere ich noch auf externe HDD's, so habe ich dann weitaus mehr wie dreiviertel meiner wichtigen Daten abgedeckt, was mir reicht.

 

[Sukrim]

Du kaufst 5 Platten + Controller von denen du nur 3 verwendest statt 6 Platten, von denen du die 3 genutzten regelmäßig auf die 3 anderen sichern könntest? Wenn du Backups hast, können dann bis zu 3 Platten in deinem Server ausfallen. Die bei weitem häufigste Ursache für Datenverlust sind übrigens Softwarefehler und genau davor schützt RAID nicht.

Übrigens rennen dann bei deinem RAID auch immer alle Platten, da die Daten verteilt sind statt nur auf einer Platte zu liegen - höherer Stromverbrauch, falls die Platten auch in den Sleep gehen höherer Verschleiß und natürlich auch mehr Wärme + "Lärm".

RAID0 ist striping btw., ich nehme an, du meinst eher RAID1 (mirroring).

 

[RockyBaby]

Für ESXi würde ich dringend empfehlen ein Raid10 zu verwenden. Der Flaschenhals ist hier grundsätzlich die Festplattenperformance.

Außerdem sollte ein externes Backup verwendet werden um die VMs zu sichern.

 

[Milchbubi]

Hm die Idee hat was Sukrim...
Ich hab das mal in ner Excel Tabelle durchgerechnet; hier sind einmal die Platten und einmal die Platten samt Controller durchgerechnet.


Ich wüsste dann nur nicht so ganz wie ich das machen würde.

Einmal hätte ich dann die normalen PLatten und einmal das exakte Gegenstück, sprich die Backup-Platten.
Was ich aber nicht möchte, ist, dass dann 4 HDD's jeweils 4 Buchstaben haben, sondern sollen als ein (zusammengeführtes) Volumen deklariert werden.

Ähnlich wie einem Raid 0, nur dass wenn eine HDD ausfällt, nicht gleich alles zunichte geht. Weil wenn eine vom Backup und eine richtige ausfällt wäre dann eh alles weg.

"Backuppen" würde ich das dann mit der Software Toucan. Hier würde ich nen Job erstellen (Batch mit Programm und Programmparameter + jobname), der mit dem Taskplaner bzw. Geplante Tasks alle x Stunden einen Vergleich durchführt und die Daten quasi abgleicht.

EDIT:
Wobei...
Das wäre ja auch mist, wenn einmal sagen wir HDD2 ausfällt und Backup-HDD2 ausfällt, somit wären dann alle Daten von HDD 2 weg

 

[NiclasM]

Von wegen Backup und RAID :

Mach ein RAID6, und nimm eine Platte für die wirklich wichtigen Daten.
Darauf machst du Backups deiner wichtigen daten, die nicht weg sein dürfen. P0rn , Film Rips und sowas, ist ja nicht so wichtig...

RAID ist wirklich nur für Verfügbarkeit und ersetzt kein Backup, wobei die meisten User nur Verfügbarkeit haben möchten und kein Backup!

 

[debauer]

Wenn du Fileserver + einige VMs haben möchtest. dann ist ESXI echt beschissen. Denn dann sind alle daten in VM images verpackt...

Ich habe ein Debian 6 hauptsystem in dem Samba läuft.
Dazu dann KVM mit meinen VMs. So bedient das Hauptsystem komplett den Storage aspekt. Man ist so flexibel wie mit jedem andern Linux System.

Sowas wie Vswitche sind auch kein problem. Das geht wunderbar per bridges im Hauptlinux.

Einziger nachteil: es ist nicht mit rumklicken getan. Wobei man nur bei der netzwerkconfig etwas machen muss, der rest geht direkt mit VirtManager

 

[PhreakShow]

ESXi taugt wunderbar zur Virtualisierung eines Fileservers, mit Passthrough für den Raidcontroller. Den Controller "sieht" dann nur eine VM, beispielsweise dein 2008 R2.
Dann kannst du auf deiner SSD den ESXi aufsetzen und einen Datenspeicher für deine Haupt-VM(s).
Im Fileserver-OS selbst könntest du ein iSCSI-Target erstellen (von MS kostenlos für alle Serverversion iirc) und dort weitere VMs zum Spielen ablegen.

Ist ne runde Sache, läuft hier wunderbar und wird demnächst Daten per InfiniBand verteilen, weil 1Gbit Ethernet einfach zu lahm ist.

 

[debauer]

ja und auch einzelne ports? das geht nur wenn nur storage platten am controller hängen.
hab am Onbord SAS eben ne VM Storage (4 SAS platten) und ein Datenarray hängen. Die andern Datenplatten hängen am onboard SATA, an dem eben auch die Systemplatten hängen.

Das geht nich mit ESXI passthrough geht auch wunderbar mit KVM

 

[jdl]

das ist nicht richtig,
vielmehr kommt es auf den chipsatz an (und das board-bios)

core i3 läuft beispielsweise mit ECC UDimms zusammen mit 3400chipset
(aber nicht mit ECC RDimms)
dagegen läuft core i5 nicht mit ECC UDimms und 3400chipset,
aber auch nicht mit ECC Rdimms, weil er nämlich überhaupt nicht mit dem
3400 chipset läuft

Das kann so nicht stimmen. HP hat Workstations mit PCH 3450 Chipsatz verkauft und die Kombination i5/i7 QuadCore mit nonECC-UDIMMs angeboten. Aktuell gibt es noch ein ASUS Board mit PCH 3450, das diese Kombination unterstützt. Die HP z200 laufen aus und werden durch die z210 ersetzt (Sandy Bridge basiert mit PCH 206).

Beim aktuellen PCH 206 mit den Sandy Bridge CPUs gibt es wieder die Kombination: i3 oder Xeon E3 unterstützen ECC-UDIMM, i5/i7 laufen nur mit nonECC-UDIMM.