VM Host mit ZFS - Wie viel RAM?

[megatron23]

Moin ,

Folgendes habe ich geplant:

ESXi Host - darunter:

• Storage VM
• 1-2 weitere kleine Maschinen

Für den Storage wollte ich ZFS im RAIDZ1/2 und (sofern möglich) eine Verschlüsselung benutzen. Das ganze vermutlich unter NAS4Free.
Geplant sind am Anfang 5 x 3TB WD Red. Also ein netto Speicher von 12TB.

Wie sieht es nun mit dem RAM aus? Die Faustregel war ja immer 1GB RAM für 1TB Speicher.
Also in dem Fall schon 15GB für die VM. Dazu braucht das System ja auch noch was, rechne ich mal mit 17GB.
4GB braucht ESXi angeblich (zumindest als Minimum für die Installation).
Bei den anderen Maschinen rechne ich mal mit 6GB.

Zusammenfassung:

• 4GB - ESXi Host
• 15GB - ZFS Platten
• 2GB - NAS VM
• 6GB - andere Maschinen

Alles in allem also überschlagen schon 27GB RAM.
Sobald der Speicher aber die 20TB überschreitet (ich überlege halt zukunftsorientiert) wird es mit dem RAM ja knapp.
Also schon jetzt eher in ein 2011er Sockel mit 8 Speicherbänken investieren?
Meine erste Überlegung lag bis jetzt bei einem 1150er Board mit Xeon E3-1230v3.

Ist die Rechnung komplett übertrieben oder wie seht Ihr das?
Danke für Eure Antworten!

Gruß,
megatron

 

[the_pi_man]

Ob 1 GB Ram für 1 TB ZFS ausreicht ist immer davon abhängig wie groß die Belastung des ZFS-Volumes ist. 32 GB sollten auch wenn das ZFS noch etwas wächst reichen. Planst du natürlich mal in Zukunft 50 oder noch mehr TB als ZFS ein, wirst du mit einem Sockel 2011 wohl besser aufgehoben sein.

 

[megatron23]

Danke für deine Antwort.

Nun ja, ab und zu mal nen Film gucken (evtl. auch 2-3 Clients gleichzeitig) und nen paar Sachen hin und her kopieren. Aber das belastet ja nun nicht wirklich.
Also wird es dann wohl ein 1150 mit erst mal 16GB RAM bei 5 x 3TB im RAIDZ1.
Wenn mehr Platten dazu kommen, ist es möglich einfach auf ein RAIDZ2 zu wechseln?

 

[GrafikTreiber]

Immer wieder dieser 1TB=1GB Ram Blödsinn, alle paar Tage liest man es wieder. Ein Idiot schreibt es, zehn weitere plappern es nach. Das sind irgendwelche Pi*Daumen Angaben für Dedup die auch nur bedingt der Realität entsprechen, eine Deduptabelle für 1TB Daten kann nämlich auch gerne mal 5GB groß sein oder auch nur 300MB.

Du kannst auch ein 100TB Volume mit 8GB Ram problemfrei nutzen. Ich empfehle für einen ZFS-Fileserver immer mindestens 4GB Ram, alles da drunter ist recht wenig, es geht, aber bei vielen Aufbauten merkt man dann schon einen geringen Performance-Verlust zu 4GB-Ram, ist einfach meine Erfahrung nach ein paar kurzen Tests.
Mehr als 4GB Ram, z.B. 32GB Ram kann je nach Aufbau auch einiges an Performance bringen. Aber nicht bei einem Homeserver, da bringt das reichlich wenig, da es sich dort meist um wenige sehr große Dateien handelt, sprich Filme und ähnliches. Wenn du den Ram also hast und der Anwendungszweck Homeserver heißt, spendiere ihm 8GB oder mehr, wenn du knapp bist müssen 4GB reichen.
Mehr Ram bedeutet einfach mehr Cache und dadurch für bestimmte Operationen mehr Performance, mehr auch nicht.

Es ist nicht möglich ein Z1 auf ein Z2 zu erweitern. So etwas wäre unprofessioneller Bastelkrams und so etwas hat man sich für ein Dateisystem das für professionelle Anwender mit großen Datenmengen gedacht ist von vorn herein nicht vorgestellt.
Bevor hier jemand mit "HW-Raid-Contoller XYZ kann das aber!!!!11einself" kommt sage ich vorweg: Nur weil der Controller es kann, heißt es nicht dass man das im professionellen Umfeld jemals so machen würde. Wer dies tut ist sich entweder nicht über die Risiken bewusst, hat sehr lange Maintenance-Windows die einem solch risikohafte Dinge erlauben, oder einfach nur ein Instant-Backup-Konzept.

Wenn du eine Storage-VM machst, dann am besten direkt mit einem offenen Solaris, das hat "das beste ZFS" mit "dem besten SMB-Server", z.B. omniOS mit oder ohne napp-it.
Wenn du Verschlüsseln willst ist Solaris aber leider nichts und du solltest du ZFSonLinux oder FreeBSD greifen, einfach aus Performancegründen.

All diese Fragen werden in jedem zweiten oder dritten ZFS-Thread gefragt und auch auch wieder beantwortet. Bisher ist dieser Thread also leicht überflüssig.

WD Red haben hohe RMA-Raten und sind daher nicht zu empfehlen, kannst du auch in jedem dritten oder vierten Thread lesen. Ich würde dir zu einer HGST Deskstar NAS 4TB 7200rpm (unter Vorbehalt weil Langzeit-Erfahrung fehlt) oder wenn mehr Performance gefragt ist HGST Deskstar 7K4000 4TB raten, diese Platte hat sich bewährt und ist meiner Meinung nach die beste Non-Enterprise SATA-HDD am Markt für Fileserver.

 

[megatron23]

Na dann brauch ich mir ja um den RAM erst mal keine weiteren Sorgen machen.

Es ist nicht möglich ein Z1 auf ein Z2 zu erweitern.

Also besser direkt ein RAIDZ2 wenn ich vorhabe mehr als 5 Platten zu verwenden? Das erweitern (weitere Platte rein) bzw. "erhöhen" der Kapazitäten (bspw. 3TB Platten auf 4TB) soll ja wohl ohne weitere Probleme gehen, richtig?

WD Red haben hohe RMA-Raten und sind daher nicht zu empfehlen

Das habe ich auch schon öfter gelesen. Habe allerdings schon vier Stück aus Fertig-NAS Zeiten und würde die ungern "wegschmeißen".
Aber ich kann das RAID ja dann mit den Deskstar (oder anderen empfohlenen) Platten erweitern. Danke für den Tipp.

Über omniOS mit napp-it werd ich mir mal belesen. Wichtig wäre mir da die Möglichkeit der TimeMachine-Sicherung.
Zur Verschlüsselung eines ZFS-RAIDs habe ich bisher auch widersprüchliche Meinungen gehört. Wie sieht es damit aus?

Gibt es noch eine Empfehlung zum E3-1230v3 zum Mainboard? Wollte mir ein Supermicro besorgen, dazu noch 1-2 IBM ServeRAID M1015.

 

[OpamitKruecke]

Der t20 Mini server von dell ist schick (wenn dir die HDD Plätze reichen)

 

[automatenraum]

Ich habe bei mir 8 WD RED verbaut, diese kamen aus verschiedenen Bestellungen bei verschiedenen Distributoren und zu verschiedenen Zeitpunkten. Insgesamt waren davon 3 Platten fehlerhaft. Ich habe vor Inbetriebnahme alle Platten getestet und sie waren quasi DOA, das heisst direkt bei den ersten Tests die meist über zwei bis drei Tage liefen kamen die Fehler. Platten über Anbieter nicht Hersteller getauscht, ging problemlos. Ersatzplatten waren dann bei den Tests in Ordnung, seit 1 1/2 Jahren verrichten die jetzt andstandslos ihren Dienst ohne irgendwelche Fehler oder Ausfälle.

Und zum Schluss, wie immer: an Backup denken, RAID ersetzt kein Backup!!!

 

[megatron23]

Der t20 Mini server von dell ist schick (wenn dir die HDD Plätze reichen)

Reichen mir nicht. Die 4 Plätze sind u.a. der Grund warum ich nun was neues suche

Wird vermutlich ein Inter-Tech IPC 2U-2308L bzw. IPC 3U-3316L. Das sollte dann erst mal reichen. Chenbro oder Supermicro Gehäuse sind mir ehrlich gesagt zu teuer.

 

[automatenraum]

Ich habe mir ein Chenbro geholt und es nicht bereut, aber das muss jeder selbst entscheiden, ich kenne die Inter-Tech nicht, aber ich denke die sollten von der Verarbeitung für einen Homeserver ausreichend sein. Entscheidungskriterium bei mir war die Backplane, daher wollte ich unbedingt Supermicro oder Chenbro. Beide Marken sind top von der Verarbeitung.

 

[megatron23]

Jap, Backup ist auch in Planung aber nicht in nächster Zeit. Hardware hätte ich aber noch übrig.
Ich hoffe die Backplane vom Inter-Tech hält ne weile

 

[phlowx]

Na dann brauch ich mir ja um den RAM erst mal keine weiteren Sorgen machen.
Also besser direkt ein RAIDZ2 wenn ich vorhabe mehr als 5 Platten zu verwenden? Das erweitern (weitere Platte rein) bzw. "erhöhen" der Kapazitäten (bspw. 3TB Platten auf 4TB) soll ja wohl ohne weitere Probleme gehen, richtig?

Aus Performance und Speicherplatzgründen sollte die Anzahl der Platten pro VDEV ^2 + Parität entsprechen:

RAIDZ1: 3, 5, 9 Platten
RAIDZ2: 4, 6, 10 Platten
RAIDZ3: 5, 7, 11 Platten

Man kann ein VDEV nicht durch zusätzliche Platten erweitern. Entweder tauscht man die vorhandenen Platten durch größere aus, oder erweitert den Pool durch hinzufügen eines weiteren VDEVs.

 

[megatron23]

Achso, das heißt schlau wäre es so:
5 HDD im RAIDZ1 in Pool 1
wenn später mehr gebraucht wird, wird ein neues RAIDZ mit 5 Platten in Pool 1 eingebunden.

Denn ein RAIDZ3 mit 5 Platten halte ich dann für etwas übertrieben. Gerade wenn später noch ein Backup dazu kommt. Redundanz schön und gut, aber wenn der Server mal für ein paar Tage offline sein sollte...

Kann ich denn auch zu einem bestehenden RAIDZ im Pool einzelne Platten hinzufügen? Kann mir das theoretisch nicht vorstellen...

 

[phlowx]

Nein, ein RAIDZ-VDEV kann nicht erweitert werden.

 

[megatron23]

Spricht was gegen ein Pool aus 3 vdevs? Also 3 x (5 x 3TB)?

 

[GrafikTreiber]

Dagegen spricht das du ein Problem hast sollte eines dieser Vdevs ausfallen.
Für einen Homeserver halte ich persönlich nichts von Pools mit mehreren Vdevs und verwende daher Z3s aus 11 Festplatten, für mich der optimale Mix aus Kosten und Ausfallwahrscheinlichkeit.

 

[megatron23]

Bevor ich mich hier verlaufe, mit mehreren Pools habe ich auch mehrere "virtuelle" Festplatten.
Bei der 1 Pool - 3 vdevs-Variante müsste ein RAIDZ komplett ausfallen, richtig? Klar, ist ja stripped.

Das heißt ich muss mich bei mehreren Pools, bei der Speicherung von Daten, für einen Pool entscheiden.

Dann muss ich jetzt eigentlich nur noch entscheiden ob es vielleicht auch ein Tower anstatt 19"-Gehäuse tut

 

[gea]

Bevor ich mich hier verlaufe, mit mehreren Pools habe ich auch mehrere "virtuelle" Festplatten.

Klingt etwas konfus. Beides hat auch nichts miteinander zu tun.
Sehr hilfreich um die Funktion zu verstehen ist aber eine korrekte Benennung der Bestandteile von ZFS

-Pool
Alle Daten liegen in einem Pool. Der Pool kann in der Größe praktisch unbegrenzt wachsen.
Der englische Begriff "tank" als oft genutzter default-Name für einen Pool ist da selbsterklärend.

-vdev
Ein Pool besteht aus einem oder mehreren vdevs (virtuelle devices). Das ist eine einzelne Platte oder Datei oder ein Raid aus mehreren Platten oder Dateien. Vdevs können nicht durch Hinzufügen von Platten wachsen, man kann aber kleine Platten durch größere ersetzen. Die Größe des vdevs wächst damit.

- Dateisystem
Auf einem Pool lassen sich Dateisysteme anlegen. Das ist sowas wie eine Partition allerdings ohne festgelegte Größe. Die Verwaltung der nutzbaren Größe erfolgt mit Reservierungen und Quotas - nennt sich auch Speichervirtualisierung. Diese Dateisysteme werden als Ordner gemounted oder als Shares (NFS/SMB) freigegeben.

- Zvol
Ein zvol ist ein Blockdevice (eine virtuelle Festplatte). Die wird auf einem Dateisystem angelegt und verwendet wie eine Festplatte z.B. als LUN für iSCSI. Die Größe ist dynamisch änderbar.

 

[megatron23]

Ah okay, danke für die Zusammenfassung

Meine letzte Frage:
Wenn ich ein Mainboard mit 4 SATA3 Anschlüssen hole, kann ich einen Controller im "Inter-Tech IPC 2U-2312L" mit einem Reverse SFF8087 zu 4x SATA-Kabel ansteuern?
Damit ich dann, mit einem IBM M1015, die 12 Platten benutzen kann?

 

[hominidae]

...Du meinst eine Backplane im Inter-Tech
Ja, mit einem Reverse-Breakout cable geht das...es müssen aber nicht zwingend S-ATA3 sein..oder auch nicht alle S-ATA2.
Es wäre aber die Frage, ob Du diese 4 Ports an eine VM durchreichen willst...das geht nicht mit jedem Board....on-board Controller aus dem Chipsatz durchreichen, meine ich.

 

[megatron23]

Ja genau, das durchreichen hatte ich eigentlich vor. Bspw. mit einem Supermicro X10SLM-F. Gibt's eine Möglichkeit rauszufinden mit welchem Controller das funktioniert?

 

[hominidae]

Also mMn nur wenn es schonmal jemand probiert hat
In der Regel wirst Du auch nicht einzelne Ports durchreichen können, sondern nur ganze Controller...zumindest kenne ich das Feature nicht von Intel- sondern nur von AMD-Chipsätzen.
Das Supermicro | Products | Motherboards | Xeon® Boards | X10SL7-F hat einen LSI 8-Port extra an Bord und
den kann man durchreichen....ist als Board mit LSI günstiger als die Teile einzeln kaufen.

 

[megatron23]

Das Board ist mir auch schon in die Quere gekommen
Das sind ja 8 einzelne SAS Ports, wie bekomme ich die denn an die Backplane?

 

[hominidae]

Du meinst den LSI? Das sind 2x4stck SAS Ports schon mit S-ATA Connector -> mit 2x Reverse-Breakout Kabeln (4xS-ATA auf 1xSFF8087) and die Backplanes.

 

[megatron23]

Genau den meinte ich . Danke für deine Hilfe!
Wird dann also vermutlich folgendes Setup:

• Mainboard: Supermicro X10SL7-F
• CPU: Xeon E3-1230v3
• RAM: Kingston ValueRAM 2x8GB (KVR16E11/8)
• Netzteil: Such ich mir noch raus
• Gehäuse: Inter-Tech IPC 2U-2312L
• Controller: IBM ServeRAID M1015 (sobald ich ihn brauche)

Evtl. auch ein 16er Gehäuse, ich überleg noch wie viel ich brauchen werde und welche RAID-Kombinationen ich fabrizieren will

Gibt es noch Verbesserungsvorschläge (Außer mehr RAM bei steigender HDD-Anzahl)?

 

[gea]

Gibt es noch Verbesserungsvorschläge (Außer mehr RAM bei steigender HDD-Anzahl)?

RAM-Bedarf hat nichts mit der Anzahl der Platten oder der Kapazität zu tun.
RAM braucht man als Lesecache zur Beschleunigung der Storage-VM oder eben als Arbeitsspeicher für weitere VMs.

 

[GrafikTreiber]

Meine Vorlage für HomeServer-Empfehlungen in einer Geizhals-Wunschliste http://geizhals.de/?cat=WL-273085 :

Spoiler

1 x Crucial M550 128GB, 2.5", SATA 6Gb/s (CT128M550SSD1)
3 x DeLOCK SATA-Stromadapter 15-Pin (SATA) auf 2x 4-Pin (IDE), Y-Kabel (65159)
4 x LSI 3ware mini SAS x4 (SFF-8087) Kabel, 0.6m (CBL-SFF8087-06M)
2 x LSI 3ware 4x SATA auf mini SAS x4 (SFF-8087) Kabel, 0.6m (CBL-SFF8087OCR-06M)
1 x Intel Xeon E3-1220 v3, 4x 3.10GHz, Sockel-1150, boxed (BX80646E31220V3)
2 x Kingston ValueRAM DIMM 8GB, DDR3-1600, CL11, ECC (KVR16E11/8)
2 x IBM ServeRAID M1015, PCIe 2.0 x8 (90Y4556)
1 x Supermicro X10SL7-F retail (MBD-X10SL7-F-O)
2 x be quiet! Silent Wings 2 80mm (BL060)
3 x be quiet! Silent Wings 2 120mm (BL062)
1 x Noctua NH-U9B SE2
1 x Inter-Tech 4U-4324L, 4HE
1 x Inter-Tech 120mm Lüfterblende, nicht bei Geizhals gelistet, gibt es z.B. hier http://www.computeruniverse.net/products/90466886/inter-tech-luefterblende.asp
1 x RaidSonic Icy Box IB-2531StS, PCI-Slotblende für 2.5" Festplatte (25351)
1 x be quiet! Dark Power Pro 10 550W ATX 2.31 (P10-550W/BN200)

Ich persönlich würde dir direkt zum 4HE 24-Slot Gehäuse raten, der Aufpreis ist gering und du hast für die Zukunft so alle Optionen offen. Außerdem bekommst du in 2HE kein normales Netzteil vernünftig unter, es sind spezielle Kühler nötig, und die Lüfter sind aufgrund ihrer Größe auch nicht gerade die leisesten.

Von einem Raid-Z1 würde ich abgesehen, mir wäre die Ausfallwahrscheinlichkeit viel zu hoch. Ich habe bereits ein HW-Raid6 ausfallen sehen sowie ein Z2 mit 8 HDDs, beides mal weil eine HDD defekt gewesen ist und beim Rebuild sich gleich zwei weitere mit verabschiedet haben. Siehe dazu unten den Link, da hast du dann eine Formel zum rumspielen.

Außerdem würde ich dir empfehlen einfach mal folgende Threads komplett durchzulesen (bis auf den Stammtisch), denn all deine bisherigen Fragen werden hier alle paar Wochen neu gestellt, müssen ja nicht immer alles neu besprechen.


ZFS Stammtisch Post #2437 (Optimale Festplattenaufteilung im RaidZ und Ausfallwahrscheinlichkeit)
http://www.hardwareluxx.de/community/f101/medienserver-932622.html ( Am Ende des Threads ganz aktuelle Hardware )
http://www.hardwareluxx.de/community/f101/datengrab-mit-multimedialem-mehrwert-934234.html
http://www.hardwareluxx.de/community/f101/groesseres-storage-geplant-40-tb-972569.html
http://www.hardwareluxx.de/communit...dienserver-auf-basis-von-freenas-1005047.html
http://www.hardwareluxx.de/community/f101/norco-rpc-4224-aka-inter-tech-ipc-4u-4324l-889631.html
http://www.hardwareluxx.de/community/f101/neuer-fileserver-welches-netzteil-971312.html (Staggered Spinup)
http://www.hardwareluxx.de/community/f101/homeserver-upgrade-928660.html
http://www.hardwareluxx.de/community/f101/nas-mit-8-12-festplatten-brauche-hilfe-925448.html

 

[megatron23]

Uff jetzt bin ich die ganze Zeit am hin und her überlegen ob 16er oder 24er Gehäuse. Dachte mir ich könnte einige Slots des 24ers ja für einen, in ferner Zukunft, geplanten Backupserver benutzen.
Der Austausch der 80er also nur wegen der Lautstärke?
Die 120er kann man am Anfang bestimmt erst mal vernachlässigen, sofern nicht so viele Slots belegt sind, oder?

 

[GrafikTreiber]

Die mitgelieferten Lüfter taugen nichts und gehören in den Elektroschrott. 120mm Lüfter sind wirtschaftlicher als 80mm Lüfter, die Blende kostet nur 10€.
Wenn dir die Silent Wings zu teuer sind kannst du auch günstigere Lüfter wie z.B. die Scythe Glide Stream 120 600rpm (SY1225HB12SL). Die haben ein schlechteres Lager und halten nicht unbedingt so lang, von der Lautstärke nehmen sie sich aber nichts.

Für einen ordentlichen Luftstrom sollten alle Lüfterslots belegt sein, außerdem muss man so nicht später herumbasteln sondern nur noch Festplatten nach stecken und gut ist. Spar hier nicht am falschen Ende.
Ich hatte quasi noch nie defekte Silent Wings wegen des FDB-Lagers. Andere Lüfter mit schlechteren Lagern fangen oft im Dauerbetrieb nach einer Weile an zu klackern oder machen sonstige Probleme. Natürlich kannst du auch irgendeinen anderen Hersteller wählen, hauptsache etwas hochwertiges und langlebiges mit FDB-Lager. Die Lüfter kosten aber alle 10€ aufwärts.

 

[hominidae]

...Backup-Server als VM ins gleiche Gehäuse? ...lege nicht alle Eier in das selbe Nest

 

[megatron23]

Ach, die 120er als Ersatz zu den 4 80ern hinter den Einschüben oder? Hab mich die ganze Zeit gefragt wo die hin sollen
Dann wohl das 24er. Was hältst du eigentlich von der Idee einen Backupserver als VM zu benutzen bzw. am gleichen System? Würde die kosten eines weiteren Systems sparen.

Schon mal ein riesen Danke für deine Hilfe und kompetenten Antworten!

...Backup-Server als VM ins gleiche Gehäuse? ...lege nicht alle Eier in das selbe Nest

Geplant war nur die Backplanes zu benutzen und dazu ein zusätzliches Gehäuse. Aber was spricht dagegen wenn sonst nicht viel läuft?