Das ist ein Storage für gleich 2 ESXi über Fibre Channel, und man setzt keine ESXi ein, wenn man nur einen kleinen Server virtualisiert, sondern schon ein wenig mehr. Dass das erste Gebot viele viele viele Spindeln heißt sollte sowieso klar sein, daraus dann möglichst viele vdev und wenn es geht mirrors machen. Ich hätte an seiner Stelle lieber 9x 500GB HDDs als 4x mirror + spare eingesetzt, aber jetzt hat er halt schon die 2TB HDDs. Seit Jahren erhöht sich die Speicherkapazität der HDDs massiv, aber die Anzahl der IOPS stagniert fast und das führt zu diesem groben Missverhältnis, Viele Leute denken nur an die Kapazität der Platten, ohne die dazugehörige Anzahl an Zugriffen zu berücksichtigen. In der jetzigen Konstellation (1x raidz) hat er genauso viele IOPS auf die gesamten HDDs zusammen, wie auf eine einzelne Platte, dann könnte ich ja auch gleich mein Notebook als Storage für die 2 ESXi mit vielleicht je 10-30 VMs verwenden, brauche aber dann definitiv kein Fibre Channel.
Sync abschalten kann zu Datenverlust führen, das wäre mir zu heiß und mit seinen 2 SSDs glaube ich kaum dass der L2ARC zu klein wird, ich muss das slog ja nicht wahnsinnig groß machen, das Max. liegt sowieso bei 1/2 RAM-Größe (also mirror aus 2x 4GB).
van_haakonnen
Neuling
- Mitglied seit
- 18.02.2006
- Beiträge
- 45
Viele Spindeln waren leider erstmal nicht zu realisieren - die vier Platten sollen aber erstmal auch nur eine Übergangslösung sein. In Zukunft werden wahrscheinlich zumindest 8 Platten (ggf. auch 10) Platten drin sein. Die Daten werde ich dann migrieren. Wie wäre denn dann die beste Konstellation? Möglichst viele vdevs würde bedeuten: 5x2 Platten im mirror (50% Verlust der Kapazität) und die dann zusammenbauen zu einem Pool? Oder alternativ 3x3 im RaidZ mit einer Spare?
Zuletzt bearbeitet:
Ich bin auch am überlegen welche Konstellation ich fahren soll.
Momentan laufen bei mir 4x 2TB 5K3000 Hitachis im RaidZ1. Ich habe jetzt noch eine 2TB HD204UI Samsung zu verfügung. Soll ich dieses als Spare nutzen oder zum Pool der Hitachis hinzufügen und das Ganze als RaidZ2 oder mirror fahren? Bitte um Tipp welche die beste Lösung in meinem Fall wäre.
= ist ein Fileserver.
Momentan laufen bei mir 4x 2TB 5K3000 Hitachis im RaidZ1. Ich habe jetzt noch eine 2TB HD204UI Samsung zu verfügung. Soll ich dieses als Spare nutzen oder zum Pool der Hitachis hinzufügen und das Ganze als RaidZ2 oder mirror fahren? Bitte um Tipp welche die beste Lösung in meinem Fall wäre.
= ist ein Fileserver.
Zuletzt bearbeitet:
Hängt von deinem Grad an Paranoia ab. Ich würde IMMER eine HDD als spare verwenden. Wegen der IOPS sind bei mir, außer evtl. in einem ausgesprochenen Backup-Server, immer mirrors angesagt. Wenn du dir dann vor Augen hältst, dass du vielleicht erst nach einigen Tagen den Defekt bemerkst (ohne hotspare) ein rebuilt einer 2TB Platte im laufenden Betrieb u.U. einen oder zwei Tage dauert, in denen keine Redundanz vorliegt UND dazu noch die einzige Platte, die noch die nötigen Daten enthält, besonders stark gestresst wird .....
In meinem weiter oben genannten Link ist eine Seite mit Faustregeln zum Aufbau von Pools dabei: spätestens ab 2TB-Platten 2-fach Redundanz. Man erspart sich jede Menge Bauchschmerzen und evtl. auch die spare, wenn man die defekte Platte schnell austauschen kann.
Ein 3x3x2TB raidz bringt dir 12TB bei einfacher Redundanz und den IOPS von nur 3 Platten (z.B SAS ca. 3x200 IOPS), für mich stimmen da die Verhältnisse nicht, wenn dann vielleicht 30 sich nicht nur langweilende virtuelle Server drauf zugreifen.
Als Datengrab völlig OK, aber als VMFS für 2 ESXi?
Zuletzt bearbeitet:
antilope114
Enthusiast
1 vdev mit 2 mirrors wäre performancemäßig definitiv besser, die Samsung kannst du dann als Spare hinzufügen.
Zuletzt bearbeitet:
Danke zunächst mal für die Antwort.
Meinst du so? (vorerst ohne spare)
Yep, so ist's am günstigsten.
Gruß
Ron
antilope114
Enthusiast
Genau. Quasi Raid 10. Verglichen mit RaidZ1 hast du so theoretisch doppelte Schreibperformance und 4x so hohe Leseperformance.
vanquish
Enthusiast
- Mitglied seit
- 10.01.2008
- Beiträge
- 23
raidz 3,5,9 --> 64 KiB, 32 KiB, 16 KiB
raidz2 6,10 --> 32 KiB, 16 KiB
Grundsätzlich ist jedes ganzzahlige Ergebnis aus 128 KiB / x performancetechnisch sinnvoll. Alles andere, z. B. raidz mit vier Platten (~43 KiB, 128/4-1), ist nicht zu empfehlen!
Ein Mirror ist potentiell immer langsamer. Er kann ja theoretisch nur das erreichen was eine einzelne Platte zu leisten vermag. Deine Konfiguration aus 2x2 sollte, wie Du richtig bemerkt hast, aber definitv schneller als ein Raidz aus vier Platten sein.
Der Fehler liegt hier in deinem Benchmark (Size: 7,25 vs. 3,62). Ich denke, dass bei dem Mirror-Benchmark einfach der zweite Mirror vergessen wurde!? Da ich den Benchmark nicht kenne kann ich hier leider nicht mehr weiter helfen.
raidz2 6,10 --> 32 KiB, 16 KiB
Grundsätzlich ist jedes ganzzahlige Ergebnis aus 128 KiB / x performancetechnisch sinnvoll. Alles andere, z. B. raidz mit vier Platten (~43 KiB, 128/4-1), ist nicht zu empfehlen!
Ein Mirror ist potentiell immer langsamer. Er kann ja theoretisch nur das erreichen was eine einzelne Platte zu leisten vermag. Deine Konfiguration aus 2x2 sollte, wie Du richtig bemerkt hast, aber definitv schneller als ein Raidz aus vier Platten sein.
Der Fehler liegt hier in deinem Benchmark (Size: 7,25 vs. 3,62). Ich denke, dass bei dem Mirror-Benchmark einfach der zweite Mirror vergessen wurde!? Da ich den Benchmark nicht kenne kann ich hier leider nicht mehr weiter helfen.
Zuletzt bearbeitet:
Hmm...bin jetzt von RaidZ1 auf 2x mirror gewechselt. Ich würde sagen, Schreib-/Leseperformance hat sich eher verschlechtert.
Kennst du einen Fileserver, der eine große Datei nach der anderen auf den Datenspeicher schreibt und nie hin und her springt bzw. auch kleine Dateien speichert???
Solch' ein Verhalten kenne ich wenn dann nur von Backup-Servern. Du hast den einzigen Benchmark verwendet, bei dem raidz u.U. besser abschneidet als mirror.
Sequenzielles Lesen und Schreiben bedeutet: immer am Streifen große Datenmengen verarbeiten. Schau' dir mal ein Wiki dazu an.
Gruß
Ron
van_haakonnen
Neuling
- Mitglied seit
- 18.02.2006
- Beiträge
- 45
@vanquish
Wie würde ich in dem Fall denn dann z.B. 8 Platten am sinnvollsten aufteilen? Hier würde ja weder ein RaidZ1 noch ein RaidZ2 in Frage kommen...
Hat jemand von euch mal probiert einen Pool nur aus SSDs aufzubauen? Wie würde z.B. ein ZFS RAIDz1 mit 5 SSDs von der Performance stehen bzw. was brauche ich für einen Prozessor um dieses Raid überhaupt mit fullspeed zu befeuern?
Wie würde ich in dem Fall denn dann z.B. 8 Platten am sinnvollsten aufteilen? Hier würde ja weder ein RaidZ1 noch ein RaidZ2 in Frage kommen...
Hat jemand von euch mal probiert einen Pool nur aus SSDs aufzubauen? Wie würde z.B. ein ZFS RAIDz1 mit 5 SSDs von der Performance stehen bzw. was brauche ich für einen Prozessor um dieses Raid überhaupt mit fullspeed zu befeuern?
Zuletzt bearbeitet:
Hier liegt die Betonung auf "EIN" Mirror ist potentiell immer langsamer. Daraus folgt 4x Mirror (+ spare), oder bei großen Platten gleich 3x 3-fach Mirror, kostet aber Speicherkapazität. Es hat aber wenig Sinn jetzt ungenutzte Speicherkapazität einzubauen, die auch noch Geschwindigkeit kostet, wenn man sie erst in einem Jahr benötigt, denn dann sind die Platten nur noch halb so teuer und dann kaufst du in einem Jahr einfach noch 3 Platten zum erweitern. Genau darin liegt ja auch ein Vorteil des ZFS, gute Skalierbarkeit.
Gruß
Ron
---------- Post added at 18:22 ---------- Previous post was at 18:18 ----------
Ja, gea betreibt solche Maschinen. Wäre wahrscheinlich eine gute Kombination aus vielen vielen IOPS und guter Speicherplatzausnutzung, aber erst recht teuer. SSDs nimmt man ja als L2ARC, um Geld zu sparen.
bluesunset
Semiprofi
Was die max. IOPS angeht, geht nichts über ein Raid0 oder ein Raid10. Im Falle von ZFS wäre das ein Pool mit lauter Mirror devs. Über alle vdevs wird bei ZFS ein Raid0 gelegt. Somit 4x Mirror.
Raidz(1-3) bringt keine Vorteile was verteiltest unabhängiges Schreiben bzw. Lesen anbelangt.
Das Limit in der Praxis liegt zur Zeit bei 1,x GByte/sec seq. bei einem PCIe Controller (SAS/SATA HBA) bzw. bei den SSD PCIe Steckkarten.
Raidz(1-3) bringt keine Vorteile was verteiltest unabhängiges Schreiben bzw. Lesen anbelangt.
Das Limit in der Praxis liegt zur Zeit bei 1,x GByte/sec seq. bei einem PCIe Controller (SAS/SATA HBA) bzw. bei den SSD PCIe Steckkarten.
Digi-Quick
Urgestein
- Mitglied seit
- 02.09.2009
- Beiträge
- 7.082
Wie kann ein Raid 1 schneller sein als ein Raid 5?
Raid 1= 1+n (Spiegel)
Schreibgeschwindigkeit Grundsätzlich 1 Fach, egal wie viele Spiegelplatten dahinterhängen
Lesegeschwindigkeit idealerweise (1+n)Fach sofern der Controller das paralelle Lesen unterstützt, was gerade bei den billigen (auch bei On-Board-) Controllern nicht immer gegeben ist, da wird oft genug nur von der "Master"Platte gelesen.
Raid5 =n-1
Idealerweise!
Schreibgeschwindigkeit = (n-1)Fach
Lesegeschwindigkeit = n-Fach
Tatsächlich!
Schreibgeschwindigkeit = (n-1) Fach abzüglich des Overheads der durch die Berechnung der Paritätsdaten entsteht
Lesegeschwindigkeit = n-Fach abzüglich des Overheads der durch die Filterung der Nutzdaten entsteht (es werden Paritätsdaten mitgelesen)
Bei guten Controllern kann man etwa 0,5-1 Fach hierfür abziehen Also daraus folgt:
Schreibgeschwindigkeit = (n-1-ca. 0,5-1) Fach
Lesegeschwindigkeit = (n-ca. 0,5-1)-Fach
Fazit:
In der Schreibperformance kann ein Raid 1 nie schneller als ein raid 5 sein
beim Lesen nur, wenn mehr als 1 Mirror corhanden ist (z.B. ein Raid1 aus 1+2 Platten = doppelte Spiegelung) oder das raid 5 aus nur 3 Platten besteht.
2x Raid 1 kann natürlich schneller sein als ein Raid 5, wenn Sichergestellt ist, daß die Zugriffe gleichmässig verteilt sind, aber wer verteilt seine Nutzdaten z.B. eines Projektes auf 2 Partitionen / Laufwerke, nur um eine Paralellisierung zu erreichen.
Dies wäre allenfalls sinnvoll mit einem Raid 10, da hier die Verteilung automatisch geht, aber mit fast dem gleichen Verfügbarkeitslevel wie bei Raid 5 - Es kann 1 Platte ausfallen - es kann zwar theoretisch noch eine 2. Platte ausfallen, es muss das Stripeset erhalten bleiben dies ist aber nur eine unwesentliche Erhöhung des Verfügbarkeitslevels und keinesfalls mit Raid 6 zu vergleichen.
Bei 8 Platten würde ich entweder 2x Raid5 aus je 4 Platten erstellen oder 1x Raid 6 aus 8 Platten - einzige Alternative wäre allenfalls noch 2x Raid10 aus je 4 Platten was aber am wenigsten Speicherplatz bringt!
Raid 1= 1+n (Spiegel)
Schreibgeschwindigkeit Grundsätzlich 1 Fach, egal wie viele Spiegelplatten dahinterhängen
Lesegeschwindigkeit idealerweise (1+n)Fach sofern der Controller das paralelle Lesen unterstützt, was gerade bei den billigen (auch bei On-Board-) Controllern nicht immer gegeben ist, da wird oft genug nur von der "Master"Platte gelesen.
Raid5 =n-1
Idealerweise!
Schreibgeschwindigkeit = (n-1)Fach
Lesegeschwindigkeit = n-Fach
Tatsächlich!
Schreibgeschwindigkeit = (n-1) Fach abzüglich des Overheads der durch die Berechnung der Paritätsdaten entsteht
Lesegeschwindigkeit = n-Fach abzüglich des Overheads der durch die Filterung der Nutzdaten entsteht (es werden Paritätsdaten mitgelesen)
Bei guten Controllern kann man etwa 0,5-1 Fach hierfür abziehen Also daraus folgt:
Schreibgeschwindigkeit = (n-1-ca. 0,5-1) Fach
Lesegeschwindigkeit = (n-ca. 0,5-1)-Fach
Fazit:
In der Schreibperformance kann ein Raid 1 nie schneller als ein raid 5 sein
beim Lesen nur, wenn mehr als 1 Mirror corhanden ist (z.B. ein Raid1 aus 1+2 Platten = doppelte Spiegelung) oder das raid 5 aus nur 3 Platten besteht.
2x Raid 1 kann natürlich schneller sein als ein Raid 5, wenn Sichergestellt ist, daß die Zugriffe gleichmässig verteilt sind, aber wer verteilt seine Nutzdaten z.B. eines Projektes auf 2 Partitionen / Laufwerke, nur um eine Paralellisierung zu erreichen.
Dies wäre allenfalls sinnvoll mit einem Raid 10, da hier die Verteilung automatisch geht, aber mit fast dem gleichen Verfügbarkeitslevel wie bei Raid 5 - Es kann 1 Platte ausfallen - es kann zwar theoretisch noch eine 2. Platte ausfallen, es muss das Stripeset erhalten bleiben dies ist aber nur eine unwesentliche Erhöhung des Verfügbarkeitslevels und keinesfalls mit Raid 6 zu vergleichen.
Bei 8 Platten würde ich entweder 2x Raid5 aus je 4 Platten erstellen oder 1x Raid 6 aus 8 Platten - einzige Alternative wäre allenfalls noch 2x Raid10 aus je 4 Platten was aber am wenigsten Speicherplatz bringt!
Sumatrabarbe
Enthusiast
wer hat den gesagt das ein RAID1 schneller als ein RAID5 sein soll? Hier wird doch die ganze Zeit über 2xMirror + 1 vdev gesprochen, was einem RAID10 entspricht...
vanquish
Enthusiast
- Mitglied seit
- 10.01.2008
- Beiträge
- 23
Völlig richtig. Das mit dem "EIN" hätte ich auch so schreiben sollen. "Klebt" man mehrere Mirrors aneinander steigert das auch die Geschwindigkeit. Das geschieht aber nicht proportional!
https://blogs.oracle.com/relling/entry/zfs_raid_recommendations_space_performance
Wenn Du tatsächlich nur acht Platten hast würde ich wohl zwei weitere Platten erwerben und bei solchen Datenmengen gleich auf ein RAIDZ2 setzen. Persönlich würde ich aber auf ein RAIDZ2 aus 2x6 Platten gehen als auf 1x10 Platten. Denn alle weiteren Platten sollten in einem weiteren Verbund, der möglichst identisch sein sollte (Performance), dem Pool hinzugefügt werden. Billig ist das mit so vielen Platten in einem einzelnen Verbund jedoch nicht! Kleinere Lösungen sind immer zu bevorzugen!
SSDs machen als Cache-Devices (Lesen/Schreiben) durchaus Sinn. Aber dafür muss der Workload schon extrem sein, damit sich das rentiert. Direkt für die Daten sind SSDs reine Geldverschwendung. Dafür ist der Speicher viel zu teuer.
Digi-Quick
Urgestein
- Mitglied seit
- 02.09.2009
- Beiträge
- 7.082
Ich hatte es als 2 unabahängige Raid 1 interpretiert!
Ein Raid 10 ist Performancetechnisch mit dem Raid 0 beil Schreiben gleichzusetzen ((n/2)-fach) und beim Lesen dem Raid u.U. 5 ebenbürdig, wenn parallel gelesen wird (n-fach)
Beim ZFS ist nun mal fast alles ein WENIG anders als bei anderen. Deshalb einfach noch mal den von mir oben mal geposteten Link: Things About ZFS That Nobody Told You | Nex7.com incl. weiterführender Links lesen und schon herrscht etwas mehr Klarheit.
Und ich sag's nochmal: Das soll ein Storage für immerhin 2 ESXi mit div. virtuellen Maschinen sein, auch gerne mal 30 pro Stück sind beim ESXi nur eine mäßige Anzahl. Wenn also vielleicht 60 virtuelle Server, die sich nicht gerade langweilen mit ihren IO-Anforderungen auf ein raidz1 treffen, das gerade mal die IOPS EINER EINZELNEN PLATTE liefern kann, allerdings bei reinen sequenziellen Anforderungen Vorteile hat, und da der L2ARC ein reiner Lesecache ist (also alle Schreibanforderungen von evtl. 60 VMs nicht von ihm gecachet werden können), dann finde ich das eine SEHR mutige Konstellation.
Ich habe hier im Schnitt 8-10 VMs laufen aber beim booten aller bzw wenn auf 3-5 VMs ein wenig Betrieb ist, merke ich schon, dass alles ein wenig zäh wird (bei einem zpool mit 3xmirror HDDs + slog SSD + L2ARC SSD). Hängt natürlich immer von den jeweiligen Anforderungen ab.
Gruß
Ron
Ich möchte mir ein Controller für mein ZFS-System kaufen. Soweit ich es verstanden habe, unterstützen AOC-USAS2-L8* Controller Festplatten > 2 TB. Was ist mir nicht klar ist, was ist der unterschieden zwischen Super Micro Computer AOC-USAS2-L8e und Super Micro Computer AOC-USAS2-L8i?
The AOC-USAS2-L8e supports 122 devices as a HBA in IT mode - HBA only
Das ist das was ZFS haben möchte: Die Platten werden einfach einzeln durchgereicht
The AOC-USAS2-L8i supports 63 devices.
Supports RAID 0,1,10 and 1E
Damit macht der Controller Hardware Raid- etwas was ZFS nicht gerne hat
AOC-USAS2-L8e ist der Richtige für ZFS
(und die billigste Alternative zum LSI 9211)
Zuletzt bearbeitet:
DarkDeveloper
Enthusiast
- Mitglied seit
- 23.04.2010
- Beiträge
- 128
Du solltest für die Montage nur bedenken, dass das UIO Karten sind.
DarkDeveloper
Enthusiast
- Mitglied seit
- 23.04.2010
- Beiträge
- 128
Die Komponenten sind auf der anderen Seite des PCB. Wenn genug Platz zur Nachbarkarte ist, kein Problem. Ich hab auf meinen LSI allerdings noch einen Lüfter gesetzt, da der Chip doch sehr heiß wurde. Mit UIO hätte ich in meinem alten Rechner damit dann ein Problem bekommen.
layerbreak
Enthusiast
- Mitglied seit
- 30.12.2010
- Beiträge
- 590
Findest du den Pentium nicht ein bischen schwach auf der Brust. Nicht dass der Prozessor nachher eine Bremse in deinem System ist.
In das Lian Li Gehäuse bekommst du doch nur 5 Platten rein, da ist die AOC-USAS2-L8e unnötig.
Zuletzt bearbeitet:
Hi ZFS-GEMEINDE
Ich hätte eine kleine Frage:
Habe bis jetzt FreeNAS benutzt.Auf meiner neuen Hardware läuft openindiana mit napp-it. Ich habe eine einzelne 3TB Festplatte die ich unter FreeNas benutzt habe, die auch unter napp-it unter DISKS-all disks angezeigt wird. Leider kann ich nichts importieren oder neu hinzufügen.. Hat jemand von euch ähnliche Probleme?
Ich hätte eine kleine Frage:
Habe bis jetzt FreeNAS benutzt.Auf meiner neuen Hardware läuft openindiana mit napp-it. Ich habe eine einzelne 3TB Festplatte die ich unter FreeNas benutzt habe, die auch unter napp-it unter DISKS-all disks angezeigt wird. Leider kann ich nichts importieren oder neu hinzufügen.. Hat jemand von euch ähnliche Probleme?
