Es gibt mit ZFS nur vier Optionen für "verlorenen Speicher"
(neben dem Platzverbrauch der aktuellen Daten)
1. Ein Definitionsproblem.
Mit der Angabe 1 KB kann gemeint sein, dass es sich um ein Kilobyte handelt, also um 1000 Bytes.
In der Digitalen Welt kann aber auch gemeint sein dass 1 KB = 1024 Bytes sind.
Genaugenommen müsste man dann aber 1 KiB schreiben - machen viele aber nicht.
Das ist hier nicht der Fall, da du -h wie auch ZFS auf Basis von 1024 rechnet
(Die ZFS Angabe 1K meint 1 KiB oder 1G=1GiB, 1T=1TiB)
2. Snaps
Alle Datensnaps werden im napp-it Menü Snapshots gezeigt,
Sind da keine, gibt es keine
Eine Sonderform sind "hidden clones", die man sich im napp-it Menü Snapshots anzeigen lassen kann.
Die können das Ergebnis einer fehlgeschlagenen Replikation sein. Das hatte ich aber schon lange nicht mehr. Das Thema sehe ich eigentlich als obsolet an.
3. Reservierungen
Damit wird Platz geblockt oder einem Dateisystem garantiert. Napp-it macht per default eine 10% Reservierung auf den Pool. Siehe napp-it Menü ZFS Dateisysteme (Fres)
4. Volumes
Das sind ZFS Dateisysteme die als Blockdevice (quasi als Festplatte) behandelt werden. Nutzt man für FC/ iSCSI. Wenn die thin-provisioned sind, wird nur der genutzte Platz belegt. Als thick provisioned belegen die wie Partitionen den Platz den man zugewiesen hat.
In napp-it sieht man die unter Disks >> Volumes oder Comstar >> Volumes (gleiches Ergebnis)
Ansonsten zeigt der Befehl zpool list die gesamte Kapazität ohne Redundanz während zfs list den zugewiesenen und verfügbaren Platz zeigt.
(neben dem Platzverbrauch der aktuellen Daten)
1. Ein Definitionsproblem.
Mit der Angabe 1 KB kann gemeint sein, dass es sich um ein Kilobyte handelt, also um 1000 Bytes.
In der Digitalen Welt kann aber auch gemeint sein dass 1 KB = 1024 Bytes sind.
Genaugenommen müsste man dann aber 1 KiB schreiben - machen viele aber nicht.
Das ist hier nicht der Fall, da du -h wie auch ZFS auf Basis von 1024 rechnet
(Die ZFS Angabe 1K meint 1 KiB oder 1G=1GiB, 1T=1TiB)
2. Snaps
Alle Datensnaps werden im napp-it Menü Snapshots gezeigt,
Sind da keine, gibt es keine
Eine Sonderform sind "hidden clones", die man sich im napp-it Menü Snapshots anzeigen lassen kann.
Die können das Ergebnis einer fehlgeschlagenen Replikation sein. Das hatte ich aber schon lange nicht mehr. Das Thema sehe ich eigentlich als obsolet an.
3. Reservierungen
Damit wird Platz geblockt oder einem Dateisystem garantiert. Napp-it macht per default eine 10% Reservierung auf den Pool. Siehe napp-it Menü ZFS Dateisysteme (Fres)
4. Volumes
Das sind ZFS Dateisysteme die als Blockdevice (quasi als Festplatte) behandelt werden. Nutzt man für FC/ iSCSI. Wenn die thin-provisioned sind, wird nur der genutzte Platz belegt. Als thick provisioned belegen die wie Partitionen den Platz den man zugewiesen hat.
In napp-it sieht man die unter Disks >> Volumes oder Comstar >> Volumes (gleiches Ergebnis)
Ansonsten zeigt der Befehl zpool list die gesamte Kapazität ohne Redundanz während zfs list den zugewiesenen und verfügbaren Platz zeigt.
Zuletzt bearbeitet:
besterino
Legende
Na dann muss ich wohl mal tiefer bohren, denn 1-4 sind's nicht:
1. Ein Definitionsproblem würde nicht zu einer Abweichung von ca. 4x mehr Daten führen.
2. Snaps gibt's wie gesagt keine und auch hidden clones sind keine vorhanden.
3. Reserviert ist der Standard, also 10% = ca. 1TB auf dem Pool (keine Reserve auf den einzelnen Filesystems)
4. Habe nur ein iSCSI-Volume mit 0.5TB.
In Bildern:
Der relevante Pool
Der Pool mit seinen Filesystems
Und die Volumes
Ich vermute mal, dass irgendwas mit Snapshots auf dem Storage-Filesystem schiefgegangen ist.
Ursprünglich hatte das Storage-Filesystem an die 3TB, allerdings gab es in diesem Filesystem urspr. weitere Sub-Filesysteme (z.B. PICTURES, VIDEO, PCs usw.) die ich zum Teil aus diesen Subsystemen in das (Haupt)Filesystem (z.B. PICTURES ist jetzt nur noch ein Unterordner in Storage, kein Filesystem mehr) oder in neue Filesystems (z.B. "PCs" und "Legacy") umgezogen habe. In diesem Zustand hatte ich auch mal einen Snapshot angelegt.
Ob ich die Daten erst kopiert und dann gelöscht oder direkt verschoben habe, weiss ich leider nicht mehr.
Nach dem Umzug der Daten habe ich dann neue Snaps (für Replikation) auf die neuen Filesysteme angelegt. Irgendwann danach fiel mir dann auf, dass der Platz eng wird und wollte den über Löschen der Snaps wieder freigeben.... und da bin ich nun.
Edit: Details der Historie geändert.
- - - Updated - - -
Für die Cracks da draußen: ein zdb -dddd auf ZFSdata/Storage zeigt zig Objekte mit einem unklaren path, also zum Beispiel:
Könnte man die irgendwie zählen oder sich die Größe aller dieser Objekte anzeigen lassen (und diese sogar ggf. löschen)?
EDIT: Puh, dass ZFS Platz "verliert" scheint durchaus häufiger mal vorzukommen bzw. vorgekommen zu sein. Soweit ersichtlich hauptsächlich unter ZFSonLinux / FreeBSD, gerne in Verbindung mit besonderen Settings xattr=sa) oder auch SAMBA. Gerade ZFSonLinux mit SAMBA hatte ich ja eine Weile im (Test)Einsatz. Bisweilen soll ein unmount/mount den Platz wieder freigeben, das klappt aber leider bei mir (natürlich) nicht.
Für die im undefinierten Raum schwebenden Objekte habe ich noch keine Lösung gefunden. Wahrscheinlich komm ich doch nicht drumrum, den Pool komplett neu aufzusetzen (und dann mal zu beobachten). Mist das.
- - - Updated 2 - - -
Also da ist irgendwas wohl mal ordentlich schief gegangen: von 391107 (#zdb -d ZFSData/Storage) Objekten im Dataset insgesamt haben 314649 einen defekten Pfad (#zdb -dddd ZFSdata/Storage > zdb_dump.txt + #grep -c ??? zdb_dump.txt).
Nur wie ich das wieder korrigiere, habe ich noch nicht rausgefunden. zdb -b über den ganzen Pool läuft noch, mal schauen ob der "leaks" findet...
- - - Updated 3 - - -
Yup, zdb -b findet leaked space:
Nur wie ich den wieder freigebe bleibt mir verschlossen.
Nachdem ich weiter darüber nachgedacht habe, mag es auch den ein oder anderen export-Versuch gegeben haben, als noch SMB/iSCSI shares verbunden (nicht in aktueller Benutzung!) waren. Komischerweise gibt napp-it ja dann eine Fehlermeldung, aber wenn ich mich richtig erinnere ist danach ist der Pool trotzdem weggewesen. Naja, "Play by the rules and don't complain if you don't" halt...
1. Ein Definitionsproblem würde nicht zu einer Abweichung von ca. 4x mehr Daten führen.
2. Snaps gibt's wie gesagt keine und auch hidden clones sind keine vorhanden.
3. Reserviert ist der Standard, also 10% = ca. 1TB auf dem Pool (keine Reserve auf den einzelnen Filesystems)
4. Habe nur ein iSCSI-Volume mit 0.5TB.
In Bildern:
Der relevante Pool
Der Pool mit seinen Filesystems
Und die Volumes
Ich vermute mal, dass irgendwas mit Snapshots auf dem Storage-Filesystem schiefgegangen ist.
Ursprünglich hatte das Storage-Filesystem an die 3TB, allerdings gab es in diesem Filesystem urspr. weitere Sub-Filesysteme (z.B. PICTURES, VIDEO, PCs usw.) die ich zum Teil aus diesen Subsystemen in das (Haupt)Filesystem (z.B. PICTURES ist jetzt nur noch ein Unterordner in Storage, kein Filesystem mehr) oder in neue Filesystems (z.B. "PCs" und "Legacy") umgezogen habe. In diesem Zustand hatte ich auch mal einen Snapshot angelegt.
Ob ich die Daten erst kopiert und dann gelöscht oder direkt verschoben habe, weiss ich leider nicht mehr.
Nach dem Umzug der Daten habe ich dann neue Snaps (für Replikation) auf die neuen Filesysteme angelegt. Irgendwann danach fiel mir dann auf, dass der Platz eng wird und wollte den über Löschen der Snaps wieder freigeben.... und da bin ich nun.
Edit: Details der Historie geändert.
- - - Updated - - -
Für die Cracks da draußen: ein zdb -dddd auf ZFSdata/Storage zeigt zig Objekte mit einem unklaren path, also zum Beispiel:
Code:
Object lvl iblk dblk dsize lsize %full type
1426 1 16K 4K 6.00K 4K 100.00 ZFS plain file
168 bonus System attributes
dnode flags: USED_BYTES USERUSED_ACCOUNTED
dnode maxblkid: 0
path ???<object#1426>
uid 0
gid 0
atime Fri Apr 17 16:25:29 2015
mtime Wed Nov 3 00:00:02 1999
ctime Fri Apr 17 16:25:29 2015
crtime Fri Apr 17 16:25:29 2015
gen 25641
mode 0100777
size 4096
parent 234
links 1
pflags 0x40800000104Könnte man die irgendwie zählen oder sich die Größe aller dieser Objekte anzeigen lassen (und diese sogar ggf. löschen)?
EDIT: Puh, dass ZFS Platz "verliert" scheint durchaus häufiger mal vorzukommen bzw. vorgekommen zu sein. Soweit ersichtlich hauptsächlich unter ZFSonLinux / FreeBSD, gerne in Verbindung mit besonderen Settings xattr=sa) oder auch SAMBA. Gerade ZFSonLinux mit SAMBA hatte ich ja eine Weile im (Test)Einsatz. Bisweilen soll ein unmount/mount den Platz wieder freigeben, das klappt aber leider bei mir (natürlich) nicht.
Für die im undefinierten Raum schwebenden Objekte habe ich noch keine Lösung gefunden. Wahrscheinlich komm ich doch nicht drumrum, den Pool komplett neu aufzusetzen (und dann mal zu beobachten). Mist das.
- - - Updated 2 - - -
Also da ist irgendwas wohl mal ordentlich schief gegangen: von 391107 (#zdb -d ZFSData/Storage) Objekten im Dataset insgesamt haben 314649 einen defekten Pfad (#zdb -dddd ZFSdata/Storage > zdb_dump.txt + #grep -c ??? zdb_dump.txt).
Nur wie ich das wieder korrigiere, habe ich noch nicht rausgefunden. zdb -b über den ganzen Pool läuft noch, mal schauen ob der "leaks" findet...
- - - Updated 3 - - -
Yup, zdb -b findet leaked space:
Code:
block traversal size 12558270619648 != alloc 13752710799360 (leaked 1194440179712)
bp count: 73255893
bp logical: 9129701892096 avg: 124627
bp physical: 9120233672192 avg: 124498 compression: 1.00
bp allocated: 12558270619648 avg: 171430 compression: 0.73
bp deduped: 0 ref>1: 0 deduplication: 1.00
SPA allocated: 13752710799360 used: 86.26%Nur wie ich den wieder freigebe bleibt mir verschlossen.
Nachdem ich weiter darüber nachgedacht habe, mag es auch den ein oder anderen export-Versuch gegeben haben, als noch SMB/iSCSI shares verbunden (nicht in aktueller Benutzung!) waren. Komischerweise gibt napp-it ja dann eine Fehlermeldung, aber wenn ich mich richtig erinnere ist danach ist der Pool trotzdem weggewesen. Naja, "Play by the rules and don't complain if you don't" halt...
Zuletzt bearbeitet:
besterino
Legende
Sagen wir mal so: könnte gut sein, dass die Daten mal auf einem OmniOS-Pool waren, ob mit oder ohne L2Arc kann ich nicht sagen - bewusst aktiviert hatte ich den nicht (habe immer nur billo raidZ-Pools erstellt). Habe immerhin herausgefunden, dass etwaige vergleichbare Fehler über send/receive regelmäßig wohl mitgenommen werden.
Nachdem ich den ganzen Tag schon erfolglos durch irgendwelche Mailinglisten gekrochen bin, scheint mir die einzige verlässliche Lösung ein rsync- oder cp-Backup zu sein und den Pool neu aufzusetzen. Aber schon komisch, dass ZFS die nicht zuordnungsfähigen Blöcke (Objekte?) erkennt, aber nicht auch irgendwie freigeben kann. Das txt-file mit dem zdb -dddd Output ist übrigens schlappe 230MB groß.
Soviel zum Thema ZFSonLinux ist reif für "production"....
Nachdem ich den ganzen Tag schon erfolglos durch irgendwelche Mailinglisten gekrochen bin, scheint mir die einzige verlässliche Lösung ein rsync- oder cp-Backup zu sein und den Pool neu aufzusetzen. Aber schon komisch, dass ZFS die nicht zuordnungsfähigen Blöcke (Objekte?) erkennt, aber nicht auch irgendwie freigeben kann. Das txt-file mit dem zdb -dddd Output ist übrigens schlappe 230MB groß.
Soviel zum Thema ZFSonLinux ist reif für "production"....
Zuletzt bearbeitet:
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Habe hier einen Pool aus 2 HDDs als mirror. Hatte zwischenzeitlich aber nicht genug SATA Anschlüsse frei, sodass ich eine der Platte vorübergehend über einen USB/SATA Konverter angeschlossen habe. So jetzt habe ich wieder beide Platten im Gehäuse über SATA und es kam
Ein Resilvering hab ich manuel nicht angestoßen, ist auch nicht nötig oder? Habe jetzt einfach mal einen scrub angestellt.
Der CKSUM Error muss im Laufe meiner "Aktion" entstanden sein. Viel gemacht hat ZFS aber nicht. Im Grunde wurden auch als die eine Platte alleine lief kaum neue Daten auf den Pool geschrieben, es wurde nur viel gelöscht, paar 100GB.
Ein Resilvering hab ich manuel nicht angestoßen, ist auch nicht nötig oder? Habe jetzt einfach mal einen scrub angestellt.
Der CKSUM Error muss im Laufe meiner "Aktion" entstanden sein. Viel gemacht hat ZFS aber nicht. Im Grunde wurden auch als die eine Platte alleine lief kaum neue Daten auf den Pool geschrieben, es wurde nur viel gelöscht, paar 100GB.
Noiseless
Enthusiast
- Mitglied seit
- 05.07.2005
- Beiträge
- 1.441
Habe mir jetzt ne SSD als SLOG eingerichtet. Kein Unterschied ! NFS Write 25 - 50MByte/s
Vom SLOG werden auch nur gerade mal 200MByte benutzt.
Was mir aufgefallen ist, beim Filetransfer sieht man öfters mal .
http://pastebin.com/AbupY6P4
Das heißt doch , dass aktuell überhaupt keine Daten anliegen und nichts geschrieben wird, korrekt ?
Vom SLOG werden auch nur gerade mal 200MByte benutzt.
Was mir aufgefallen ist, beim Filetransfer sieht man öfters mal .
http://pastebin.com/AbupY6P4
Das heißt doch , dass aktuell überhaupt keine Daten anliegen und nichts geschrieben wird, korrekt ?
Zuletzt bearbeitet:
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Warum schreibt OmniOS eigentlich soviel Daten?
Benutze einen SanDisk Extreme USB Stick auf dem OmniOS installiert ist (+nappit). Atime natürlich aus für rpool.
28.09.2014 Total Host Reads/Writes: 132 / 129 GB
17.12.2015 Total Host Reads/Writes: 245 / 848 GB
Es wird ja deutlich mehr geschrieben als gelesen. Etwa 1,6GB pro Tag
Bei so einer Schreibleistung sollte ich vielleicht in Zukunft besser einen 64GB Stick statt eines 16GB Sticks nehmen.
Gibt es ansonsten irgendwelche Empfehlungen für USB Gehäuse/Controller für SSDs wenn man da das OS installieren will?
Benutze einen SanDisk Extreme USB Stick auf dem OmniOS installiert ist (+nappit). Atime natürlich aus für rpool.
28.09.2014 Total Host Reads/Writes: 132 / 129 GB
17.12.2015 Total Host Reads/Writes: 245 / 848 GB
Es wird ja deutlich mehr geschrieben als gelesen. Etwa 1,6GB pro Tag
Bei so einer Schreibleistung sollte ich vielleicht in Zukunft besser einen 64GB Stick statt eines 16GB Sticks nehmen.
Gibt es ansonsten irgendwelche Empfehlungen für USB Gehäuse/Controller für SSDs wenn man da das OS installieren will?
Zuletzt bearbeitet:
Die beste Empfehlung ist ein möglichst hochwertiger USB Stick oder besser eine kleine gute SSD in einem Case mit USB Anschluss. Andere Alternative ist ein Sata DOM.
16 GB ist ohnehin zu wenig. Auch OmniOS wächst mit jeder Version und mit 16 GB wird eventuell schon das nächste Update problematisch. Die meisten Schreibaktionen auf rpool sind log Aktivitäten. Insbesondere wenn irgendwelche Probleme auftreten, können die zunehmen. Ich würde eher ab 30 GB gehen.
16 GB ist ohnehin zu wenig. Auch OmniOS wächst mit jeder Version und mit 16 GB wird eventuell schon das nächste Update problematisch. Die meisten Schreibaktionen auf rpool sind log Aktivitäten. Insbesondere wenn irgendwelche Probleme auftreten, können die zunehmen. Ich würde eher ab 30 GB gehen.
besterino
Legende
Das war der Grund, warum ich das OS auf eine kleine SSD umgezogen hab. Der USB Stick war bei mir häufig der Grund für gelbe/rote Anzeigen im nappit Monitor...
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Ich habe keinen SATA Anschluss mehr frei deswegen wurde es ein USB Stick. Wobei der SanDisk Extreme eher eine SSD im USB Gehäuse ist, siehe:
https://www.dropbox.com/s/8y35dikxsihaygh/Screenshot 2015-12-18 12.04.35.png?dl=0
Bin aber verwundert dass es überhaupt 1,6GB pro Tag an Daten sind. Probleme macht der Stick momentan keine, dennoch bin ich verwundert.
Könnte ich, wenn ich eine SSD im USB Gehäuse nehme, darauf auch noch Virtuelle Festplatten für VMs legen, oder ist zu erwarten dass das ganze dann nur noch in Zeitlupe abläuft aufgrund von USB2.0 ?
Lesen;Schreiben: 50MB/s; 75MB/s (SMB1 mit Win8.1 Client)
DD Bench zeigt aber über 500MB/s an. Und auch nen Scrubbing läuft mit über 600MB/s.
Was kann das sein? Die Broadcom Netzwerkkarte? CPU ist deutlich schneller als mein Alter N36L mit 2mal 1,3Ghz, doch es ist kaum schneller.
https://www.dropbox.com/s/8y35dikxsihaygh/Screenshot 2015-12-18 12.04.35.png?dl=0
Bin aber verwundert dass es überhaupt 1,6GB pro Tag an Daten sind. Probleme macht der Stick momentan keine, dennoch bin ich verwundert.
Was kannst du hier denn empfehlen, welches Gehäuse bzw. USB Chip?
Könnte ich, wenn ich eine SSD im USB Gehäuse nehme, darauf auch noch Virtuelle Festplatten für VMs legen, oder ist zu erwarten dass das ganze dann nur noch in Zeitlupe abläuft aufgrund von USB2.0 ?
Habe hier jetzt einen ML10v2 am Laufen in der Standard Config, DualCore 3,1Ghz, 4GB ECC Ram, RaidZ2 6x4TB:
Lesen;Schreiben: 50MB/s; 75MB/s (SMB1 mit Win8.1 Client)
DD Bench zeigt aber über 500MB/s an. Und auch nen Scrubbing läuft mit über 600MB/s.
Was kann das sein? Die Broadcom Netzwerkkarte? CPU ist deutlich schneller als mein Alter N36L mit 2mal 1,3Ghz, doch es ist kaum schneller.
Zuletzt bearbeitet:
Ich habe heute morgen meine OpenIndiana (powered by illumos) SunOS 5.11 oi_151a9 November 2013 Installation von Npp-it 0.9f6 auf 0.9f7 updaten wollen, was aber mit nicht so wollte.
Ich habe via Shell noch zugriff auf die Büchse, kann aber die Napp-it gui nicht starten.
Fehler siehe Anhang:
@ gea
Hast Du da eine Idee ?
@all
Bin für jeden Lösungsansatz dankbar !
Ich habe auch Pool snaps, die ich zurückrollen könnte. Würde das nur gerne so lösen , um zu verstehen, was da passiert ist.
Andernfalls muss ich einen älteren Snap booten.
Kann mir da jemand kurz beschreiben, wie das am "besten" geht ?
THX
- - - Updated - - -
habe das Problem lösen können.
Auf das Napp-it Seite steht alles:
OpenSSL
Due to some changes and bugfixes with current OpenSSL, you may need to add some links or
mini_http (the webserver for napp-it) wont,t run (run the following at console/Putty)
ln -s /usr/lib/libssl.so /usr/lib/libssl.so.1.0.0
ln -s /usr/lib/libcrypto.so /usr/lib/libcrypto.so.1.0.0
Läuft !
Ich habe via Shell noch zugriff auf die Büchse, kann aber die Napp-it gui nicht starten.
Fehler siehe Anhang:
@ gea
Hast Du da eine Idee ?
@all
Bin für jeden Lösungsansatz dankbar !
Ich habe auch Pool snaps, die ich zurückrollen könnte. Würde das nur gerne so lösen , um zu verstehen, was da passiert ist.
Andernfalls muss ich einen älteren Snap booten.
Kann mir da jemand kurz beschreiben, wie das am "besten" geht ?
THX
- - - Updated - - -
habe das Problem lösen können.
Auf das Napp-it Seite steht alles:
OpenSSL
Due to some changes and bugfixes with current OpenSSL, you may need to add some links or
mini_http (the webserver for napp-it) wont,t run (run the following at console/Putty)
ln -s /usr/lib/libssl.so /usr/lib/libssl.so.1.0.0
ln -s /usr/lib/libcrypto.so /usr/lib/libcrypto.so.1.0.0
Läuft !
NicholasRush
Neuling
- Mitglied seit
- 05.01.2014
- Beiträge
- 24
Hat jemand Erfahrung mit Omnios und USB3.0 Festplatten bzw. ZFS darauf. Ich hatte mir gedacht vielleicht wäre es möglich die Snapshots von meinem Privaten Hauptpool auf 4x USB3.0 4TB Festplatten zu transferieren. Jeweils 2 USB Festplatten wollte ich dann Mirrorn. Hab zu diesem Thema leider bisher nicht viel gefunden, leider auch nichts was die USB3.0 Controller Unterstützung von Omnios anbelangt.
Ansonsten muss ich die Platten halt aus dem Gehäuse ausbauen und direkt an den SATA Controller anschließen.
Ansonsten muss ich die Platten halt aus dem Gehäuse ausbauen und direkt an den SATA Controller anschließen.
Zuletzt bearbeitet:
NicholasRush
Neuling
- Mitglied seit
- 05.01.2014
- Beiträge
- 24
Danke für die Information Gea.
Ich hab auf meinem Heimserver sowieso den USB3 Controller Deaktiviert, wie ich eben beim testen bemerkt habe.
Dann werde ich mir demnächst jetzt mal ein Externes SAS Gehäuse kaufen.
SAS/SATA Desktop-Festplattengehäuse - LINDY DE
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Mit USB Festplatten hatte ich zumindest am N36L immer wieder Probleme dass er sie beim Start oft net erkannt hat. Sprich er sie erst beim 2. oder 3. booten "gesehen" hat.
USB3 kann aber auch wohl noch dauern, nachdem was ich so gelesen habe
So externe SATA Gehäuse sind aber preislich wenig attraktiv. Gehäuse plus Controller im Hauptsystem und man liegt preislich schon bei nem HP Microserver.
USB3 kann aber auch wohl noch dauern, nachdem was ich so gelesen habe
So externe SATA Gehäuse sind aber preislich wenig attraktiv. Gehäuse plus Controller im Hauptsystem und man liegt preislich schon bei nem HP Microserver.
Zuletzt bearbeitet:
Ich habe bis jetzt wenig Probleme mit USB Sticks. Habe einen Mix aus gea's napp-it one und napp-it go. Napp-it ist auf einem HP Microserver unter ESXI auf 2 USB Sticks als Boot Mirror installiert, die beiden Sticks werden jeweils beim booten Problemlos erkannt.
Was ich jedoch noch habe, sind Probleme mit den Datenraten VM intern, die liegen 2 - 4x tiefer als über LAN auf einen Windowsrechner.
Was ich jedoch noch habe, sind Probleme mit den Datenraten VM intern, die liegen 2 - 4x tiefer als über LAN auf einen Windowsrechner.
Ich vermute mal sync write als Ursache für geringe interne Schreibraten via ESXi und NFS.
Transaktionssicheres Schreiben wird da per default genutzt, bei SMB dagegen nicht.
Einfach testweise mal auf dem Dateisystem mit NFS sync=disabled einstellen (Menü ZFS Dateisysteme)
Transaktionssicheres Schreiben wird da per default genutzt, bei SMB dagegen nicht.
Einfach testweise mal auf dem Dateisystem mit NFS sync=disabled einstellen (Menü ZFS Dateisysteme)
Besten Dank, zumindest im Benchmark hatte die einen Erfolg, leider sind die Datenraten beim übertragen von einen Pool zum anderen in der VM immer noch mässig.
ESXI 6.0 Host
Napp-it als VM auf USB-Stick
Ubuntu-VM mit eingebundenen ZFS Shares.
Anhang anzeigen 346000Anhang anzeigen 346001
ESXI 6.0 Host
Napp-it als VM auf USB-Stick
Ubuntu-VM mit eingebundenen ZFS Shares.
Anhang anzeigen 346000Anhang anzeigen 346001
Vmxnet3. Das 2te Diagramm ist mit sync "Standart", das erste ist sync " Disabled". Die VM sind auf einem Raiz2 Pool. Habe in Napp-it einen Raidz2 Datenpool mit 4x 1TB WD Red 2,5" sowie einen Multimediapool Raidz mit 3x2TB Samsung Ecodrive.
Hallo,
ich plane gerade einen neuen AIO-ZFS Server.
Geplannt ist VMware EXSI mit OmniOS für ZFS, und ein paar andere
VM's (ein paar Linux basierte OS und Windows Server)
Ich hätte dazu ein paar Fragen und Anregungen:
Bereits vorhadene Hardware:
1x E5-1650v3
2x 32GB ECC RAM
1x IBM M1015 @ IT-Mode
1x DD Cine S2 (TV Karte)
4x 3TB WD RED
4x 3TB Seagate ST3000DM001
Zudem habe ich noch folgende Teile rumliegen, die nicht
zwangsweise verbaut werden müssen:
2x 128 Samung 850 PRO
2x 128 Samsung 840 PRO
1x LSI 9260-4i
1x Intel i350-T4 (4x GB LAN)
Was noch fehlt ist ein Board und CPU Kühler:
Board muss mit DDR4 ECC und Xeon können, was die Wahl ja einschränkt. Zudem würde ich gerne viele PCIe-Slots für spätere Erweiterungen zur Verfügung haben wollen.
Meine Recherche:
Supermicro X10SRL-F
Noctua NH-U9DX i4
(1) Habt ihr andere Vorschläge fürs Board und ist der Kühler ausreichend für 6x 3.5 Ghz und passt aufs Board? Kühler sollte leise sein.
(1.1) Das Board hat ja 8 DIMM-Plätze, aber die Spec auf der Intel-Seite zum 1650v3 sagt, dass nur 4 Speicherkanäle unterstützt werden. Funktioniert die Kombi überhaupt aus E5-1650v3, Supermikro X10SRL-F und 2-4 Module dieser Samsung-Module (M393A4K40BB0-CPB) ?
(2) Sollte man lieber 1x Raidz3 (12 HDDs, 6 von WD, 6 von Seagate) oder 2x Raidz2 (jeweils 6 HDDs eines Herstellers im VDEV) nehmen.
Soll primär als Datengrab für 1-2 Nutzer dienen, also hohe IOPS ist kein muss, eher Kapazität und Sicherheit. Ich tendiere daher eher zu einem Raidz3, aber im Falle einer Erweiterung oder HDD-Tausches müssten ja gleich 12 HDDs hinzufügen/austauschen werden. Zudem habe ich gehört, dass bei 12 HDDs der Scrub und Rebuilt extrem lange dauern soll und die Performance bei einem vollen Pool dieser größe nicht mal mehr 1x Gbit-LAN ausreizen kann (sprich ca. 100Mb/s) ??.
(3) Hat da einer Erfahrung / stimmt das?
Anderes Thema ist, dass die WD RED's 5900 RPM und die Seagate's 7200R PM haben, sodass Latenz und seq. Durchsatz nicht identisch sind.
(4) Stellt das, außer eines Performanceverlustes, ein Problem dar? Timeouts, 4K-Alignment, ... ???
(5) Kann man überhaupt zwei M1015 von ESXI an OmniOS durchreichen? Falls ja und irgendwann geht einer der beiden mal flöten, ist dann in jeden Fall der komplette Pool kaputt?
Wie macht ihr das? Hoffen das nicht einer mal ausfällt?
(6) Zum M1015: Habt ihr eure M1015 mit dem sog. Option-ROM im IT-Mode oder ohne ROM?
Welche Vorteile bringt dieses eigene BIOS vom HBA im IT-Mode?
(7) Zu ESXI und virtuellen LAN's: Das Board besitzt ja schon 2x GBit-LAN und ich hab hier noch einen i350 mit 4x GBit-LAN rumliegen. Ist es sinvoller nur ein LAN-Anschluss zu nutzen und ESXI gibt jeder VM dann einen virtuellen Anschluss oder lieber jeder VM einen eigenen LAN Anschluss durchreichen, falls das überhaupt geht?
(8) Die DD Cine S2 TV-Karte (PCIe) würde ich gerne durchreichen an eine VM. Ist das möglich?
Ich weiss, viele Fragen, aber Danke im voraus
ich plane gerade einen neuen AIO-ZFS Server.
Geplannt ist VMware EXSI mit OmniOS für ZFS, und ein paar andere
VM's (ein paar Linux basierte OS und Windows Server)
Ich hätte dazu ein paar Fragen und Anregungen:
Bereits vorhadene Hardware:
1x E5-1650v3
2x 32GB ECC RAM
1x IBM M1015 @ IT-Mode
1x DD Cine S2 (TV Karte)
4x 3TB WD RED
4x 3TB Seagate ST3000DM001
Zudem habe ich noch folgende Teile rumliegen, die nicht
zwangsweise verbaut werden müssen:
2x 128 Samung 850 PRO
2x 128 Samsung 840 PRO
1x LSI 9260-4i
1x Intel i350-T4 (4x GB LAN)
Was noch fehlt ist ein Board und CPU Kühler:
Board muss mit DDR4 ECC und Xeon können, was die Wahl ja einschränkt. Zudem würde ich gerne viele PCIe-Slots für spätere Erweiterungen zur Verfügung haben wollen.
Meine Recherche:
Supermicro X10SRL-F
Noctua NH-U9DX i4
(1) Habt ihr andere Vorschläge fürs Board und ist der Kühler ausreichend für 6x 3.5 Ghz und passt aufs Board? Kühler sollte leise sein.
(1.1) Das Board hat ja 8 DIMM-Plätze, aber die Spec auf der Intel-Seite zum 1650v3 sagt, dass nur 4 Speicherkanäle unterstützt werden. Funktioniert die Kombi überhaupt aus E5-1650v3, Supermikro X10SRL-F und 2-4 Module dieser Samsung-Module (M393A4K40BB0-CPB) ?
(2) Sollte man lieber 1x Raidz3 (12 HDDs, 6 von WD, 6 von Seagate) oder 2x Raidz2 (jeweils 6 HDDs eines Herstellers im VDEV) nehmen.
Soll primär als Datengrab für 1-2 Nutzer dienen, also hohe IOPS ist kein muss, eher Kapazität und Sicherheit. Ich tendiere daher eher zu einem Raidz3, aber im Falle einer Erweiterung oder HDD-Tausches müssten ja gleich 12 HDDs hinzufügen/austauschen werden. Zudem habe ich gehört, dass bei 12 HDDs der Scrub und Rebuilt extrem lange dauern soll und die Performance bei einem vollen Pool dieser größe nicht mal mehr 1x Gbit-LAN ausreizen kann (sprich ca. 100Mb/s) ??.
(3) Hat da einer Erfahrung / stimmt das?
Anderes Thema ist, dass die WD RED's 5900 RPM und die Seagate's 7200R PM haben, sodass Latenz und seq. Durchsatz nicht identisch sind.
(4) Stellt das, außer eines Performanceverlustes, ein Problem dar? Timeouts, 4K-Alignment, ... ???
(5) Kann man überhaupt zwei M1015 von ESXI an OmniOS durchreichen? Falls ja und irgendwann geht einer der beiden mal flöten, ist dann in jeden Fall der komplette Pool kaputt?
Wie macht ihr das? Hoffen das nicht einer mal ausfällt?
(6) Zum M1015: Habt ihr eure M1015 mit dem sog. Option-ROM im IT-Mode oder ohne ROM?
Welche Vorteile bringt dieses eigene BIOS vom HBA im IT-Mode?
(7) Zu ESXI und virtuellen LAN's: Das Board besitzt ja schon 2x GBit-LAN und ich hab hier noch einen i350 mit 4x GBit-LAN rumliegen. Ist es sinvoller nur ein LAN-Anschluss zu nutzen und ESXI gibt jeder VM dann einen virtuellen Anschluss oder lieber jeder VM einen eigenen LAN Anschluss durchreichen, falls das überhaupt geht?
(8) Die DD Cine S2 TV-Karte (PCIe) würde ich gerne durchreichen an eine VM. Ist das möglich?
Ich weiss, viele Fragen, aber Danke im voraus
Zuletzt bearbeitet:
Sync=Standard bedeutet, dass das schreibende Programm das Verhalten steuert, damit enabled bei ESXi + NFS und disabled bei SMB. Wenn auf dem NFS Share aber virtuelle Maschinen mit alten Dateisystemen (ext4, ntfs etc) liegen, dann sollte man sync aktiviert lassen da es ansonsten passieren kann, dass diese Dateisysteme nach einem Crash corrupt sind - auch wenn dem ZFS selber nichts passieren kann.
Option:
Ein Slog device z.B. Intel S3700-100 o.ä.
Damit ist der Einbruch der Schreibrate bei transaktionssicherem Schreiben nicht so heftig.
- - - Updated - - -
1).
Ich würde bei Neukauf gleich auf 10G und 12G SAS gehen
z.B. http://www.asrockrack.com/general/productdetail.asp?Model=EPC612D4U-2T8R#Specifications
So ein Board ist billiger als die Intel 10G X540 und den HBA LSI 3008 separat gekauft.
4 Speicherkanäle heisst, dass 4 Module gleichzeitig angesprochen werden.
Ausbau also vor allem in 4er Schritten (4 oder 8 Module) sinnvoll oder gar erforderlich
2.) und 3.) prinzipiell egal.
Zwei vdevs haben allerdings kürzere Rebuild Zeiten und doppelt soviel iops als ein vdev
Es gibt aber auch etwas mehr "Verschnitt" wenn die Anzahl der Datenplatten pro vdev keine Zweierpotenz sind (2,4,8,16). Ich würde wohl 2 vdevs nehmen.
Ansonsten skaliert die sequentielle Performance mit der Anzahl der Datenplatten. Selbst mit einem Z3 vdev sind mehrere 100 GB/s über 10G möglich. (Ein User, große Datei)
4.)
kein Problem
5.)
kein Problem
Wenn ein HBA weg ist, geht der Pool halt solange auf Offline bis ausreichend Platten wieder da sind.
6.)
Bios braucht man nur, wenn man vom HBA booten möchte
7.)
geht alles, eine Nic und vlans ist aber einfacher, ideal natürlich wenn das 10G ist
8.)
Probieren, Möglich ist es sehr wohl.
Option:
Ein Slog device z.B. Intel S3700-100 o.ä.
Damit ist der Einbruch der Schreibrate bei transaktionssicherem Schreiben nicht so heftig.
- - - Updated - - -
1).
Ich würde bei Neukauf gleich auf 10G und 12G SAS gehen
z.B. http://www.asrockrack.com/general/productdetail.asp?Model=EPC612D4U-2T8R#Specifications
So ein Board ist billiger als die Intel 10G X540 und den HBA LSI 3008 separat gekauft.
4 Speicherkanäle heisst, dass 4 Module gleichzeitig angesprochen werden.
Ausbau also vor allem in 4er Schritten (4 oder 8 Module) sinnvoll oder gar erforderlich
2.) und 3.) prinzipiell egal.
Zwei vdevs haben allerdings kürzere Rebuild Zeiten und doppelt soviel iops als ein vdev
Es gibt aber auch etwas mehr "Verschnitt" wenn die Anzahl der Datenplatten pro vdev keine Zweierpotenz sind (2,4,8,16). Ich würde wohl 2 vdevs nehmen.
Ansonsten skaliert die sequentielle Performance mit der Anzahl der Datenplatten. Selbst mit einem Z3 vdev sind mehrere 100 GB/s über 10G möglich. (Ein User, große Datei)
4.)
kein Problem
5.)
kein Problem
Wenn ein HBA weg ist, geht der Pool halt solange auf Offline bis ausreichend Platten wieder da sind.
6.)
Bios braucht man nur, wenn man vom HBA booten möchte
7.)
geht alles, eine Nic und vlans ist aber einfacher, ideal natürlich wenn das 10G ist
8.)
Probieren, Möglich ist es sehr wohl.
Zuletzt bearbeitet:
Das mit dem Sync habe ich mir auch so gedacht.
Eine Verständnisfrage, wenn ich das Sync nur auf den entsprechenden Datenshares ausschalte, aber auf dem share wo die VM untergebracht sind auf Standard belasse, dann sollte die Datenrate zwischen den Shares doch gleichwohl höher sein, und nur wen ich etwas in der VM speichere tief?
Und als zweites, ist eine Lösung wie ich sie im Moment anwende, Esxi mit Napp-it unter Omnios auf USB-Sticks als Bootmirror eine praktikable Lösung oder eher nicht?
Besten Dank für deine Hilfe gea.
Eine Verständnisfrage, wenn ich das Sync nur auf den entsprechenden Datenshares ausschalte, aber auf dem share wo die VM untergebracht sind auf Standard belasse, dann sollte die Datenrate zwischen den Shares doch gleichwohl höher sein, und nur wen ich etwas in der VM speichere tief?
Und als zweites, ist eine Lösung wie ich sie im Moment anwende, Esxi mit Napp-it unter Omnios auf USB-Sticks als Bootmirror eine praktikable Lösung oder eher nicht?
Besten Dank für deine Hilfe gea.
Wenn bei einem ZFS Dateisystem sync auf standard steht, dann
- macht ESXi über NFS sicheres sync write und
- jeder Zugriff über SMB normales und schnelles Schreiben ohne sync
Wenn man es anders haben möchte, dann sync auf disabled oder always stellen.
zum Booten von OmniOS unter ESXi:
Ein USB Bootmirror ist zumindest sehr unkonventionell. Bootsticks nimmt man eher bei barebone Setups. Normalerweise legt man die OmniOS VM auf einen lokalen Sata datastore. Könnte man mit zwei lokalen datastores auch spiegeln. Ich würde aber die Storage VM nur für Storage nehmen und keine weiteren Dienste (Web, Mediaserver etc) darauf ablegen. Dafür sind dann weitere VMs auf ZFS sinnvoller. Dann ist die OmniOS Installation trivial und im Crashfall muss man im Wesentlichen nur das originale oder eigene .OVA Template wieder einspielen. Spiegeln ist da unnötig da das Storage in wenigen Minuten wieder aufgesetzt ist. Man muss allenfalls die VMs neu importieren. Das ist aber auch nur ein Maus-Rechtsklick im ESXi Dateibrowser auf die .vmx Datei.
- macht ESXi über NFS sicheres sync write und
- jeder Zugriff über SMB normales und schnelles Schreiben ohne sync
Wenn man es anders haben möchte, dann sync auf disabled oder always stellen.
zum Booten von OmniOS unter ESXi:
Ein USB Bootmirror ist zumindest sehr unkonventionell. Bootsticks nimmt man eher bei barebone Setups. Normalerweise legt man die OmniOS VM auf einen lokalen Sata datastore. Könnte man mit zwei lokalen datastores auch spiegeln. Ich würde aber die Storage VM nur für Storage nehmen und keine weiteren Dienste (Web, Mediaserver etc) darauf ablegen. Dafür sind dann weitere VMs auf ZFS sinnvoller. Dann ist die OmniOS Installation trivial und im Crashfall muss man im Wesentlichen nur das originale oder eigene .OVA Template wieder einspielen. Spiegeln ist da unnötig da das Storage in wenigen Minuten wieder aufgesetzt ist. Man muss allenfalls die VMs neu importieren. Das ist aber auch nur ein Maus-Rechtsklick im ESXi Dateibrowser auf die .vmx Datei.
Dann behalte ich den Standart auf den "wichtigen" Shares, VM, persönliche Daten, und auf den Media oder eher unwichtigen Softwareshares stelle ich es auf disable. Danke.
Auf dem Omnios/Napp-it läuft nichts anderes, habe die restlichen VM auf einem ZFS Share.
Leider ist der Platz und die Anschlüsse im Microserver sehr beschränkt. Ev. könnte man auf dem internen Controller noch was anhängen, wird aber wahrscheinlich an den Platzverhältnissen des Kistchens scheitern...
Habe ich das Richtig verstanden, dass ich ein .ova Template der aktuellen Installation machen kann, über ESXI Hot Snaps jeweils einen Snapshot der VM in die ZFS Snapshots integriere und bei einem Crash einfach die .ova importieren und mit den Snapshot den letzten gespeicherten Zustand wiederherstellen kann?
Auf dem Omnios/Napp-it läuft nichts anderes, habe die restlichen VM auf einem ZFS Share.
Leider ist der Platz und die Anschlüsse im Microserver sehr beschränkt. Ev. könnte man auf dem internen Controller noch was anhängen, wird aber wahrscheinlich an den Platzverhältnissen des Kistchens scheitern...
Habe ich das Richtig verstanden, dass ich ein .ova Template der aktuellen Installation machen kann, über ESXI Hot Snaps jeweils einen Snapshot der VM in die ZFS Snapshots integriere und bei einem Crash einfach die .ova importieren und mit den Snapshot den letzten gespeicherten Zustand wiederherstellen kann?
Das aktuelle OmniOS lässt sich als OVA exportieren und importieren
- aber nur auf einen ESXi Datastore und nicht auf die USB Sticks. Die nimmt ESXi nicht als Datastore.
Ich vermute, bisher ist das so gelöst, dass die USB Sticks durchgereicht werden
und OmniOS direkt davon bootet - eine interessante Lösung.
Bei den VMs auf dem ZFS Storage braucht man keine Snaps.
Einfach nach einem Crash den Pool und dann die VMs importieren.
Snaps braucht man nur, wenn man einen älteren Stand einer VM braucht (Versionierung)
- aber nur auf einen ESXi Datastore und nicht auf die USB Sticks. Die nimmt ESXi nicht als Datastore.
Ich vermute, bisher ist das so gelöst, dass die USB Sticks durchgereicht werden
und OmniOS direkt davon bootet - eine interessante Lösung.
Bei den VMs auf dem ZFS Storage braucht man keine Snaps.
Einfach nach einem Crash den Pool und dann die VMs importieren.
Snaps braucht man nur, wenn man einen älteren Stand einer VM braucht (Versionierung)
An ASRock habe ich gar nicht gedacht. Board sieht gut aus. 10G reizen mich natürlich, aber leider sind die Switches so verdammt teuer. Oder kannst du ein preisgünstiges empfehlen? 10G ist für mich Neuland, aber soweit ich es verstanden habe, ist es leider nicht möglich ein SFP+ in 10GBase-T via Adapter umzuwandeln, richtig? Switches mit 2 SFP+ sind bei weitem erschwinglicher.
Sprich, ich kann nicht 3x 32GB DIMMs belegen?
Schön zu hören, dass man 5200RPM und 7200RPM HDDs problemlos "mixen" kann.
Sehr schön: Also der Pool würde einfach Offline gehen, M1015 austauschen und Platten wieder ran und der Pool wäre wieder online und nicht zerstört? Ich dachte bisher, dass z.B. bei einem Raidz3 max. 3 Platten ausfallen können, sprich, wenn jeder M1015 aber 6-8 Platten bedient, und einer flöten geht, der komplette Pool weg ist
Ok, dann kommt das BIOS weg. Wie genau würde ich da vorgehen? Müsste ich den aktuellen M1015@IT-Mode erst zurück in den LSI9240 Flaschen und dann wieder zurück in IT-Mode ohne OptionROM???? Der IT-Mode soll ja bleiben, nur das optionROM weg. Für genau diesen Fall finde ich nichts in der Anleitung auf servethehome.
Wäre eine NIC und vlans sogar auch schneller wenn ich nur zw. VM 1 und VM 2 kopiere? Theoretisch müssten ja die Daten gar nicht über das Netzwerkkabel zum Switch und zurück über das gleiche phy. Kabel zur VM 2, wenn ESXI so "schlau" ist und das merken würde !?
Das wäre mir aufjedenfall wichtig. Weiss jemand anderes hier, ob man eine DD Cine S2 TV-Karte erfolgreich via ESXI 6 an eine VM durchreichen kann?
Und danke Gea!
Zuletzt bearbeitet:
