[Sammelthread] ZFS Stammtisch

[martingo]

Was Du beschreibst ist quasi ein einmaliger Clone. Du bist aber zu keinem Zeitpunkt I'm mirror mode/RAID1 gewesen, sondern hast quasi ein RAID0 gebaut und die Daten von der alten Platte dann runtergenommen, indem du diese detached hast. Das ginge auch über die GUI. Mir fehlt aber der Schritt, wie ich von Basic auf mirror wechsele.

Naja, muss ich halt Mal googlen, wird ja nicht so schwer sein

Edit: vielleicht hast du doch recht. Muss ich mir morgen Mal in Ruhe ansehen.
How to add a drive to a ZFS mirror - Switched On Tech Design

- - - Updated - - -

Du hattest recht, hat wunderbar mit attach geklappt. RAID0 wäre add gewesen.
zpool attach WDRed8TB_Mirror c3t0d0 c3t1d0
-> Resilvering läuft.
Danke!

 

[gea]

Ich habe zwei 8TB Platten, die würde ich gerne als Mirror konfigurieren.
Nun habe ich aber einen 8TB Basic Pool mit einer Platte angelegt, die Daten von der anderen 8TB Platte drauf kopiert und nun soll diese zweite Platte ein Mirror der ersten werden.
Hat jemand einen Tipp, wie ich das bewerkstellige? Über die Web GUI scheint es nicht zu funktionieren, oder? Wenn ich Extend Pool wähle, dann die neue Platte auswähle und auf Mirror schalte, beschwert er sich, dass ein Mirror mindestens zwei Platten benötigt.

Napp-it Menü Disks >> Add macht aus Basic einen Mirror (oder 3way aus 2way mirror)
Mit Menü Disks >> Remove gehts andersrum

 

[besterino]

Hmmm. Ich versuche nun schon etwas länger einen Broadcom/LSI SAS 9305-24i (SAS3224(A1) in einer Solaris 11.3 VM zum Laufen zu bekommen. Bios / Firmware habe ich auf den aktuellen Stand gebracht.

ESXi erkennt das Ding, auch alle Drives.

Schalte ich Passthrough um und reiche ihn an die VM durch, werden die Drives nicht erkannt. Solaris erkennt das Ding (laut napp-it Menü-->System-->Hardware und Localization) irgendwie als "dual SCSI 320 Controller" und "PCI-X" Gerät - das klingt beides für mich irgendwie verkehrt:

pci bus 0x0000 cardnum 0x10 function 0x00: vendor 0x1000 device 0x0030
 LSI Logic / Symbios Logic 53c1030 PCI-X Fusion-MPT Dual Ultra320 SCSI

repair mit fmadm faulty hab ich schon versucht, aber irgendwas ist da immer noch komisch:

--------------- ------------------------------------  -------------- ---------
TIME            EVENT-ID                              MSG-ID         SEVERITY
--------------- ------------------------------------  -------------- ---------
Oct 07 20:27:56 9984a538-1d0c-4bc8-8ac5-caf52c26a3a2  PCIEX-8000-0A  Critical 

Problem Status    : repaired
Diag Engine       : eft / 1.16
System
    Manufacturer  : unknown
    Name          : unknown
    Part_Number   : unknown
    Serial_Number : unknown

System Component
    Manufacturer  : VMware, Inc.
    Name          : VMware Virtual Platform
    Part_Number   : unknown
    Serial_Number : VMware-56 4d 5b 32 6b 93 7e fc-8d b6 cb 49 66 3a ef 8c
    Host_ID       : 000b5479

----------------------------------------
Suspect 1 of 1 :
   Problem class : fault.io.pciex.device-interr
   Certainty   : 100%
   Affects     : dev:////pci@0,0/pci15ad,7a0@16/pci1000,31a0@0
   Status      : out of service, but associated components no longer faulty

   FRU
     Status           : repaired
     Location         : "/SYS/MB"
     Manufacturer     : unknown
     Name             : unknown
     Part_Number      : unknown
     Revision         : unknown
     Serial_Number    : unknown
     Chassis
        Manufacturer  : No Enclosure
        Name          : VMware Virtual Platform
        Part_Number   : No Asset Tag
        Serial_Number : VMware-56 4d 5b 32 6b 93 7e fc-8d b6 cb 49 66 3a ef 8c

Description : A problem was detected for a PCIEX device.

Response    : One or more device instances may be disabled

Impact      : Loss of services provided by the device instances associated with
              this fault

Action      : Use 'fmadm faulty' to provide a more detailed view of this event.
              Please refer to the associated reference document at
              http://support.oracle.com/msg/PCIEX-8000-0A for the latest
              service procedures and policies regarding this diagnosis.

prtconf sagt zu dem fraglichen PCI-Device:

 pci15ad,7a0, instance #0
            pci1912,15, instance #0
                hub, instance #1
                    hub, instance #2
                        device, instance #1
                            keyboard, instance #3
                            mouse, instance #4
                            input, instance #5
                        input, instance #2
                        device, instance #2
        pci15ad,7a0, instance #1
        pci15ad,7a0, instance #2
        pci15ad,7a0, instance #3
        pci15ad,7a0, instance #4
        pci15ad,7a0, instance #5
        pci15ad,7a0, instance #6
        pci15ad,7a0, instance #7
        pci15ad,7a0, instance #8
            pci1000,31a0 (driver not attached)
        pci15ad,7a0, instance #9
        pci15ad,7a0, instance #10
        pci15ad,7a0, instance #11
        pci15ad,7a0, instance #12
        pci15ad,7a0, instance #13
        pci15ad,7a0, instance #14
        pci15ad,7a0, instance #15
        pci15ad,7a0, instance #16
            pci15ad,7b0, instance #0
        pci15ad,7a0, instance #17
        pci15ad,7a0, instance #18
        pci15ad,7a0, instance #19
        pci15ad,7a0, instance #20
        pci15ad,7a0, instance #21
        pci15ad,7a0, instance #22
        pci15ad,7a0, instance #23
        pci15ad,7a0, instance #24
            pci15ad,7b0, instance #1
        pci15ad,7a0, instance #25
        pci15ad,7a0, instance #26
        pci15ad,7a0, instance #27
        pci15ad,7a0, instance #28
        pci15ad,7a0, instance #29
        pci15ad,7a0, instance #30
        pci15ad,7a0, instance #31

Die einzelnen Instanzen müssten eigentlich die dran hängenden Platten sein.

Bin nun etwas ratlos. Muss ich irgendwie einen extra Treiber installieren für das Ding? Oder gibt es sonst noch Ideen?

 

[gea]

LSI 9305 ist ziemlich neu. Auch unter Illumos wird besonders die 24er Version erst seit letztem Sommer unterstützt. Ich würde es mal mit Solaris 11.4 versuchen. Eventuell wird er da unterstützt.

Wenn es da auch nicht geht, eventuell hier fragen
Space: Solaris Beta |Oracle Community

Ansonsten ist er unter Solaris wohl unsupported

 

[besterino]

Broadcom behauptet, Solaris als OS würde unterstützt. Ich probier’s zunächst einmal nativ ohne ESXi-Zwischenschicht und dann ggf. mal mit 11.4.

Habe es übrigens auch einmal mit passthrough in eine Windows-VM versucht, da hat schon jeder Schritt mit Zugriff auf Disks ewig gedauert, hat sie dann als Installationsziel immerhin angeboten bis dann auch der Installer hängengeblieben (nach Auswahl einer anderen Disk nicht am HBA als Ziel) ist.

Mit einer frischen Solaris 11.3 VM ging‘s gestern auch nicht. Werden keine Disks (am HBA) angezeigt.

Was mich so irritiert ist, dass der HBA selbst die Disks artig meldet und z.B. auch ans UEFI durchgibt, so dass ich sie als Auswahl im BIOS-Bootmenü hab. Und eben ESXi sie auch findet.

 

[besterino]

Also Solaris 11.3 nativ geht schonmal NICHT. *kotz*

Wenn ich das richtig verstehe, haben die wohl an der "MPI specification" was verändert... das haben Broadcom und Oracle im Hinblick auf Solaris-Kompatibilität anscheinend "übersehen": https://lists.omniti.com/pipermail/omnios-discuss/2017-September/009303.html

Schätze, das Ding geht zurück zum Händler. Schade. 12G und 24 Disks ohne Expander wäre schön gewesen.

 

[gea]

Könntest du Solaris 11.4 noch testen bevor du den zurückschickst.
Das wäre für die Zukunft ein wichtiger Aspekt.

ps
Unter Illumos war der 9305 schon länger lauffähig, die 24 Port Version
allerdings auch erst seit kurzem (wegen internem 16Port Limit im mptsas Treiber)

 

[besterino]

Klar, kann ich gerne machen. Ist nur grad wieder raus aus dem „Produktiv-System“.

 

[L0rD_LuCk]

zfs zu zfs langsam

Guten Abend @ all

ich habe eine Frage im Bezug auf Kopiergeschwindigkeiten. Folgendes Setup verwende ich.
Solaris 11.3 Server 1 (ASRock Rack EPC612D8 Intel Xeon E5-1620v3 96GB ECC DDR4 raidz2pool1=10x6TB raidz2pool2=10x3TB HP/LSI Logic SAS 9212-4i + IBM M1015 ServeRaid beide IT-Mode)
Solaris 11.3 Server 2 (Gigabyte GA-F2A85X-D3H AMD A8-5600K 32GB DDR3 stripepool=2x5TB)
FreeNAS 11.1 Server 3 (ASUS P10S-I Intel Pentium G4560T 16GB ECC DDR4 mirrorpool=2x10TB)

Alle Pools sind verschlüsselt und alle Maschinen sind mit 1GBit/s verbunden.

Auf der Client Seite sind das Windows-, Linux- und MacOS-Maschinen und Protokoll ist SMB.

Server 1 ist Main-Storage für alle
Server 2 ist Offsite Backup
Server 3 ist Onsite Backup

Einmal pro Jahr wird Server 2 nach Hause geholt und per incremental zfs send/receive von Server 1 auf den aktuellen Stand gebracht.

Mir ist aufgefallen, dass das der Datenaustausch zwischen den ZFS-Kisten einfach zu lange dauert mit Geschwindigkeiten zwischen 30-60MByte/s (vermutlich abhängig von der Dateigröße).
Hab schon einiges ohne Erfolg versucht. (Jumbo Frames, netcat, mbuffer, mit ohne SSH und über SMB)

Besonders merkwürdig ist, dass wenn ich von den Clienten (NTFS/ext4/MacOS-FS) auf egal welchen Server kopiere, komme ich auf 110MByte/s.
Versuche ich aber von egal welchem Server auf einen anderen Server zu kopieren dann dauert es ewig (30-60MByte/s).
Dachte erst es liegt an Solaris, desswegen hab ich den FreeNAS ins Spiel gebracht. Aber auch der tut sich schwer.

Beim letzten Backup auf Server 2 kam mir zufälligerweise ein Scrub auf Server 1 genau zu der Zeit in die quere als das Backup lief. Der Scrub
lief mit 3Mbyte/s normal kommt der auf 800-1000MByte/s. Der incremental Transfer kam aber nur auf 40MByte/s. Meine CPU's langweilen
sich immer - die müssen nix außer ZFS machen - keine virtuellen Maschinen oder so.

iostats hat mir auch nicht verraten wo die Leistung hin ist, jede Platte ist nur minimal ausgelastet während des transfers.

Weiß einer von euch zufällig warum das so ist?
Ich finde nicht so viel dazu und bin jetzt am überlegen ob es was bringt wenn ich mit LACP aus 1GBit/s - 2GBit/s mache - hab aber gelesen das da
viel Overhead im Spiel ist. Also wäre es vielleicht anzuraten zwischen den Servern ein 10GBit/s Netz einzurichten - das ist aber mit nicht unwesentlichen kosten
verbunden die erst mal nicht eingeplant sind, außerdem will man ja auch nicht mit Kanonen auf Spatzen schießen...

Vielen Dank für eure Hilfe

MfG L0rD_LuCk

 

[Trambahner]

Ist bei den langsamen Transfers jeweils Server2 beteiligt? Dann hätte ich zuallererst mal den Realtec-Chip im Verdacht.
Bei Server3 mit einem einzelnen Mirror als Ziel limitiert der vielleicht.
Generell: Sind die HDDs 4k-aligned/mit ashift=12 eingerichtet?

Zum Vergleich: Mit meinem X11/E3-1240v5 auf einen Dell T20 (E2-1225v3) kann ich zfs send/recv mit ~500 Mbyte/s berichten. Egal ob SSH oder NC.
Beiden Maschinen haben 10Gbit-NICs (Intel) und Raidz2-Pools (der Supermicro 6x6TB, der Dell 8*4TB, beide Nas4free/FreeBSD 11).

 

[L0rD_LuCk]

Es geht ums kopieren zwischen allen Servern. Egal ob S1 zu S2 oder S1 zu S3 oder S2 zu S3.
In Server 2 steckt ne Intel NIC der OnBoard Realtek-Chip ist aus.
Server 3 schafft im Scrub knapp unter 200MByte/s.
Ja alle pools haben ashift=12.
Sind deine Pools auch alle verschlüsselt?

MfG

 

[Trambahner]

Nein, bei mir ist nix verschlüsselt.

 

[L0rD_LuCk]

Na da hätten wir dann ja vielleicht eine Antwort?
Bloß alle meine Prozessoren haben AES-Befehlssatzerweiterungen.
Die schaffen auch weit mehr als 100MByte/s.
Weiß einer wie das mit dem ver- und entschlüsseln läuft? Sprich wenn ich ein Backup kopiere wird dann

Die Datei für das übertragen gelesen wofür es zuerst entschlüsselt werden muss, dann wird es für die Übertragung z.B. mit SSH wieder verschlüsselt und dann nach dem übertragen vom anderen System entschlüsselt gelesen und vor dem speichern wieder verschlüsselt?

Sollte das so sein, wäre das recht viel Overhead der sich nicht als CPU-Last darstellt, weil es ja in der AES-Einheit abläuft. Bleibt nur die Frage, ob eine 10GBit NIC das ganze dann überhaupt beschleunigen kann?
Hat sonst jemand hier Erfahrungen mit verschlüsselten Dateisystemen?

MfG

 

[Luckysh0t]

@L0rD_LuCk
Überprüf dochmal, ob nicht dummerweise Sync writes aktiv sind - auf allen Servern/datasets

 

[L0rD_LuCk]

@*******
Ich kopiere von den Clients bis zu 200GB non-Stop mit 110MByte/s.
Die Clients sind aber alle nicht verschlüsselt.

@Luckysh0t
Ich bin mir nicht sicher was du meinst. Sync Writes sind doch nur was, wenn man mit Caches arbeitet oder?
Wenn ich zfs get sync eingebe kommt auf allen Maschinen für Value = standard.

MfG

 

[negotiator]

Nach einigen Experimenten mit Proxmox bin ich vor einiger Zeit wieder zu ESXi mit gea's "all-in-one"-Lösung zurückgekehrt.
Folgendes als Basis:
- ESXi bootet über einen USB-Stick
- Die Solaris-VM mit Napp-it liegt (zusammen mit wenigen anderen VMs) auf einer NVMe-SSD
- Die lokalen SATA-Ports des Boards sind an die Storage-VM durchgereicht
- Storage ist ein Z1-Pool von mehreren Ironwolf-Disks
- Zusätzlich gibt es eine Samsung 960pro, die ebenfalls an die Storage-VM durchgereicht ist und per NFS ESXi einen Datenspeicher bereitstellt.

Das läuft alles prima.
Von den VMs auf der durchgereichten 960pro gibt es täglich über die "ESXi hot-snap"-Funktion einen Snapshot. Wenn nun bei einer der VM etwas schiefgeht, kann ich ganz bequem auf einen älteren Snapshot zurückgehen - super!

Nun möchte ich noch (automatisiert) für einen möglichen Ausfall der 960pro vorsorgen. Dazu soll wöchentlich ein Snapshot auf ein Filesystem des Storage-Pools transferiert werden, zusätzlich möglichst einmal im Monat auf einen Backup-Server (ebenfalls Storage-Pool mit ZFS). Die langen Zyklen sind für mich ok, da lediglich Homeserver-Betrieb ohne professionelles Umfeld.

Wie stelle ich die mit napp-it am sinnvollsten an?
Ich gehe davon aus, dass die "Replicate"-Funktion hier der richtige Ansatz ist, richtig? Wie bekomme ich es denn hin, dass der Replication-Job auf einen Snapshot des "ESXI hot-snap" zugreift und nicht einen eigenen Snapshot macht, der ja im Zweifel innerhalb der VM die Konsistenz nicht sicherstellt?

Wie müsste ich in diesem Szenario für die monatliche Sicherung auf den Backup-Server vorgehen. Braucht es dafür dann zwingend Napp-it Pro?

Vielen Dank vorab!

 

[snipor]

Ich habe mit meinem Server leider ein paar Probleme was die Schreib-/Leseperformance bei Random Zugriffen betrifft.
Hat jemand evtl. ein paar Tipps an welcher Stelle ich am ZFS System drehen muss?

 

[you]

@negotiator:
Ich habe für diesen Fall xsibackup im Einsatz. Ein Tool, das als ZIP File auf den ESXI Host kopiert und entpackt wird und dort in der Kommandozeile oder per cron läuft. In der freien Version kopiert xsibackup zwar immer alles, sollte bei den von Dir genannten Abständen aber vertretbar sein. Die VMs müssen dafür nicht runter gefahren werden. Ausnahme bilden VMs, an die per Passthrough irgendwas durchgereicht wurde. Ich kopiere regelmässig von NFS-VM-Datastore zu NFS-Backup-Datastore.

 

[gea]

Wie stelle ich die mit napp-it am sinnvollsten an?
Ich gehe davon aus, dass die "Replicate"-Funktion hier der richtige Ansatz ist, richtig? Wie bekomme ich es denn hin, dass der Replication-Job auf einen Snapshot des "ESXI hot-snap" zugreift und nicht einen eigenen Snapshot macht, der ja im Zweifel innerhalb der VM die Konsistenz nicht sicherstellt?

Wie müsste ich in diesem Szenario für die monatliche Sicherung auf den Backup-Server vorgehen. Braucht es dafür dann zwingend Napp-it Pro?

Vielen Dank vorab!

Für die Replikation übers Netz bräuchte man napp-it Pro oder ein freies Replikationsscript.

Problem bleibt aber dass der ESXi Hotsnap nur im ZFS Snap vorhanden ist. Da eine Replikation ein Dateisystem repliziert wird der vorherige ZFS Snap nicht mitgenommen. Man könnte jetzt den Snap clonen und das daraus erzeugte Dateisystem replizieren -das geht aber nicht inkrementell.

Eine Möglichkeit die auch nichts kostet wäre rsync mit dem jeweilig neuesten ZFS Snapshot als Quelle. Will man das automatisieren bräuchte es ein kleines Shell oder Perlscript das als other job gestartet wird. Mit rsync verliert man aber die Schnelligkeit von zfs send, sollte aber kein Problem bei gelegentlichen Backups sein.

 

[negotiator]

@you: Danke, werde ich mir mal anschauen!

@gea: Ebenfalls danke, auch wenn es mit napp-it Boardmitteln so erstmal nicht funktioniert. Wäre es nicht ein Ansatz, die "ESXi hot-snap" um eine entsprechende Funktion zu erweitern? Dann wäre doch napp-it auch unmittelbar als Backup-Lösung für den ESXi-Storage brauchbar. Oder lasse ich hier etwas ausser acht?

Wenn ich die ESXi hot-snaps per Script oder dem von "you" vorgeschlagenen xsibackup bei mir lokal im Storage vorliegen habe und demzufolge auch keine VM daraus laufen, ließe sich das Backup auf den Backup-Server dann aber schon per Replikation in napp-it einrichten, oder?
Mit wieviel würde denn die Pro-Version von napp-it bei reinem Home-Use Bedarf zu Buche schlagen? Gerne auch per PN.

 

[you]

Die Preise für Home-User stehen auf der Internetseite: HIER

Zitat:

Nichtkommerzielle Heim-Nutzung

Dafür biete ich die
1 napp-it Pro single extension für 2 Jahre und 50 Euro per Server oder
1 napp-it Pro complete (alle) Extensions von napp-it Pro für 2 Jahre und 100,-- Euro per Server oder
1 napp-it Pro complete, noncomercial home use, unbegrenzt gültig: 300 Euro einmalig
(inkl 2 Keys für den Homeserver und ein Backupsystem)

Diese Preise sind End-Preise für alle privaten Kunden. Sie enthalten bei EU Privatkunden die jeweilige Mehrwertsteuer.

napp-it Pro inkl. Updates

Gemessen an dem, was man dafür geboten bekommt (First-Class-NAS-OS-ready-2-use; Spitzensupport von Gea hier und auch direkt) nicht "billig" aber dennoch ein Schnäppchen. Will sagen, jeden Cent wert

 

[fdiskc2000]

...
Gemessen an dem, was man dafür geboten bekommt (First-Class-NAS-OS-ready-2-use; Spitzensupport von Gea hier und auch direkt) nicht "billig" aber dennoch ein Schnäppchen. Will sagen, jeden Cent wert

Kann ich nur unterschreiben.

 

[you]

Wie gehe ich am besten vor, wenn ich Festplatten von einem HBA auf einen zweiten (neuen) HBA umziehen möchte? Einfach umstecken?

EDIT:

Die Antwort steht hier

Man muß nur nach dem richtigen Wort suchen

 

[gea]

@gea: Ebenfalls danke, auch wenn es mit napp-it Boardmitteln so erstmal nicht funktioniert. Wäre es nicht ein Ansatz, die "ESXi hot-snap" um eine entsprechende Funktion zu erweitern? Dann wäre doch napp-it auch unmittelbar als Backup-Lösung für den ESXi-Storage brauchbar. Oder lasse ich hier etwas ausser acht?

ZFS Snaps mit Esxi Hotsnaps erfolgen auf dem Storagesystem während Replikationen vom Backupsystem gesteuert werden. Beides vom Backupsystem zu steuern wäre fehleranfällig.

Man kann das aber pragmatisch handhaben

Es gibt ein editierbares Pre Script.
Darin werden alte ESXi Snaps gelöscht und ein neuer ESXi Hotsnap erstellt

Dann erfolgt der ZFS Snap (enthält den ESXi Hotsnap)

Dann wird das Post Script ausgeführt.
Darin wird der ESXi Snap wieder gelöscht.

Wenn man jetzt im Post-Script das Löschen des ESXi Snaps auskommentiert so wird dieser auch in einer anschließenden Replikation mitgenommen. Wenn man also damit leben kann dass es immer einen ESXi Snap gibt so geht das damit ganz einfach.

Man muss halt darauf achten dass die ESXi Snaps alsbald gelöscht werden da diese alle Änderungen aufnehmen, damit laufend wachsen und die VM langsamer machen. Eventuell regelmäßig einen other job laufen lassen der ESXi Snaps automatisch löscht.

 

[Luckysh0t]

@Gea

Habe die Tage meinen Filer ans laufen gebracht, und da ich meine Datasets verschlüssle, musste ich erstmal recherchieren was ZFS/Solaris mir anbietet. bzw Nappit zeigt.Bin dann auf How to choose between AES-CCM and AES-GCM for storage volume encryption - Cryptography Stack Exchange gestoßen bez. Erklärung der Unterschiede.Demnach wäre (wenn ich meinem Englisch mal trauen kann) dass GCM Verfahren schneller und sicherer.

Jetzt zeigt Nappit aes 256 ccm als Vorauswahl an - ist das jetz weil Solaris dass so macht, eine Nappit vorbelegung, oder gar nur stupide alphabetisch.. ?


Allerdings macht mich das hier etwas stutzig

There are some nuances that should be noted before using GCM that involve maximum size of the encrypted message and the MAC size. These are called out in the standard (NIST SP800-38D

Bis dahin wusste ich nicht mal, dass es unterschiedliche Arten der Implementation von AES gibt, mal von der Bitlänge abgesehen..

 

[snipor]

Hat jemand einen Tipp wie ich die random write performance unter napp-it verbessern kann? Habe hier leider ziemlich schlechte Werte bei meinem Server.

 

[you]

Ich muß meinem NAS mehr Kapazität spendieren. Der Empfehlung von gea folgend sollen es HGST HE10 Ultrastar werden. Problem ... welche denn

A) Hä?
ISE = Instant Secure Erase
SE = Secure Erase
SED = Self Encrypting Drive (supports BDE and TCG Encryption)

B) Que?
512e Format
4Kn Format

Hint Hint Hint ... wäre für einen Tipp sehr dankbar.

Merci.

 

[gea]

Jetzt zeigt Nappit aes 256 ccm als Vorauswahl an - ist das jetz weil Solaris dass so macht, eine Nappit vorbelegung, oder gar nur stupide alphabetisch.. ?

Das ist default
Encrypting ZFS File Systems - Oracle Solaris Administration: ZFS File Systems

- - - Updated - - -

Ich muß meinem NAS mehr Kapazität spendieren. Der Empfehlung von gea folgend sollen es HGST HE10 Ultrastar werden. Problem ... welche denn

A) Hä?
ISE = Instant Secure Erase
SE = Secure Erase
SED = Self Encrypting Drive (supports BDE and TCG Encryption)

B) Que?
512e Format
4Kn Format

Hint Hint Hint ... wäre für einen Tipp sehr dankbar.

Merci.

A
Hier gehts darum wie schnell und sicher "sicheres Löschen" ist.
Selbstverschlüsselnde Festplatten (SSD, self encrypting drives) Un|SicherheitsBlog
Wenn das egal ist, die billigste nehmen.

Wenn man einen Expander vorhat, SAS nehmen

B
Für ZFS und aktuelle Systeme egal. Die nutzen in beiden Fällen 4k physical und ashift=12.
512E ist zusätzlich kompatibel mit älteren Systemen

- - - Updated - - -

Hat jemand einen Tipp wie ich die random write performance unter napp-it verbessern kann? Habe hier leider ziemlich schlechte Werte bei meinem Server.

Wenn sync=disabled wird ein Slog nicht genutzt.

Insgesamt kann man Random Write verbessern durch
- mehr RAM da dieser als Schreibcache genutzt wird (10% RAM, max 4GB)
- weniger Fillrate. Wenn ein Pool voller wird steigt die Fragmentierung, ideal < 60%
- ein Pool mit mehr iops, entweder durch Poollayout (soviel vdevs wie möglich=Multi Raid-10) oder
- Platten mit mehr iops Optane > NVMe Flash > SSD > HD

- Enterprise Platten/SSD/NVMe mit guten konstanten Schreibwerten statt Desktop Versionen

 

[snipor]

Vielen Dank für Deine Antwort gea

Ich habe sync extra disabled da Du mir ja den Tipp gegeben hattest, dass ein Vergleich ZFS <-> Windows ntfs nicht möglich ist.

Im Moment hat die Storage VM 32GB, d.h. ich müsste auf 40GB erhöhen?

Der Pool ist für die Tests absolut leer.

Ich dachte eigentlich, dass mein Pool sich in etwa wie ein Raid0 verhält, aber er ist bei den Random Schreibwerten ja deutlich schlechter als eine einzelne SSD.

Ich habe einige Threads im FreeNas Forum mit genau diesem Thema gefunden, aber eine Lösung hatte da auch keiner.

Langsam glaube ich, dass mein Server einfach Schrott ist, wenn ich mir Deine Benchmarks in Deinen napp-it PDFs so anschaue kann iwas mit meinem System nicht stimmen.

Mir vergeht langsam die Lust

 

[gea]

Ergebnisse zweier Testumgebungen zu vergleichen ist nicht sinnvoll, auch ist ntfs schneller als ZFS (keine Prüfsummen, kein CoW).

Was soll eigentlich die kleine Recordsize bewirken?
Das ist keine feste Block-Schreibgröße sondern ein Maximalwert. Der tatsächliche Wert ist dynamisch je nach Daten. Meist läßt man das Default 128K, nimmt etwas kleineres (nicht unter 32K) z.B. für Datenbanken oder VMs oder einen größeren Wert bis 1M für größere Dateien oder um weniger Verschnitt zu haben. Zu kleine Werte machen ZFS ineffektiv (Schreibcache, Compress, Dedup etc).

PS
Alle ZFS Eigenschaften wie Prüfsummen, CopyOnWrite, Dedup, Compress arbeiten auf diesen Blöcken