[Sammelthread] ZFS Stammtisch

Ich vermute mal, dass iostat -En den Stick zeigt.
Das würde den removed status erklären.

Geht denn ein manuelles Erzeugen des Pools z.B. per (mit der id aus iostat)
zpool create poolname usbstickid
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
ich hab es mit neuer GUID und bestehender probiert. Sobald ich den Initiator verbinde, will das System das Volumen formatieren.

- - - Updated - - -

Wahrscheinlich hab ich es übersehen, aber ich würde gerne das WebUI von Napp-it an eine NIC fest binden.
Frage: geht das ?
 
ich hab es mit neuer GUID und bestehender probiert. Sobald ich den Initiator verbinde, will das System das Volumen formatieren.

Im Prinzip verhält sich iSCSI so wie z.B. Windows wenn man einen USB Stick einsteckt.
Ist darauf kein oder ein unbekanntes Dateisystem wird formatieren angeboten ansonsten wird der Stick gemountet.

Format ist also falsch. Ich würde mal testhalber ein LUN/Target auf einem zvol anlegen, in einem Initiator mounten und formatieren und eine Testdatei anlegen und dann das zvol replizieren. Anschliessend Import und erneut ein LUN anlegen und mounten. Die Testdatei sollte erhalten sein.

Wahrscheinlich hab ich es übersehen, aber ich würde gerne das WebUI von Napp-it an eine NIC fest binden.
Frage: geht das ?

Nic geht nicht. Man kann aber per ipf Firewall den Zugriff auf eine IP oder einen Bereich eingrenzen.
Per napp-it Pro z.B. im Menü Appliance > Security, ansonsten durch manuelles Editieren der ipf Config.
 
Ich vermute mal, dass iostat -En den Stick zeigt.
Das würde den removed status erklären.

Geht denn ein manuelles Erzeugen des Pools z.B. per (mit der id aus iostat)
zpool create poolname usbstickid

iostat ausgabe:

c15t0d0 Soft Errors: 0 Hard Errors: 0 Transport Errors: 0
Vendor: Intenso Product: Ultra Line Revision: 1.00 Serial No:
Size: 0.00GB <0 bytes>
Media Error: 0 Device Not Ready: 0 No Device: 0 Recoverable: 0
Illegal Request: 23 Predictive Failure Analysis: 0


c15t0d0 wäre die id , die du meinst oder ?

- - - Updated - - -

oohh manuel konnte ich schonmal einen pool anlegen


aber wie komme ich jetzt auf den stick ? wenn ich jetzt einen zfs dateisystem anlege sind ja alle dateien auf dem stick weg ....
es gibt doch bestimmt eine möglichkeit auf das fat32 filesystem zu kommen
 
habe jetzt die daten runter genommen und einfachmal auf dem usbpool zfs erstellt,
soweit alles ok, zugriff ist vorhanden etc.

jedoch würde ich gerne sticks mit fat32 mounten wollen, ich selber komme aus der debian welt muss sagen ich tu mich mit omnios sehr schwer. wie funktioniert das bei euch ? oder werden die sticks über einen anderen Client gelesen und beschrieben ?
 
Solaris ist Big Data, Server und ZFS only.
Direkt unterstützt es nur ZFS Pools, die aber "Best of All".
UFS, Fat 32, ntfs geht nur mit Tricks oder Extra Packeten.

Ich würde tatsächlich einen ZFS Pool auf USB nutzen wenn es um Backup geht (eventuell mit copies=2 damits zuverlässiger ist). Geht es um Datentransport, würde ich den Stick am Desktop/ Laptop einstecken und per SMB füllen.
 
@gea: bist Du sicher, dass Solaris FAT nicht unterstützt? Ich meine mich zu erinnern, dass Solaris 11.3 einen USB-Stick von mir mit FAT jedenfalls lesen konnte.

Laut OracleDoc kann man sogar FAT-Partitionen/Filesysteme erstellen: siehe hier den Befehl ganz unten

Angeblich kann Solaris FAT auch mounten, zumindest für Festplatten. Dann müsste das doch auch sowas auf 'nem USB-Stick zumindest lesen können.

Soweit die Theorie und meine lückenhafte Erinnerung - ich kann das leider erst heute Abend ausprobieren.

@NAS4me für weitere Google-Recherchen: In der Solaris-Welt heißt das übrigens nicht "FAT" oder "FAT32" sondern PCFS (aber ich habe leider nun auch keine Ahnung wie das speziell unter OmniOS aussieht - da ist alles oft ein wenig anders).
 
@gea: bist Du sicher, dass Solaris FAT nicht unterstützt? Ich meine mich zu erinnern, dass Solaris 11.3 einen USB-Stick von mir mit FAT jedenfalls lesen konnte.

Laut OracleDoc kann man sogar FAT-Partitionen/Filesysteme erstellen: siehe hier den Befehl ganz unten

Angeblich kann Solaris FAT auch mounten, zumindest für Festplatten. Dann müsste das doch auch sowas auf 'nem USB-Stick zumindest lesen können.

Soweit die Theorie und meine lückenhafte Erinnerung - ich kann das leider erst heute Abend ausprobieren.

@NAS4me für weitere Google-Recherchen: In der Solaris-Welt heißt das übrigens nicht "FAT" oder "FAT32" sondern PCFS (aber ich habe leider nun auch keine Ahnung wie das speziell unter OmniOS aussieht - da ist alles oft ein wenig anders).

Solaris "unterstützt" UFS und Fat32 und sogar ntfs über entsprechende Packete,
vgl Mount NTFS / Ext2 / Ext3 / FAT 16 / FAT 32 in Solaris | Oracle Pradhap s : UNIX Corner Blog

oder für CD: http://napp-it.org/doc/ESXi-OmniOS_Installation_HOWTO_en.pdf

Das heisst aber nicht, dass man damit was sinnvolles anfangen kann.
Üblicherweise arbeitet man ja extern und über shares. Das geht nunmal nur über ZFS und die lokale Fummelei über ssh nur um per lokalem mount etwas per Konsole auf einen USB Stick zu ziehen ist wohl eher unproduktiv.

Daher mein Tip, USB FAT 32 Sticks am lokalen Rechner und gut, keine Fummelei, geht einfach.
 
Zuletzt bearbeitet:
erstmal danke euch beiden.

ich muss aber hier kapitulieren. diese fummelei will ich mir wie gea schon sagt nicht antun.

ich bleibe bei dem reinen omnios napp it template von gea.
sticks werde ich dann via smb lesen/schreiben. ich meine , eine NAS muss den schnick schnack per usb nicht (meine Meinung)haben.

wenn zfs stabil läuft reicht mir das eigentlich. habe halt noch 2 wichtige punkte ...

was könnt ihr empfehlen, mediatomb oder owncloud ? soll halt familienfreundlich sein :-)

zweiter Punkt: werde 2x 8 TB HDDs einbauen als 1 Pool (der wird dann automatisch gestrippt soweit ich weiß)
möchte diese kontinuierlich benutzen für Bilder Musik Videos der Backup läuft seperat.

würden für meine zwecke 2 Cores via esxi und 16 GB Ram reichen ? cpu:xeon 1230v3 und der ram hat 1600mhz

- - - Updated - - -

ach da wäre noch was, nutzt ihr für eure vm's mit napp it den vmware nic oder reicht ihr die nic's per passth. durch ?
 
Ich würde auf jeden Fall vermeiden, die Storage VM mit anderen Diensten zu befrachten.
Storage pur braucht man dauernd und ohne Extra Dienste ist das selbst nach TotalCrash in 2 Minuten per Template wieder aufgesetzt. Also am Besten eine Extra VM mit einem Media oder Cloud Server - OS nach Wahl

zum RAM
16 GB total ist ok, mehr wäre durchaus sinnvoll.
ab 8GB für Storage VM, 2 GB für ESXi und dann je nach VM

zum Netz
Am Einfachsten ist es, die VMWare nic zu nutzen und alle VMs per schneller vmxnet3s anzubinden.
 
Zuletzt bearbeitet:
dlna mediatomb hast du im selber im programm, dachte vielleicht wäre das zuempfehlen......

wäre es sowieso für den traffic innerhalb des netztes nicht besser eine cloud auf dem storage zuhaben ?
Storage+Cloud ----> client X
sonst müssen doch die daten von

Storage ----zum--->Cloud-Server---danach----> --->Client

oder regelt esxi dies automatisch ohne zusätzlich traffic/Last zu erzeugen ?
 
Für den 1230v3 dürfte das nicht mal ein müdes Lächeln hervorrufen. Das sollte gar kein Problem sein, wenn Du Vmxnet3 als VNics nimmst. Über Vmxnet3 greif ich z.B. innerhalb einer Maschine auch auf NFS-Freigaben von SSD-only oder NVME-Pools. Und stelle diese NFS-Freigaben dem ESXI als Datastore wieder zur Verfügung. Du solltest mal VMs drauf rennen sehen: Windows-Boot in 4-5 sek und die gefühlte "Schwupdizität" ist genial.
ZFS zusammen mit ESXI hat meine Storage- und Gerätestrategie daheim komplett geändert.

Wie gea schon schreibt, würde auch ich die Storage-VM immer auch nur für Storage verwenden. Einfacher zu warten, einfacher zu erweitern/verändern.
 
Zuletzt bearbeitet:
Der entscheidende Punkt für mich ist:
Je mehr man auf dem Storage OS installiert desto komplizierter/ anfälliger wird das.
Zudem muss man sich dann Gedanken über Backup/Restore machen. Eine einfache OmniOS Storage VM braucht kein Backup.

Wenn man diese Dienste in eine VM auslagert, so laufen diese völlig unabhängig vom Storage. Da die VMs auf ZFS liegen kann man zudem einfach Snaps/ Backups dieser VMs erstellen. Die weiteren VMs haben ihre Daten auch auf ZFS. Je nach VM gibts die Optionen direkter ZFS Zugriff (LX Container) oder iSCSI, NFS oder SMB
 
also:
ESXI-Host ---->VM1(nappit) ------>extra-Pool mit den anderen VM's auf SSD
| ^
| |
VM2,3,4,5 ---NFS-->|

dann werde ich mal auf NFS/SMB setzen müssen.

danke euch beiden ....
 
ZFS Encryption

Teste gerade die aktuelle Implementierung von ZFS Encryption (bei mir unter Smartos) und wollte euch mal ein wenig zu Zähne lang machen, was da so kommt. :hail:
Die derzeit beste (weil einzige) Doku sind die man-pages, hier mal ein kleiner Auszug:

Encryption
Enabling the encryption feature allows the user to create natively
encrypted filesystems and volumes. ZFS will encrypt all user data
including file and zvol data, file attributes, ACLs, permission bits,
directory listings, FUID mappings, and userused/groupused data. ZFS will
not encrypt metadata related to the pool structure, including dataset
names, dataset hierarchy, file size, file holes, and dedup tables. Key
rotation is managed internally by the ZFS kernel module and changing the
user's key does not require re-encrypting the entire dataset. Datasets
can be scrubbed, resilvered, renamed, and deleted without the encryption
keys being loaded (see the zfs load-key subcommand for more info on key
loading).

Creating an encrypted dataset requires specifying the encryption and
keyformat properties at creation time, along with an optional keylocation
and pbkdf2iters. After entering an encryption key, the created dataset
will become an encryption root. Any descendant datasets will inherit
their encryption key from the encryption root, meaning that loading,
unloading, or changing the key for the encryption root will implicitly do
the same for all inheriting datasets. If this inheritence is not desired,
simply supply a new encryption and keyformat when creating the child
dataset or use zfs change-key to break the relationship. The one
exception is that clones will always use their origin's encryption key.
Encryption root inheritence can be tracked via the read-only
encryptionroot property.

Encryption changes the behavior of a few ZFS operations. Encryption is
applied after compression so compression ratios are preserved. Normally
checksums in ZFS are 256 bits long, but for encrypted data the checksum
is 128 bits of the user-chosen checksum and 128 bits of MAC from the
encryption suite, which provides additional protection against
maliciously altered data. Deduplication is still possible with
encryption enabled but for security, datasets will only dedup against
themselves, their snapshots, and their clones.

There are a few limitations on encrypted datasets. Encrypted data cannot
be embedded via the embedded_data feature. Encrypted datasets may not
have copies=3 since the implementation stores some encryption metadata
where the third copy would normally be. Since compression is applied
before encryption datasets may be vulnerable to a CRIME-like attack if
applications accessing the data allow for it. Deduplication with
encryption will leak information about which blocks are equivalent in a
dataset and will incur an extra CPU cost per block written.

Fragen?

cu
 
Ich hab schön die PRs auf Github abonniert...Kam aber noch nicht zum testen.
 
Mal eine vll. blöde Frage. Ich habe jeweils in den Napp-IT Installationen 1x 1GBit und 1x 10GBit.
Nun möchte ich Management und Datentransfer trennen. Also letzteres natürlich gezielt über 10GBit.
Wenn ich einen Server selbst anspreche ist es logisch, da nutze ich die entsprechende IP. Aber wie läuft es denn beim Replikations-Job?

Also der Gen8 als bare-metal Backup holt sich beim M310e die Daten über die 10GBit IP. Aber woher weiss ich / kann ich steuern, das der Gen8 auch über die eigene 10Gbit rausgeht?
Habe ich gerade einen Hirn-Klemmer oder die läuft das?
Ach ja, angeschlossen sind alle aktuell am TP-Link 1700 Switch.
 
Wenn man mehrere Netwerkkarten gleichzeitig nutzt, sollte jede in einem anderen Subnet liegen, die eine also z.B. in 192.168.0.x und die andere in z.B. 192.168.1.x. Über die IP kann man dann den Traffic steuern.
 
Ich habe zum Beispiel die "Appliance Group" über die IP des 10Gbit Netzes erstellt, d.h. die Kisten kennen sich unmittelbar nur über das 10Gbit-Netz, die Weboberfläche erreiche ich aber eben (auch) über das 1Gbit Netz.
 
Danke @gea und @besterino. Hätte man drauf kommen können ;) Scheint auf jeden Fall zu funktionieren. Vielen Dank.
Wenn ich iperf richtig verstehe komme ich im ersten Anlauf schonmal auf gute 7GBit

Code:
[  4]   9.00-10.00  sec   126 MBytes  1.05 Gbits/sec                  
[  6]   9.00-10.00  sec   122 MBytes  1.02 Gbits/sec                  
[  8]   9.00-10.00  sec   117 MBytes   975 Mbits/sec                  
[ 10]   9.00-10.00  sec   119 MBytes   996 Mbits/sec                  
[ 12]   9.00-10.00  sec   113 MBytes   942 Mbits/sec                  
[ 14]   9.00-10.00  sec   110 MBytes   924 Mbits/sec                  
[ 16]   9.00-10.00  sec   104 MBytes   871 Mbits/sec                  
[ 18]   9.00-10.00  sec  98.1 MBytes   821 Mbits/sec                  
[SUM]   9.00-10.00  sec   909 MBytes  7.60 Gbits/sec
 
ich verstehe nicht, wie ihr das mit der 10gbe Anbindung macht, die Switche sind "sau" teuer, sind in letzter Zeit günstiger geworden aber dennoch für private Zwecke noch zu teuer, dann kommt noch der Stromverbrauch dazu ...



@gea noch ne Frage an dich, hab 2 x 8 TB Platten möchte diese als basic pool also gestrippt anlegen. Beim Anlagen wird man j gefragt ob man 10 % abziehen und reservieren möchte als Überlauf(schutz). ist diese Funktion zu empfehlen deiner seits oder meinst du , das es evtl. nicht nötig ist ? Macht immerhin fast 1,5 TB aus.
 
Ich habe einen TP-Link T1700G-28TQ 24-Port Gigabit Smart Switch: Amazon.de: Computer Zubehör für 181€ ergattern können. Der Stromverbrauch ist unwesentlich höher als zuvor.
Die NIC sind für 25 Euro zu haben. Also alles durchaus machbar.

Einziger Wermutstropfen:

Die Mellanox Connect X2 sind unter OmniOS, OI nicht lauffähig. Unter Solaris 11.3 liefen sie aber ohne Probleme.
Das zugehörige pkg nennt sich mcxe(7)
Ich versuche grade das pkg zu extrahieren und in OmniOS einzuimpfen.....
 
Zuletzt bearbeitet:
@xymos
habe einen cisco sg300 52, den habe ich auch günstig bekommen aber der hat kein 10 gbe leider, für Storage werde das schon nicht schlecht.
habe aber im server 6 gigabit nics werde 4 davon nutzen und versuchen so schlau wie möglich zu verteilen ...
 
Du brauchst ja nicht zwingend einen Switch :) Storage --> Client geht auch von NIC zu NIC.
Das Cisco "Monster" würde ich verlaufen und mir was leises kaufen, was on TOP auch noch schneller ist.
 
Zuletzt bearbeitet:
Du brauchst ja nicht zwingend einen Switch :) Storage --> Client geht auch von NIC zu NIC.
Das Cisco "Monster" würde ich verlaufen und mir was leises kaufen, was on TOP auch noch schneller ist.


die hardware ist in einem schrank verbaut, da stört mich das nicht unbedingt.
was genau könntest du empfehlen welches "on TOP" schneller wäre ?
 
@gea noch ne Frage an dich, hab 2 x 8 TB Platten möchte diese als basic pool also gestrippt anlegen. Beim Anlagen wird man j gefragt ob man 10 % abziehen und reservieren möchte als Überlauf(schutz). ist diese Funktion zu empfehlen deiner seits oder meinst du , das es evtl. nicht nötig ist ? Macht immerhin fast 1,5 TB aus.

Das ist eine Reservierung auf Poolebene.
Kann man jederzeit ändern oder löschen (Menü ZFS Dateisysteme)
 
Hallo Leute,
nachdem mein Server jetzt seit einem Jahr recht problemlos läuft (dank der Hilfe hier!) muss ich jetzt mal nachfragen: Ich habe mit einem Programm echt große Probleme auf Dateien zuzugreifen. Es geht, dauert aber alles ewig lange. Konkret geht es um Capture One und Bilder.
Der Pool mit dem Problem hat zwei Filesystems die sich eigentlich nur durch ihre Größe und Snapshoterstellung unterscheiden.

Das Problem besteht darin das eine bestimmte Operation ewig lange dauert. Procmon zeigt das:
Problem ZFS_.png
und das passiert bei jedem Bild in einem Ordner wenn man in diesen navigiert. So ist das ganze unbenutzbar.
Auf der normalen Systemplatte, einem super einfachen Synology NAS, einem Windows Server Share oder auch nur dem anderen Filesystem auf dem Pool wenn es gerade geschrieben wurde und damit wahrscheinlich noch im RAM liegt dauert es mehr so 1ms. Das ist dann doch Faktor 5000 und ein klein wenig zu viel.
Ich bilde mir ein das bevor ich eine Domäne eingerichtet habe ich hin und wieder auch mal Zugriffsprobleme bei meiner auf dem selben Share liegenden Musik hatte (so ca. 5s Pause bei Liedwechsel). Jedoch hatte ich das auf irgendwelchen Rechteunfug geschoben und nach dem Domänenbeitritt ging es (kann aber auch eine der vielen anderen Änderungen gewesen sein)

Ich hab jetzt schon alles mögliche probiert, L2ARC weg, ZIL weg (war ein verzweifelter Versuch ...), atime auf off, Kompression an (war an sich sicherlich gut) und und und. Sync Writes hab ich auch testweise erfolglos aus gemacht (irgendwann ist man noch verzweifelter). Ich habe keine Ahnung was es noch sein kann.
Wenn ich auf das System schreibe oder lese schaffe ich normalerweise immer die 110 möglichem MByte/s ohne irgendwelche Pausen.

Es ist ein raidz1 mit 4 5TB Platten unter esxi mit 18 GByte RAM. Die CPU mit 4 virtuellen Kernen langweilt sich.

Ich hoffe sehr das da jemand eine Idee hat und mir einen Tipp geben kann. Sonst hab ich da echt keine Performance Schwierigkeiten.

Mit besten Grüßen
Andreas
 
ich hatte ein ähnliches Problem auch mal. Hab es lösen können, indem ich die e1000 NIC durch VMNET3 ersetzt habe.
Welches OS setzt auf ZFS bei dir ?
 
Hätte man schreiben können ... ich hab ein napp-it was in der Grundkonfig rund ein Jahr alt ist. Ich nutze schon ein vmxnet3 Interface.
Ich habe das OmniOS und das napp-it die letzten Tage auch auf die jeweils neusten Versionen geupdatet. Also 17.01 und r151022 (getstartet bin ich bei r151018). Wenn da irgendwas gefixt wurde was man noch "aktivieren" muss hab ich es nicht gemacht (da keine Ahnung).

Ich habe keine Jumbo Frames an. Allerdings kann ich mir da echt nicht vorstellen das es hilft. Bringt mir ja sonst auch nichts.
 
Mit manchen Programmen kann es Locking Probleme bei SMB Netzwerkshares geben.
Unter OmniOS kann das Locking Verhalten umschalten.

Einfach mal folgendes in der Console (oder napp-it Console Eingabe) versuchen:
svccfg -s network/smb/server setprop smbd/oplock_enable=false
Den SMB Service sicherheitshalber neu starten.

Alternativ folgendes versuchen
nbmand probehalber kurz umschalten (Menü ZFS Dateisysteme)
Umschalten auf SMB1 (Menü Services > SMB > Properties > max_protocol=1)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh