[Sammelthread] ZFS Stammtisch

[gea]

zu 10G Base-T
Das kann man auch zunächst mit einem 1G Switch verbinden und später den Switch auf 10G nachrüsten.
Relativ "günstige" 10G Base-T Switche gibts mit Netgear XS 708 und Dlink 1210, da kommt aber sicher noch mehr.
10G Base-T wird ja gerade erst bezahlbar bzw. ist auf vielen Serverboards jetzt direkt verbaut.
Zwei Rechner könnte man auch ohne Switch direkt verbinden.

10G finde ich ziemlich wichtig.
Nur damit geht die Performance einer SSD übers Netz und man kann Terabyte Daten in erträglicher Zeit umkopieren/ sichern.

zu 3 x DIMM und 4 Speicherkanäle.
Wird bei vielen Boards gehen, bringt aber nicht die volle Performance,
besser 4 oder 8 Module einbauem.

Zu Raid und mehrere Platten fallen aus.
Mit Hardware Raid möchte ich nicht testen was passiert, wenn die Hälfte der Platten wegfällt.
ZFS ist aber darauf ausgelegt. Wenn z.B. bei einem 5 Platten Raid-Z1 eine Platte ausfällt, geht der Pool auf degraded,
bei zwei oder mehr Platten geht er auf offline. Er bleibt dann solange offline bis mindestens beliebige 4 Platten wieder online sind.

Was dann eventuell passiert ist ein Resilvering um die Daten auf Konsistenz zu prüfen.


zu ESXi internem Traffic über den virtuellen Switch.
Der Traffic geht gar nicht nach draussen. Da ist die physikalische Netzwerkkarte egal.

 

[bogomil22]

Brauchst nicht zurück flashen..Kannst einfach nochmal ROM und BIOS löschen (sas2flsh -o -e 6) und direkt ohne reboot wieder die Firmware (nur die FW, ohne -b Option fürs Bios) drauf (sas2flsh -o -f 2118it.bin)

Danke! Damit probiere ich es.
BTW: für ZFS ohne Probleme ist die P19 zu nehmen, richtig? Diese kann ich direkt bei avagotech.com -> 9211-8i -> "UEFI_BSD_P19" runterladen und auf den M1015 flashen ?!


----

@gea:
(1) Danke für die Auskunft und ich gebe dir recht mit 10Gbase-T, ich finde es auch wichtig und allemal schön zu haben Wusste bisher gar nicht das 10G über Cat6 überhaupt geht. Dachte man brauch CAT7 (was ja anderen Stecker als Cat6 hat) bzw. Glas oder spezielle Kabel. Mit der Intel x540 kann man aber von 10mbps bis zu 10Gbps mit traditionellen Cat-Kabeln -> echt top!
Und treibertechnisch auch keine Probleme (VMware, OmniOS,...) ?

(2) der LSI 3008 aus dem verlinkten ASROCK Board kann genauso (servethehome) geflasht werden? (IT Mode) ?

 

[besterino]

Die x540 wird so ziemlich von allem unterstützt. Habe die selbst unter Win7-10, Solaris, OmniOS, Ubuntu und Winserver 2012R2-2016TP4 im Einsatz (gehabt).

- - - Updated - - -

...und ESXi 5.5/6.

 

[stifu1]

Das aktuelle OmniOS lässt sich als OVA exportieren und importieren
- aber nur auf einen ESXi Datastore und nicht auf die USB Sticks. Die nimmt ESXi nicht als Datastore.

Danke, dann werde ich die mal machen.

Ich vermute, bisher ist das so gelöst, dass die USB Sticks durchgereicht werden
und OmniOS direkt davon bootet - eine interessante Lösung.

Klappt aber nur über Umweg, da ESXI Guests USB nicht als Bootmedium akzeptieren, man braucht eine angepasste plop.iso als Bootmedium dass dann in der Lage ist, die VM ab USB zu starten...

Bei den VMs auf dem ZFS Storage braucht man keine Snaps.
Einfach nach einem Crash den Pool und dann die VMs importieren.
Snaps braucht man nur, wenn man einen älteren Stand einer VM braucht (Versionierung)

Es würde mir mehr darum gehen, dass ich nach einem Crash oder fehlgeschlagenen Update, die letzte funktionierende Version wieder herstallen könnte

 

[morph027]

@bogomil22 FreeNas schlägt vor, dass die Firmware zum Treiber passen soll. Ich nutze die P20 schon lang auf vielen Systemen (BSD und Linux) ohne Probleme.

 

[layerbreak]

(8) Die DD Cine S2 TV-Karte (PCIe) würde ich gerne durchreichen an eine VM. Ist das möglich?

Ja, das geht - zumindest bei mir mit meiner Hardware-Config.
Du musst die Karte auch per passthrough direkt an die VM durchreichen.

Obs mit ESXi 6.x geht weis ich nicht, bei mir läuft ESXi 5.5 Build 2718055 anstandslos.
Meine Config siehe Footer

 

[CommanderBond]

Gibts eigentlich Leute hier die auch Probleme mit Offline Dateien haben? Ich nutze OmniOS + Windows 7,8,10 und auf mehreren Windows Rechnern funktioniert es nicht zuverlässig. Wenn ich Ordner/Dateien lösche sind die nachdem ich auf aktualisieren klicke (F5) wieder da. Bei Ordnern gibt es dann auch mal ganz gerne Probleme mit den Rechten nach so einem Löschversuch, sodass der Ordner zwar noch da ist, aber man sämtliche Rechte verloren hat und sich der Ordner dann von dem PC aus gar nicht mehr löschen lässt.

Fehlerbild ist immer das gleiche, egal welcher Windows PC. Hat das eventuell mit SMB1 zu tun?

Und noch was anderes: Habe auf meinem Windows 10 PC Hyper-V installiert. Ich wollte das Festplatten Image allerdings auf meinem NAS (OmniOS) lassen. Hab Hyper-V den Pfad mitgeteilt, doch beim Starten der virtuellen Maschine gab es einen Fehler, angeblich kann er nicht drauf schreiben. Das Benutzerkonto hat allerdings Vollzugriff. Mir ist aufgefallen dass danach der besagte Ordner auf dem Server weitere ACL Einträge hatte, manche davon waren ReadOnly meine ich. Was passiert da? Gibt es Programme die quasi ne eigene SMB Verbindung herstellen und nicht über den Windows Explorer gehen? Und dann auch eigene Benutzeraccount brauchen/haben möchten? Hatte die Datei danach auf den Rechner kopiert und lokal ging es dann.

 

[LichtiF]

Zu Hyper-V VMs über SMB geht erst ab SMB3.

Gesendet von meinem HTC EVO 3D X515m mit der Hardwareluxx App

 

[besterino]

Jau, VM images für Hyper-V kannst Du nur lokal oder auf iSCSI ablegen. Habe ich auch ewig versucht, geht leider nicht mit OmniOS oder Solaris SMB-Freigaben.

 

[teqqy]

Zu Hyper-V VMs über SMB geht erst ab SMB3.

Gesendet von meinem HTC EVO 3D X515m mit der Hardwareluxx App

Stimmt so nicht. Habe VMs auf auf einem Synology SMB 2 Share liegen. Lediglich der Failovercluster sollte nur mit SMB3 funktionieren.

Normalerweise geht es auch um das Computerkonto und nicht um einen Benutzer.

 

[CommanderBond]

Meine auch dass mit SMB3 jediglich ein paar Dinge hinzugekommen sind.
Kann mir einer erklären warum ich Raw Size 928GB und Usable 979GB habe? Sollte Raw Size nicht größer sein? Handelt sich dabei um ein mirror aus 2 Platten á 1TB.

Hängt das mit LZ4 komprimierung zusammen dass er mehr anzeigt?

 

[LichtiF]

Ok wieder mal eine Sache die ich hier immer vergesse (Wie auch schon bei der Diskussion zu USB Datastores bei ESXi)

Microsoft gibt nur Support ab SMB3 (wobei es bei Synology ab DSM 5.2 auch SMB3 gibt wenn auch nicht mit allen Funktionen)

 

[gea]

SMB3 auf beliebigen Unix (BSD, Solaris) oder Linux gibts derzeit nur mit den neuesten SAMBA Versionen,
hat nichts mit einer speziellen Distribution zu tun. Lediglich der kernelbasierte SMB unter Solarish ist derzeit auf SMB 2.1.

Wenn man allerdings die neuesten Microsoft SMB3 Features nutzen möchte, dann würde ich einen 2012R2 Server nehmen. Wenn einem dann ReFS noch zu langsam oder unflexibel ist, dann ist ein Microsoft Server mit oder ohne Hyper-V sowie ZFS Storage unter iSCSI eine Option.

 

[gea]

Kann mir einer erklären warum ich Raw Size 928GB und Usable 979GB habe? Sollte Raw Size nicht größer sein? Handelt sich dabei um ein mirror aus 2 Platten á 1TB.

Hängt das mit LZ4 komprimierung zusammen dass er mehr anzeigt?

Die Anzahl der Bytes die eine Platte speichern kann, ist ist fest und steht auf der Platte.
Andere Angaben hängen davon ab, welches Tool man benutzt.

Raw Size ist eine Angabe von zpool list. Die zeigt oder addiert bei Raid-Z einfach die Plattenangaben ohne sich um Redundanz oder Struktur zu kümmern. Usable bzw free wird durch andere Tools wie zfs list oder df ermittelt. Die geben jeweils andere Angaben, sind aber nur Anhaltspunkte da es von der Datengröße, der Blocksize, der Komprimierung und anderen Faktoren abhängt, wieviel Daten man noch speichern kann oder was "Usable" oder "free" bedeutet.

 

[CommanderBond]

Seit wann geht denn der Zugriff über den Hostnamen nicht mehr? Früher tauchte mein Server unter "NAS" in der Netzwerkumgebung auf. Jetzt mit der neuesten Stable OmniOS tut er das nicht mehr sondern ist nur noch ausschließlich über die IP erreichbar.

Das AMP Installationsscript funktioniert mit der aktuellen Stable auch nicht. Habe es sowohl auf einem Microserver N36L als auch auf einem ML10v2 getestet. Installationsverlauf: OmniOS => Nappit => AMP.

Logs kann ich bei Bedarf noch posten, es sei denn das Problem ist ohnehin schon bekannt.

 

[gea]

Mit OmniOS 151016 habe ich mich noch nicht weiter beschäftigt. Ich werde die selber auch komplett überspringen da mit der nächsten 151018 vorraussichtlich im März eine umfassende Erneuerung des SMB Moduls angekündigt ist und ich mich mit der aktuellen bloody darauf vorbereite.

Ich habe aber bisher keine Hinweise auf ein generelles Probleme mit SMB bei OmniOS irc oder in der Mailliste omnios-discuss gesehen. Die 151016 bringt vor allem "resumable zfs send" und ein paar sonstige kleinere Fixes. SMB sollte eigentlich wie bei der 151014 long term stable funktionieren.

neues bei Illumos und im nächsten OmniOS, siehe u.a.
https://www.illumos.org/issues/1527
https://www.illumos.org/issues/6398
https://www.illumos.org/issues/6399
https://www.illumos.org/issues/285
https://www.illumos.org/issues/6352
https://www.illumos.org/issues/1122


zum AMP Installationsscript
napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux : Extensions

Ich selber habe den neuen amp Installer auch noch nicht genutzt.
Zos, der dieses Community Add-On betreut, hat vor ein paar Tagen eine neue Version des Installers hochgeladen.
Eventuell mal die Vorversion amp-15.2.1 testen bzw. bei der Installation sehen wo es scheitert.


Was funktioniert denn nicht?
Im Zweifel bei OmniOS 151014 long term stable bleiben.

 

[hbam]

Hallo,

auf unserem Server läuft bis dato Proxmox-3 mit einem Adaptec-6805 Raid-Controller incl. BBU (Raid-6 / 5x 1TB SAS Platten).
Da die aktuelle Proxmox-4 Version nun inzwischen ZFS direkt unterstützt, sind wir am überlegen, ob wir beim Upgrade auf PVE4 mit dem RAID-6 weiter machen, oder auf ZFS umsteigen sollen.
Bzgl. der Hardware stellt sich nun die Frage, ob das mit dem Adaptec-6805 überhaupt geht?
Ich hatte heute kurz dazu beim Adaptec Support angerufen und gefragt, ob es für den Controller auch so eine Art IT-Firmware gibt, um daraus einen reinen HBA zu machen. Der Support meinte, dass es zwar keine spezielle FW gibt, der Controller aber einen JBOD-Modus hat, der die Platten ja dann 1:1 durchreicht.

Frage: wäre das dann auch ok für ZFS, oder hätte das irgend einen Nachteil?
Bzw. hat schon jemand Erfahrung mit diesem Controller bzgl. ZFS?

Freue mich über Infos dazu.

hbam

 

[CommanderBond]

Habe den aktuellen Installer (vom 18 Dez.) benutzt, und sowohl danach auch nochmal den alten probiert. Zumindest mit OmniOS 151016 gehen sie aber beide nicht. Beides hab ich mit nem ML10v2 getestet. Bei dem Microserver nur die aktuelle Version, werde da aber zurückgehen auf die 14er Version von OmniOS jetzt in der Hoffnung der Installer funktioniert und mein NAS taucht wieder in der Netzwerkumgebung auf.

Log werde ich nochmal posten, ich mein aber er hat gemeckert weil er irgendwelche Verzeichnisse nicht finden konnte.

 

[zos]

Habe den aktuellen Installer (vom 18 Dez.) benutzt, und sowohl danach auch nochmal den alten probiert. Zumindest mit OmniOS 151016 gehen sie aber beide nicht. Beides hab ich mit nem ML10v2 getestet. Bei dem Microserver nur die aktuelle Version, werde da aber zurückgehen auf die 14er Version von OmniOS jetzt in der Hoffnung der Installer funktioniert und mein NAS taucht wieder in der Netzwerkumgebung auf.

Log werde ich nochmal posten, ich mein aber er hat gemeckert weil er irgendwelche Verzeichnisse nicht finden konnte.

Es liegt am aktuellen OmniOS r151016. Der Befehl "gtar" ist nicht mehr Bestandteil der Distribution (Im Script wird ein "curl https://pkgsrc.joyent.com/packages/SmartOS/bootstrap/bootstrap-2015Q3-x86_64.tar.gz" nach "gtar" gepiped). In der Version r151014 ist der Befehl hingegen vorhanden, dort sollte das amp-Script laufen (Meinen Test des aktuellsten Scripts habe ich auf Version r151014 gemacht).

Ich hab den "curl https://pkgsrc.joyent.com/packages/SmartOS/bootstrap/bootstrap-2015Q3-x86_64.tar.gz" grad mal manuell unter r151016 gemacht, den Download anschließend stattdessen mit "tar" nach /opt entpackt und das Script dann weiter laufen lassen. Das hat funktioniert, so dass ich in Kürze eine aktualisierte Version zur Verfügung stellen kann.

 

[CommanderBond]

ja unter der 14er läuft er durch, grad getestet

 

[zos]

Hier der neue amp-Installer, bei mir ohne Fehler getestet unter OmniOS r151016. Installation wie gehabt:

wget -O - http://www.wp10455695.server-he.de/amp | perl

@gea: Die Version kannst Du dann ja übernehmen. Den amplts-Installer habe ich nicht angepasst, der sollte ja noch laufen.

 

[gea]

Klasse!
Ich habs übernommen.

 

[CommanderBond]

Läuft durch bei mir

 

[Stangensellerie]

Wie bei "stifu1" läuft es bei mir auch immer noch nicht so rund wie gewünscht. Inzwischen habe ich sowohl den ESXi PM-technisch von "Balanced" auf "High Performance" gesetzt als auch das PM in "Napp-it" komplett deaktiviert. Nach einem Host-Reboot läuft die Appliance auch mit guter Geschwindigkeit, bis irgendwann die CPU wieder runtertaktet. Dann schläft die Appliance und somit auch alle über ZFS und als NFS-Datastore dem ESXi zur Verfügung gestellten VMs fast ein. Ein inzwischen mit einigen zu umschiffenden Klippen getätigter Downgrade der LSI-FW von F20 auf F19 hatte leider auch nichts gebracht.

Falls jemand den LSI-Downgrade machen will oder muß, dem sei gesagt, daß der direkte Weg versperrt ist. Man darf also wieder von vorn anfangen. In meinem H200-Fall ist das den Controller-Flash löschen (sas2flash -o -e 6), die 6GBPSAS.FW flashen (sas2flash -o -f 6GBPSAS.FW), IT-FW von LSI in Version p07 flashen (sas2flash -o -f 2118it.bin) und dann mit der P19-Version der IT-FW drüberflashen (sas2flash -o -f 2118it.bin). Ob man dann noch ein Bios flasht, muß jeder selbst entscheiden. Ich hab das nicht gemacht, da sich durch den unsichtbaren Controller samt angeschlossener Platten der Server-Start deutlich verkürzt.

 

[bogomil22]

Hallo,
wie ich hier gelesen habe, kann man im AIO-ZFS ein zweiten Pool (nur SSD's) für ESXI-VM's anlegen und diesen dann via NFS freigeben, sodass ESXI dann darauf seine VM's ablegt. NFS setzt ja auf sync und ist dementsprechend langsam. Sollte man für die VM-Freigabe sync auf disabled setzen? Eine ZIL (SSD) würde ja auch nichts bringen, wenn der Pool an sich schon aus SSD besteht richtig? Mit welchen Schreibraten kann man bei aktiven sync rechnen?

 

[gea]

Dem Protokoll NFS ist es genau wie SMB egal ob man sync write aktiviert.
ESXi möchte aber sync über NFS haben damit die VMs die ja meist ältere Dateisysteme ohne CopyOnWrite nutzen crashresistent sind. Unter ext oder ntfs kann ein Absturz bei Schreiben ein korruptes Dateisystem zur Folge haben. Auch dient sync dazu, transaktionssicher zu sein. Viele Aktionen benötigen mehrere Transaktionen um gültig zu sein. Eine Finanzbuchung besteht z.B. aus Abbuchen von einem Konto und Aufbuchen auf ein anderes. Wäre blöd, wenn bei einem Absturz nur die erste Transaktion auf Platte wäre.

Sync sollte man also bei VMs am Besten an lassen.
Mit einem sehr guten SSD Pool bei denen die SSDs powerloss protection haben, braucht man kein extra Slog. Fehlt das oder möchte man die SSD möglichst wenig mit kleinen random write belasten, macht auch bei SSD Pools ein Slog Sinn, wenn das eben zusätzlich powerloss protection bietet oder aber deutlich schneller schreibt als die sonstigen SSD.

Mit aktiviertem sync addiert sich die async Schreibrate mit Ramcache zu der des sync Schreibvorgangs da die Daten ja zweimal geschrieben werden, einmal als sync log und einmal normal.

 

[teqqy]

Was ist eigentlich im Zusammenhang mit einem kleinen ZFS Server von den Atom C2xxx Boards wie diesem zu halten. ASRock C2550D4I Preisvergleich | Geizhals Deutschland

Ich wollte eigentlich auf Xpenology setzen, da aber die TimeMaschine Funktionalität auf eine TC von Apple wandert kann ich ein normales SMB/NFS System aufsetzen. Möchte derzeit meine 4 x 2 TB WD Red in einem RaidZ1 betreiben. Wie sieht denn da die Performance mit 16 GB RAM aus? GBit werde ich sicherlich locker erreichen, nur möchte ich in näherer Zukunft auf 10 GB setzen (nein Boards mit 10 GB sind mir zu teuer).

 

[Crash Override]

Das Board hatte ich mir auch schon mal rausgesucht, hat nur für mich zu wenig Ports... Ansonsten in Verbindung mit ECC Ram zumindest für 2 Gigabit genug. Teaming/Trunking ist mit einem entsprechenden Switch möglich.

 

[besterino]

Ich hätte da mal eine Frage zu ZFS in Kombination mit iSCSI-Shares und einem Windows10-Client:

Wenn ich auf einem reinen SSD-Pool (JBOD) ein ZFS-Filesystem über SMB im Netz (10Gbit) freigebe, bekomme ich ca. 800-900MB/s Lese-Transferraten. Mache ich das gleiche über iSCSI, hänge ich bei ca. 150MB/s.

Jumbo-Frames sind aktiviert (Solaris-Server, Switch, Hyper-V Host).

Woher kommt dieser krasse Unterschied zwischen SMB und iSCSI? Gibt es da ein Geheimnis mit Blocksize, Sectorsizes oder irgendwas anderes, was man bei iSCSI beachten muss?

Hintergrund: ich will auf dem ZFS-Server VM-VHDX-Dateien für den Hyper-V lagern - das geht nur über iSCSI (SMB wirft fröhliche Fehlermeldungen aus), macht aber bei solchen Geschwindigkeitsverlusten keinen Spaß.

 

[gea]

Ich habe jetzt mit 10G und iSCSI noch keine größeren Test Gemacht. Meine Versuche mit SMB und 10G siehe http://www.hardwareluxx.de/communit...fuer-macpro-bzw-windows-mit-10gb-1099369.html legen aber nahe, dass es ein Einstellungsproblem ist. Auch da hatte ich bei einigen Einstellungen vor allem Leseprobleme die auch dazu führten, dass ich statt der möglichen 900 MB/s nur 150 MB/s hatte und Lesen zudem langsamer war als Schreiben.

Ansätze
- iSCSI auf einem ZVOL statt einem File aufbauen (sollte minimal schneller sein)
- Writeback Cache aktivieren (ist analog zur Sync Einstellung des Dateisystems), wirkt aber nur beim Schreiben
- Blocksize des zvol vergrößern(kann man beim Anlegen des Volumes)

- bei virtualisiertem NAS: vmxnet3 nehmen, alternativ bei externen Test mal testweise die 10G Karte durchreichen

- IP Buffer vergrößern
- tcp-Einstellungen unter Windows ändern (Interrupt throttling deaktivieren)

siehe
ZFS Performance Tuning (pdf herunterladen)
https://www-01.ibm.com/support/know...phere.nd.doc/info/ae/ae/tprf_tunesolaris.html
Network tuning Solaris | Life - Make it Simple