[Sammelthread] ZFS Stammtisch

MisterY schrieb:
Ich plane mein Proxmox auf ZFS zu setzen. Proxmox und die VMs sind auf einer ssd, würde aber gerne mirroring nutzen. Istdie Frage, ob ZFS ala Raid1 reicht? Wie sieht es mit der Leistung aus? Habe einen opteron 3280 und 16 gb ecc ram. Muss ich da was anpassen? Die 1TB Daten-HDD soll auch in raid 1 - soll ich hier auch auf ufs setzen, oder reicht hier normales raid1 (per software)?
Zum Vergrößern anklicken....

*push*

kann man ZFS einfach erweitern?
Würde gerne erstmal Spiegelung nutzen und später auf etwas wie Raid5 umsteigen für die SSDs.

die HDDs würde ich auch gerne zunächst spiegeln, dann aber erweitern auf Raid5 - kann man das im laufenden Betrieb mit einer Software-Lösung machen?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ne, das geht nicht. Müsstest parallel ein RAID-Z2 Pool hochziehen, den Pool migrieren (send/receive) und dann das alte platt machen.

- - - Updated - - -

Ok, schnelles googlen hilft: Geht doch, ist aber etwas tricky https://blogs.oracle.com/zhangfan/entry/how_to_turn_a_mirror
 
hmm also ist wohl die beste Methode:
Einen zweiten Proxmox-Server aufsetzen, alle VMs + Container clonen/migrieren und anschließend den "Hauptserver" neu aufzusetzen?
 
Ich für meinen Teil habe obige Methode schon mehrfach angewendet, das Ergebnis war jedes Mal ein einwandfreies Raid-Z1.
Die Frage ist einfach, was du an verfügbaren Platten hast. Noch einfacher geht natürlich einen Mirror zu bauen und den dann um weitere Mirrors zu erweitern.

cu
 
AG1M schrieb:
Ja ich war echt total irritiert warum ich auf einmal nicht mehr per Namesauflösung darauf zugreifen konnte, da ich normal nicht über die IP Adresse zugreife, SMB Dienste liefen wunderbar, Hosts und andere Config Dateien waren auch alle ordentlich, hab echt lange im Dunkeln gestanden, wollte es nur erwähnen falls jemand mal das gleiche Problem haben sollte. :)
Zum Vergrößern anklicken....

Also, ich habe seit dem Update r151020 das gleich Problem. Allerdings läßt es sich nicht mit "netbios_enable=true" beheben. Alle Hosts reagieren auf Zugriff über die IP-Adresse aber die Namensauflösung scheitert speziell bei statisch vergebenen IPs.
 
Nur falls es jemanden interessiert: diese Sedna USB3-PCIe-Karte (NEC/Renesas Chipsatz) wird von Solaris 11.3 (nativ) anstandslos ohne Treiberinstallation erkannt und scheint auch mit USB3 zu laufen - habe mal testweise eine aktuelle WD Passport 4TB USB HDD drangehängt... naja und ZFS holt mit seiner Magie beim Read noch "etwas" mehr raus als die Physik der Platte überhaupt hergibt... ;)

attachment.php
 

Anhänge

  • Sedna_PCIe.jpg
    Sedna_PCIe.jpg
    33,3 KB · Aufrufe: 357
Das Problem hat sich aufgelöst - warum ist mir allerdings nicht klar ... Dafür gibt es jetz ein Neues. Der Dateizugriff von Windows-Clients ist sowohl lesend als auch schreibend deutlich langsamer als unter r151016. Hat einer eine Erklärung dafür ??? Das Problem tritt auf zwei Servern in zwei unabhängigen Netzwerken auf.
 
Hat jemand schonmal versucht über vSphere direkt einen M.2-Port per Passtrough weiter zu geben oder bedarf es dazu zwangsläufig eines PCI-E-Ports?

Auf meinem Supermicro X10SDV-4C-TLN4F ist der eine vorhandene PCI-E bereits mit einem SAS-HBA belegt. An diesem hängen 2 Seagate NAS 4TB und zwei Intel DC3500 mit je 300 GB - aktuell noch über Windows Storage Spaces verwaltet. Ich freue mich mehr und mehr mit ZFS und insbesondere napp-it an.
Der Speicher soll nur an den vSphere zurück (per iSCSI, oder bietet NFS Vorteile?).

Was wäre mit der aktuell vorhandenen HW (2x4TB +2x300GB am HBA) die beste Konfiguration? Alles in einen Pool oder die beiden SSDs als ZIL-Mirror?
Falls der Passtrough auch mit dem M.2-Port möglich wäre, wäre hier noch eine NVME-SSD zusätzlich denkbar.

Für ganz andere Ideen bin ich natürlich ebenfalls dankbar ;)
 
M2 ist zunächst nur eine Sockelbauform.
Logisch verhält sich das entweder wie eine normale Sata SSD oder eine PCI-e, jeweils mit den passendem Treiber.

zum Pool
Die beiden SSD als ZIL zu nutzen ist wenig sinnvoll. Erstmal werden da nur ein paar Gigabyte benötigt. Auch ist die DC 3500 nur gut beim Lesen und nicht so gut beim Schreiben, also eigentlich keine sonderlich gutes Slog.

Ich würde zwei Pools machen, einen Performanxe Pool (300 GB SSD Mirror) und einen für Kapazität (4TB Mirror), jeweils ohne ZIL und den SSD Pool für VMs mit nutzen und den Diskpool für allgemeine Filerdienste und Backup Für die Anbindung an ESXi bevorzuge ich NFS. Bei gleichen Cache Einstellungsn (sync, writeback) ist NFS und iSCSI auch ähnlich schnell. NFS ist aber viel einfacher im Handling, man kann parallel per SMB drauf (Backup/Clone/Move/Snap als previous version) und hat kein Problem mit dem verzögerten Mount des NFS Datastores da dieser beim Hochfahren von ESXi ja erst mit Verzögerung verfügbar ist.
 
gea schrieb:
M2 ist zunächst nur eine Sockelbauform.
Logisch verhält sich das entweder wie eine normale Sata SSD oder eine PCI-e, jeweils mit den passendem Treiber.
Zum Vergrößern anklicken....

Das war mir klar. Ich wollte nur wissen ob jemand schon erfolgreich den Passtrough versucht hat.
Das Board bindet den m.2 ja über PCI-E an.


Gibt es eigentlich auch eine "ausführliche Newbie-Anleitung" für napp-it?

ich irre momentan noch durch die Menüs und versuche mich zu orientieren....
 
Hilli89 schrieb:
Das war mir klar. Ich wollte nur wissen ob jemand schon erfolgreich den Passtrough versucht hat.
Das Board bindet den m.2 ja über PCI-E an.
.
Zum Vergrößern anklicken....

Solange der OmniOS Treiber für NVMe noch Probleme mit pass.through hat (siehe oben #7392)
bringt das wenig, egal ob als PCI-E Karte oder M2. Es wird nicht gehen.

Also noch kurz warten, dann probieren.
 
Lampos schrieb:
Also, ich habe seit dem Update r151020 das gleich Problem. Allerdings läßt es sich nicht mit "netbios_enable=true" beheben. Alle Hosts reagieren auf Zugriff über die IP-Adresse aber die Namensauflösung scheitert speziell bei statisch vergebenen IPs.
Zum Vergrößern anklicken....
Lampos schrieb:
Das Problem hat sich aufgelöst - warum ist mir allerdings nicht klar ...
Zum Vergrößern anklicken....

Ich hab das gleiche Problem und finde keine Lösung. Ist dir inzwischen bekannt, wie du das Problem gelöst hast?

"netbios_enable=true" und trotzdem tauchen bei mir die OmniOS Server nicht im "Netzwerk" auf, wenn ich aber oben in der Eingabezeile "\\AIO\" eingebe, taucht der Server mit seinen Freigaben sofort auf. Beim nächsten Mal öffnen des Explorer ist aber AIO wieder weg.
Zuerst dachte ich, dass es ein Windows10 Problem ist, aber auch die Windows XP-VMs zeigen das gleiche Verhalten.
 
gea schrieb:
Die Auflistung der Rechner unter "Netzwerk" übernimmt in jedem Netz nur ein Rechner, der "Master Browser" spielt. Solaris macht das nicht, es muss also einer der Windows Rechner übernehmen, typischerweise ein Windows Server.

https://docs.oracle.com/cd/E36784_01/html/E36832/winclientcannotcontactbynetbios.html
Zum Vergrößern anklicken....

Nur hatte ich noch nie einen Win Server hier in Betrieb und da klappte es ja auch, dass die OmniOS Server r151012 angezeigt wurden, natürlich nur die share-smb die nicht hidden waren. Jetzt bei r151020 gehts definitiv nicht mehr.
Edit:
Allerdings hatte ich da auch Win7 in Benutzung.
 
Zuletzt bearbeitet:
gea schrieb:
.....

zum Pool
Die beiden SSD als ZIL zu nutzen ist wenig sinnvoll. Erstmal werden da nur ein paar Gigabyte benötigt. Auch ist die DC 3500 nur gut beim Lesen und nicht so gut beim Schreiben, also eigentlich keine sonderlich gutes Slog.

Ich würde zwei Pools machen, einen Performanxe Pool (300 GB SSD Mirror) und einen für Kapazität (4TB Mirror), jeweils ohne ZIL und den SSD Pool für VMs mit nutzen und den Diskpool für allgemeine Filerdienste und Backup Für die Anbindung an ESXi bevorzuge ich NFS. Bei gleichen Cache Einstellungsn (sync, writeback) ist NFS und iSCSI auch ähnlich schnell. NFS ist aber viel einfacher im Handling, man kann parallel per SMB drauf (Backup/Clone/Move/Snap als previous version) und hat kein Problem mit dem verzögerten Mount des NFS Datastores da dieser beim Hochfahren von ESXi ja erst mit Verzögerung verfügbar ist.
Zum Vergrößern anklicken....


Ein Tiering (vergleichbar mit dem Tiering der Storage-Spaces von Microsoft) kann ZFS also nicht ?
2 Pools wären sicherlich denkbar aber auch unpraktikabel.
VMs sollen natürlich schnell sein (da "reicht" das schnelle Lesen der DC3500 vermutlich) aber irgendwann werden sie ja auch größer. Von daher ist die Trennung in 2 Pools und später 2 Datastores für den vSphere wieder unpraktikabel.
Oder gibt es Möglichkeiten?
Wenn ich alles in einen Pool mache, kann ich dann lediglich das Maximum der kleinsten Disk (hier 300 GB) bereitstellen?


Zu dem Handbuch:
Prinzipiell schön und gut gemacht, aber vorallem nur auf dem Fokus der Installation.
Die restlichen Funktionen (iSCSI um nur ein Beispiel zu nennen) muss man sich wieder anderswo zusammensuchen.
Die Menüs sind nicht ganz so "sprechend" wie zB beim vSphere (das ist aber vorallem eine Geschmacksfrage ;)
 
iSCSI ist mit Comstar total simpel, hab selbst ich als Nix-checker und 100%-Anfänger hinbekommen. Die Details der Konfiguration (Performance-Tweaking) hängen aber an den Details Deines Einsatzes ab - das wird Dir eine Community oder "EinMannProjekt" nicht liefern können. Da musst Du Dich dann reinfuxxen.

Im übrigen hat Oracle selbst eine ziemlich gute Dokumentation zu Solaris. Da hab ich bisher fast alles gefunden (Tipp für die google-Suche: site:oracle.com).

:o = Doppelpunkt, kleines O ohne Leerzeichen...
 
Zuletzt bearbeitet:
Hilli89 schrieb:
Ein Tiering (vergleichbar mit dem Tiering der Storage-Spaces von Microsoft) kann ZFS also nicht ?
2 Pools wären sicherlich denkbar aber auch unpraktikabel.
VMs sollen natürlich schnell sein (da "reicht" das schnelle Lesen der DC3500 vermutlich) aber irgendwann werden sie ja auch größer. Von daher ist die Trennung in 2 Pools und später 2 Datastores für den vSphere wieder unpraktikabel.
Oder gibt es Möglichkeiten?
Wenn ich alles in einen Pool mache, kann ich dann lediglich das Maximum der kleinsten Disk (hier 300 GB) bereitstellen?


Zu dem Handbuch:
Prinzipiell schön und gut gemacht, aber vorallem nur auf dem Fokus der Installation.
Die restlichen Funktionen (iSCSI um nur ein Beispiel zu nennen) muss man sich wieder anderswo zusammensuchen.
Die Menüs sind nicht ganz so "sprechend" wie zB beim vSphere (das ist aber vorallem eine Geschmacksfrage ;)
Zum Vergrößern anklicken....

Die Konzepte sind unterschiedlich, manches heißt aber auch nur anders.

Das SSD Storage Tiering Konzept von Microsoft erlaubt es meines Wissens nach (hab das Thema MS als Storage vor Jahren abgehakt) darauf dass man eine SSD in einem Plattenverbund folgendermaßen nutzen kann:
- als writeback cache (also Schreibcache), per default 1 GB, kann man aber etwas größer machen um kleine random write zu beschleunigen
- als Bereich in dem häufig gelesene Daten automatisch verschoben werden um das Lesen zu beschleunigen.

Das scheint ganz gut zu funktionieren allerdings ohne dass Storage Spaces damit je durch besondere Performance aufgefallen wären.

ZFS arbeitet da anders und zwar ohne Daten zu verschieben (Tiering, unter Last immer langsam) sondern mit einem massiven Cache Ansatz auf Blockbasis und most accessed/ last accessed/ read ahead Strategien. Dieser RAM Lesecache nutzt fast den kompletten freien RAM. Er cacht ausschliesslich kleine random reads und Metadaten. Rambasiert ist das rasend schnell. Ein ZFS System mit ausreichend RAM bedient 80-90% aller Reads aus dem RAM.

Erweitern kann man diesen Cache um SSD/NVMe Cache Laufwerke (L2Arc) die auf Wunsch auch sequentielle Daten cachen können. Dieser zweistufige Ansatz ist sehr effektiv.

Beim Schreiben nutzt ZFS ebenfalls RAM als Cache. Das ist viel schneller und er puffert ca 5s Schreiben. Das sind bei 10G mehrere Gigabyte Cache. Ziel ist nicht writeback Cache einzelner Writes wie bei Storagespaces sondern das Zusammenfassen vieler kleiner random writes zu einem großen sequentiellen Write.

In allen Tests die ich bisher gelesen habe ist ZFS dadurch erheblich schneller als Storage Spaces mit SSD Tiering. Zudem ist das Pool/vdev Konzept von ZFS erheblich einfacher zu verstehen und zu warten.

Egal wie man es aber macht, am Schluß hilft nur rohe Gewalt (SSD only) wenn es wirklich schnell werden soll. Man kann zwar Diskpools beschleunigen am Ende ist es aber oft so das es ökonomischer und schneller ist High Performance und Hohe Kapazität zu trennen.

zu den Handbüchern.
Es gibt kaum OmniOS/ ZFS Adminhandbücher. Dazu sind die Oracle Docs nicht nur zu iSCSI einfach zu guit.
 
Zuletzt bearbeitet:
Hi,
ich habe meinen ESXi auf 6.5 upgedatet und mein NAS auf OmniOS + Nappit umgezogen.
Was ich dabei aber nicht bedacht habe, es gibt scheinbar keine Treiber für meine Brocade 1020 Karten.
Hat jemand Erfahrungen damit? Ich hatte früher Ubuntu+ZFS+Nappit. Da konnte ich die Karte nutzen und auch deutlich schneller als GB.
Selbst wenn ich sie hier mit einem vSwitch verbinde und als vNIC an die VM gebe komme ich mit ach und krach auf 30Mb/s.

Irgendwo hab ich sicher was übersehen. Hat jemand eine Idee?

P.S. NIC musste ich als E1000 durchreichen. VMXnet3 wird nicht erkannt da ich keien VMware tools installiert habe.
 
VMware tools und vmxnet3 sind bei OmniOS 151020 im repository
pkg install open-vm-tools

siehe
Package Search
auf jeden Fall vmxnet3 nehmen (deutlich schneller als e1000) und eventuell als Tuning Anzahl nfs server, tcp buffer und vmxnet3 buffer vergrößern

Brocade Treiber sind eventuell in Oracle Solaris ??
 
in Solaris 11 sollen sie integriert sein. aber wie komm ich da dran?

Ich hab das 20161006 bloody image installiert
 
Zuletzt bearbeitet:
Der einfachste Weg wird sein Solaris 11.3 statt OmniOS.
(Solange man das nur für Demo und Development nutzt, sonst sind das 1000$/Jahr).

Solaris Treiber unter OmniOS würde ich eher als nicht mehr praktikabel ansehen.
Dazu entwickeln die sich zu sehr auseinander (von der Lizenzfrage mal abgesehen)
 
Aus einer internen Oracle Quelle höre ich folgendes:

Es wird wohl kein Solaris 12 geben. Oracle wird aber das, was als Solaris 12 freigegeben worden wäre, als Solaris 11.4 oder 11.5 freigeben. Dies ist wohl eine Marketing Entscheidung.
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
831
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
552
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
504
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
289
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh