teqqy
Enthusiast
Ich habe nicht so extrem viel zu speichern, dass mir die 12 Ports zu wenig wären.
Ich habe nicht so extrem viel zu speichern, dass mir die 12 Ports zu wenig wären.
besterino
Legende
Meine Tests mache ich auf Seiten des ZFS-Filers auf bare metal, auf Seiten des Clients ist mir die miese Performance sowohl bare metal (Hyper-V Host) wie auch virtualisiert (Hyper-V VMs als Initiator) aufgefallen. Das Netz an sich ist ja flott, auf den gleichen Kisten mit der gleichen Konfig auf dem gleichen Pool bekomme ich mit SMB 800+ (nur eben ein anderes Filesystem nicht mit iSCSI geshared).
zum ASRock C2550D4I
Das Board ist langsam und nicht gerade billig. Zudem würden mich die geringen Aufrüstoptionen und der Marwell Sata Controller richtig stören. Für das Geld gäbe es auch was professionelles von Asrock oder SuperMicro mit Serverchipsatz, ECC RAM und LSI HBA mit einem kleinen Celeron oder i3. Die brauchen im Leerlauf auch kaum mehr haben aber Reserven. CPU ist bei soviel Platten in der Energiebilanz eher unerheblich.
Ich würde eher hier schauen und nach Möglichkeit uATX nehmen.
ASRock Rack > Products
Super Micro Computer, Inc. - Products | Motherboards | Xeon
Das Board ist langsam und nicht gerade billig. Zudem würden mich die geringen Aufrüstoptionen und der Marwell Sata Controller richtig stören. Für das Geld gäbe es auch was professionelles von Asrock oder SuperMicro mit Serverchipsatz, ECC RAM und LSI HBA mit einem kleinen Celeron oder i3. Die brauchen im Leerlauf auch kaum mehr haben aber Reserven. CPU ist bei soviel Platten in der Energiebilanz eher unerheblich.
Ich würde eher hier schauen und nach Möglichkeit uATX nehmen.
ASRock Rack > Products
Super Micro Computer, Inc. - Products | Motherboards | Xeon
teqqy
Enthusiast
Hallo gea,
danke für deine Meinung. Ich bin noch mal in mich gegangen und werde wohl eher das ASRock E3C226D2I in betracht ziehen. Ich habe noch einen i3-4330 in einem System stecken das eh nicht mehr gebraucht wird. Werde dann bei der Sache auch noch ein gutes Stück günstiger raus kommen. Der i3 hat zudem den Vorteil dass er mit 3,5 GHz getaktet ist und dies mir ja für CIFS /SMB sehr entgegen kommt.
Es wird dringend davon abgeraten Consumer SSDs für ZIL und SLog zu verwenden, oder?
danke für deine Meinung. Ich bin noch mal in mich gegangen und werde wohl eher das ASRock E3C226D2I in betracht ziehen. Ich habe noch einen i3-4330 in einem System stecken das eh nicht mehr gebraucht wird. Werde dann bei der Sache auch noch ein gutes Stück günstiger raus kommen. Der i3 hat zudem den Vorteil dass er mit 3,5 GHz getaktet ist und dies mir ja für CIFS /SMB sehr entgegen kommt.
Es wird dringend davon abgeraten Consumer SSDs für ZIL und SLog zu verwenden, oder?
Transaktionssicheres Schreiben ist ein Storage Highlight. Man braucht es aber nur wenn
- man "alte" Dateisysteme auf ZFS hat (also insbesondere VM Storage)
- Transaktionssicherheit braucht, z.B. mit Datenbanken
In dem Fall, nutzt man ein ZIL entweder onpool oder als Slog wegen der besseren Performance.
Eine gute separate Slog SSD braucht geringste Latenzen, hohe Schreib-iops unter Last, Langlebigkeit und Powerloss Protection, alles was es bei Desktop SSDs meist nicht gibt.
Ein normaler ZFS SMB Filer braucht/nutzt ein ZIL nicht . ZFS ist wegen CopyOnWrite eh immer konsistent. Wenn da bei Schreiben eines Dokuments der Strom ausfällt ist die Datei die gerade geschrieben wird kaputt, mehr nicht. Und dieses Problem kann nur das schreibende Programm mit Temp-Files abfangen.
Zuletzt bearbeitet:
teqqy
Enthusiast
Okay. Danke dir für die Ausführung. Dann werde ich keines benötigen. Das System wird nur zur reinen Dateiablage verwendet. Backup wirds dann eh noch zusätzlich geben.
Man kann auf jeden Fall sagen
- Mit ZFS auf keinen Fall Hardware-Raid 1,5,6 machen da sonst zwar Fehler erkannt aber nicht repariert werden können
- Einzelplatten als Jbod/ Raid 0 durchreichen, könnte gehen.
Das macht man aber ungern, da immer noch die Raidsoftware samt Cache zwischen ZFS und Platte arbeitet,
auch kann es sein, dass so ein Pool an anderer Hardware Probleme bereiten kann, testen....
Insgesamt ist der Adaptec zumindest suboptimal und bei ZFS absolut exotisch.
Ich würde den Controller wohl für nicht-ZFS Bootplatten behalten, da macht er Sinn und für ZFS entweder
Sata nehmen oder einen reinen HBA wie z.B. den LSI 9207 hinzufügen.
- Mit ZFS auf keinen Fall Hardware-Raid 1,5,6 machen da sonst zwar Fehler erkannt aber nicht repariert werden können
- Einzelplatten als Jbod/ Raid 0 durchreichen, könnte gehen.
Das macht man aber ungern, da immer noch die Raidsoftware samt Cache zwischen ZFS und Platte arbeitet,
auch kann es sein, dass so ein Pool an anderer Hardware Probleme bereiten kann, testen....
Insgesamt ist der Adaptec zumindest suboptimal und bei ZFS absolut exotisch.
Ich würde den Controller wohl für nicht-ZFS Bootplatten behalten, da macht er Sinn und für ZFS entweder
Sata nehmen oder einen reinen HBA wie z.B. den LSI 9207 hinzufügen.
besterino
Legende
Mir ließ mein iSCSI-Thema keine Ruhe und habe jetzt noch ein wenig rumgespielt. Nach etwas Recherche habe ich nun mal ein Filesystem mit einer 32K Recordsize angelegt und mit NTFS Blocksize 8192 formatiert.
Jetzt kopiert der Hyper-V Host von seiner lokalen SSD mit ca. 380-420MB/s, das dürfte nah am realistischen Maximum der schon etwas betagten Samsung 830er sein. CrystalDisk zeigt auch irgendwas jenseits der 800MB/s Leserate, so dass ich das jetzt einmal ein wenig beobachten und Daumen drücken werde.
Jetzt kopiert der Hyper-V Host von seiner lokalen SSD mit ca. 380-420MB/s, das dürfte nah am realistischen Maximum der schon etwas betagten Samsung 830er sein. CrystalDisk zeigt auch irgendwas jenseits der 800MB/s Leserate, so dass ich das jetzt einmal ein wenig beobachten und Daumen drücken werde.
Zuletzt bearbeitet:
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Wird es mit SMB2 in OmniOS auch irgendwelche wichtigen Änderungen geben? zB bei den Berechtigungen / ACL List? Wird die dann immer noch von vorne abgearbeitet, oder wie in Windows dass deny Regeln die höchste Priorität haben?
Mit OmniOS 151017+ wird nur das Protokoll SMB 2.1 unterstützt sowie die Active Directory Anmeldung verbessert.
Dazu gibts Fixes z.B. beim Connect mit FQD sowie Unterstützung langer Pfade mit mehr als 1024 Zeichen.
Das ACL Handling ist in den Solaris nfs4 ACL unter ZFS verankert.
Das ist das Ähnlichste zu NTFS Rechten (mit echter Unterstützung von Windows SID) was es derzeit unter Unix Dateisystemen gibt.
Ähnlich aber halt nicht ganz gleich - aber 100x kompatibler als Unix Permissions oder Posix ACL.
update.
Das neue OmniOS gefällt mir immer besser.
Ich bin jetzt mit 10G bei 800-900 MB/s schreibend und 600-700 MB/s lesend
http://napp-it.org/doc/downloads/performance_smb2.pdf
Dazu gibts Fixes z.B. beim Connect mit FQD sowie Unterstützung langer Pfade mit mehr als 1024 Zeichen.
Das ACL Handling ist in den Solaris nfs4 ACL unter ZFS verankert.
Das ist das Ähnlichste zu NTFS Rechten (mit echter Unterstützung von Windows SID) was es derzeit unter Unix Dateisystemen gibt.
Ähnlich aber halt nicht ganz gleich - aber 100x kompatibler als Unix Permissions oder Posix ACL.
update.
Das neue OmniOS gefällt mir immer besser.
Ich bin jetzt mit 10G bei 800-900 MB/s schreibend und 600-700 MB/s lesend
http://napp-it.org/doc/downloads/performance_smb2.pdf
Zuletzt bearbeitet:
layerbreak
Enthusiast
- Mitglied seit
- 30.12.2010
- Beiträge
- 590
WOW, beeindruckend - aber auch die Hardware ist nicht von schlechten Eltern.
Beim Lesen der pdf, sah ich dass du die Version 16.01.von napp-it pro raus gegeben hast.
Zwei Fragen:
Bei mir rennt noch OmniOS r151012 und napp-it pro v0.9f6 vom 05.08.2015 - gibts da Probleme mit 16.01? Kompatibilität? Kann ich napp-it bedenkenlos updaten?
Dann steht in der Chancelog: replication extension: start only when pool is mounted --> versteh ich nicht. Die Extention hab ich gar nicht, bei mir stehts unter Jobs. Bitte erklärs mir.
Replikation:
Wenn ein Pool offline war, wurde das Filesystem nicht gefunden und daher die zugehörenden Replikationssnaps gelöscht. Dies passiert jetzt nicht mehr. Ansonsten habe ich die Versionierung auf Jahr.Monat umgestellt da es sich um fortlaufende Anpassungen an die neuesten Versionen von Solaris und OmniOS (oder OI, OI Hipster) handelt. Da kommt ja teils alle paar Wochen was neues. Ein Update auf 2016.Januar (16.01) ist also kein Problem. 16.01f ist die Basisedition (frei) und 16.01p die Supportversion für Pro.
Wenn ein Pool offline war, wurde das Filesystem nicht gefunden und daher die zugehörenden Replikationssnaps gelöscht. Dies passiert jetzt nicht mehr. Ansonsten habe ich die Versionierung auf Jahr.Monat umgestellt da es sich um fortlaufende Anpassungen an die neuesten Versionen von Solaris und OmniOS (oder OI, OI Hipster) handelt. Da kommt ja teils alle paar Wochen was neues. Ein Update auf 2016.Januar (16.01) ist also kein Problem. 16.01f ist die Basisedition (frei) und 16.01p die Supportversion für Pro.
Zuletzt bearbeitet:
besterino
Legende
Hmmm... wahrscheinlich irgendwie mein Fehler, aber:
Konfiguration: Solaris 11.3 mit Napp-it 0.9f7; sämtliche Konfigurationsschritte habe ich mit Napp-it GUI gemacht.
1. Habe auf einem Pool ("iSCSI") zunächst ein Filesystem für eine iSCSI-Freigabe erstellt (auch "iSCSI"). Soweit, so gut - läuft.
2. Dann habe ich auch dem gleichen Pool ein zweites Filesystem für NFS-Freigabe erstellt ("NFS"). Läuft auch.
3. Dann habe ich das Filesystem "NFS" auch für SMB freigegeben. Erster seltsamer (ungewollter) Effekt: es tauchen zwei sichtbare Freigabennamen auf: einmal nur "nfs" und einmal mit den namen "iSCSI_nfs": auf "nfs" kann ich wie gewünscht mit Gast-Account zugreifen, beim Zugriff auf iSCSI_nfs will er user/passwort (geht aber auch mit lokalem Account trotzdem nicht).
4. Zu guter letzt habe ich die SMB-Freigabe wieder beendet, und zwar quasi zufällig mit click über "iSCSI_nfs". Weiterer Effekt: es verschwinden beide Freigabennamen (also auch "nfs"). Extrem unerwünschter Efffekt: er hat die NFS-Freigabe gleich mit beendet!
Warum? Mein Fehler/Bug/Feature?
Konfiguration: Solaris 11.3 mit Napp-it 0.9f7; sämtliche Konfigurationsschritte habe ich mit Napp-it GUI gemacht.
1. Habe auf einem Pool ("iSCSI") zunächst ein Filesystem für eine iSCSI-Freigabe erstellt (auch "iSCSI"). Soweit, so gut - läuft.
2. Dann habe ich auch dem gleichen Pool ein zweites Filesystem für NFS-Freigabe erstellt ("NFS"). Läuft auch.
3. Dann habe ich das Filesystem "NFS" auch für SMB freigegeben. Erster seltsamer (ungewollter) Effekt: es tauchen zwei sichtbare Freigabennamen auf: einmal nur "nfs" und einmal mit den namen "iSCSI_nfs": auf "nfs" kann ich wie gewünscht mit Gast-Account zugreifen, beim Zugriff auf iSCSI_nfs will er user/passwort (geht aber auch mit lokalem Account trotzdem nicht).
4. Zu guter letzt habe ich die SMB-Freigabe wieder beendet, und zwar quasi zufällig mit click über "iSCSI_nfs". Weiterer Effekt: es verschwinden beide Freigabennamen (also auch "nfs"). Extrem unerwünschter Efffekt: er hat die NFS-Freigabe gleich mit beendet!
Warum? Mein Fehler/Bug/Feature?
Liegen denn alle Dateisysteme direkt unter dem Pool oder sind die geschachtelt,
z.B. nfs unterhalb von ISCSI?
Insgesamt ist vor allem seltsam, dass ein NFS share beendet wird wenn man ein SMB share beendet.
Das sollte nicht sein.
Ansonsten macht Oracle seit Solaris 11.2 recht seltsame Dinge. Irgendwie wird es immer umständlicher, sowohl im Vergleich zu älteren Solaris Versionen wie auch zu Illumos. Die Möglichkeit, ein Share unter zwei Namen freizugeben gehört etwa dazu.
Ob es sich bei diesem Verhalten um einen Bug in napp-it oder Solaris handelt, kann ich im Moment nicht sagen. Bei den Anpassungen von Napp-it an Solaris 11.3 ging es bisher nur um die generelle Lauffähigkeit. Ich habe bisher noch keine umfangreichen Tests mit Solaris gemacht. Ich selber nutze ja auschliesslich OmniOS wegen der Pool Inkompatibilität. Ein Problem mit napp-it ist daher nicht auszuschliessen.
Ich werde dazu aber auch noch ein paar Test machen.
z.B. nfs unterhalb von ISCSI?
Insgesamt ist vor allem seltsam, dass ein NFS share beendet wird wenn man ein SMB share beendet.
Das sollte nicht sein.
Ansonsten macht Oracle seit Solaris 11.2 recht seltsame Dinge. Irgendwie wird es immer umständlicher, sowohl im Vergleich zu älteren Solaris Versionen wie auch zu Illumos. Die Möglichkeit, ein Share unter zwei Namen freizugeben gehört etwa dazu.
Ob es sich bei diesem Verhalten um einen Bug in napp-it oder Solaris handelt, kann ich im Moment nicht sagen. Bei den Anpassungen von Napp-it an Solaris 11.3 ging es bisher nur um die generelle Lauffähigkeit. Ich habe bisher noch keine umfangreichen Tests mit Solaris gemacht. Ich selber nutze ja auschliesslich OmniOS wegen der Pool Inkompatibilität. Ein Problem mit napp-it ist daher nicht auszuschliessen.
Ich werde dazu aber auch noch ein paar Test machen.
besterino
Legende
Nope, sind nicht geschachtelt. Also NFS liegt "neben" ISCSI.
besterino
Legende
OK, danke, dann ist es ja irgendwas bei mir. Ich checke das ggf. auch nochmal auf einem anderen System.
Hmmm, nun wollt ich auch mal ein frisches OmniOS installieren, aber ich kriegs nicht...
OmniOS_Text_bloody_20151211.iso auf ESX 5.5
Der OmniOS-Installer bricht immer nach der Einstellung von Timezone-Region ab.
Ist das nur bei mir so oder bei euch auch?
Hmmm, nun wollt ich auch mal ein frisches OmniOS installieren, aber ich kriegs nicht...
OmniOS_Text_bloody_20151211.iso auf ESX 5.5
Der OmniOS-Installer bricht immer nach der Einstellung von Timezone-Region ab.
Ist das nur bei mir so oder bei euch auch?
Bricht er richtig ab? Bei mir war es so, dass wenn ich timezone Europe nehme der installer einfach wieder 'zurück springt' zum menu wo ich entscheide ob ich es installieren möchte, ...dann muss man wieder HDD und Partionen neu auswählen... ging immer in der schleife, bis ich den obersten default wert der timezone-auswahl genommen habe. (die genaue bezeichnung weiss ich nicht mehr).
Getestet mit esxi 6u1 und neusten OmniOS-bloody.
Zuletzt bearbeitet:
Aaahhhh , ja genau so...
Und ich hab schon an mir gezweifelt und außerdem 2h vergeudet! Da hätt ich aber auch mal selbst drauf kommen können...
Nun klappts!
Danke euch
Ich habs jetzt auch nochmal auf hartem Metall versucht, auch hier springt er nach der Auswahl ins Hauptmenü zurück.
Also generell bei der OmniOS-Bloody-Installation z.Zt. UTC/GMT bei der Zeitzone auswählen!!!
Zuletzt bearbeitet:
Ich wollte nun eine einfache SMB-Freigabe erstellen. Warum kommt trotz "guestok" ein Anmeldefenster im Windowsclient? Hat das was mit den SMB-Neuerungen in der neuesten Bloody zu tun? Oder hab ich wiedermal irgendwas Einfaches aber Wichtiges vergessen?
An den ACL´s hab ich rumgespielt, hat aber nichts gebracht...
An den ACL´s hab ich rumgespielt, hat aber nichts gebracht...
OmniOS 151017 ist ja die erste Beta, die den neuen SMB Stack enthält - und ist gerade 2 Wochen alt.
Da können schon noch Bugs drinsein - Das Problem konnte ich aber nicht nachvollziehen.
Sie denn irgendwelche Mappings gesetzt oder war der share davor ohne guest freigegeben?
Das ist sonst die Ursache. Bringt denn ein SMB Service Restart oder Windows Reboot eine Änderung?
Da können schon noch Bugs drinsein - Das Problem konnte ich aber nicht nachvollziehen.
Sie denn irgendwelche Mappings gesetzt oder war der share davor ohne guest freigegeben?
Das ist sonst die Ursache. Bringt denn ein SMB Service Restart oder Windows Reboot eine Änderung?
Eben - da ich ja gelesen hatte, dass du schon wild Geschwindigkeiten über SMB-Freigaben getestet hast, dachte ich mir, dass das eigentlich funktionieren muss...
Ich hab zig Versuche gemacht:
- Erstellung gleich mit guestok
- Erstellung mit nachträglich guestok
- mehrfaches Prüfen der smb-Service-Konfiguration
- Ändern an Folder- und Share-ACLs (sollte ja eigentlich nicht notwendig sein.
- Test an HW- als auch an virt. Testmaschine
- mehrfache Reboots Testmaschinen
- Test von mehreren Windows-Clients - teilweise mit extra Reboot
- Vergleich mit lauffähigen Systemen (OmniOS v11 r151013 und OmniOS v11 r151011) - keine relevanten Unterschiede
- mehrfach passwd root an Console eingegeben (da war doch irgendwas, oder?)
- SecurityPanel SMB auf pass gesetzt
- SecurityPanel wieder disabled
Kann ich sonst irgend nen wichtigen Schritt vergessen haben bei der Installation?
Hmpf, ich wollt doch nur schauen, welche Leistung ich über Infiniband (IPoIB) nun kriege, zumal ich im ESXi nun ne Mellanox ConnectX-3 VPI zu stecken hab...
Also mit lokal angelegtem User/PW (identisch mit Windows-User) gehts natürlich. Aber das ist ja nicht Sinn und Zweck.
Nun gut, im Moment für meine Tests ist es okay. Warten wir mal die nächste Version oder die Rückmeldung anderer Tester ab...
Nun gut, im Moment für meine Tests ist es okay. Warten wir mal die nächste Version oder die Rückmeldung anderer Tester ab...
Huhu,
ich bin ein ZFS Neuling. Und ich muss auch zugeben, dass ich nicht den gesamten Thread hier gelesen habe. Allerdings wird das Thema aufgrund eines NAS Kaufs gerade aktuell. Daher habe ich eine Frage: Alle Welt schreibt immer, dass man 1 GB Ram pro TB HDD Platz einkalkulieren soll. Ich habe mir HDDS mit einer Gesamtkapazität von 48 TB besorgt. Nun möchte ich ggf. ein ZFS aufbauen. Viele Mainboards bieten aber nur die Möglichkeit bis zu 32 GB Ram zu installieren. Mit welchen Performance Einbußen muss ich rechnen?
LG
ich bin ein ZFS Neuling. Und ich muss auch zugeben, dass ich nicht den gesamten Thread hier gelesen habe. Allerdings wird das Thema aufgrund eines NAS Kaufs gerade aktuell. Daher habe ich eine Frage: Alle Welt schreibt immer, dass man 1 GB Ram pro TB HDD Platz einkalkulieren soll. Ich habe mir HDDS mit einer Gesamtkapazität von 48 TB besorgt. Nun möchte ich ggf. ein ZFS aufbauen. Viele Mainboards bieten aber nur die Möglichkeit bis zu 32 GB Ram zu installieren. Mit welchen Performance Einbußen muss ich rechnen?
LG
