[Sammelthread] ZFS Stammtisch

Moin,
bin grade dabei etwas dabei in bzw. mit der oracel-cloud zu spielen.
Jetzt habe ich überlegt ob ich den data-storage über zfs fahre um snapshots und send/recv zu haben. Aber das Block-Storage wird hier über iscsi angebunden, was da drunter liegt weis ich nicht. Daher die Frage ob das eine gute oder eher mistige Idee ist und ich eher xfs, ext4 oder sowas nehmen sollte?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
oyster schrieb:
Wie gesagt, die SSDs sind mir relativ egal, da die eh nur für das System da sind. Mich wundert nur etwas die sehr grottige Performance, v.a. beim lesen, auch wenn es billige SSDs sind. Die beiden SSDs hängen am Onboard Controller vom Supermicro X11SCL-iF. Der Pool ist mit ashift 12 angelegt.

Ich glaube das experimental bezieht sich v.a. auf den root pool.

Ich hatte vorhin auf eine andere Systemplatte mal omnios installiert. Leider konnte ich meinen Pool nicht importieren - vermutlich nicht mit ZOL kompatibel. Außerdem hat OmniOS leider keinen Treiber für meine Mellanox ConnectX-3.
Zum Vergrößern anklicken....

Wenn man nicht gerade ultraneue Features wie draid nutzt, sind Zol und Illumos kompatibel.
Connect-X3 wird in OmniOS nicht unterstützt (erst ab X4)
oyster schrieb:
Mit Lesecache meinst du den ARC-Cache?
Zum Vergrößern anklicken....
Ja und zwar in der Einstellung all
oyster schrieb:
Auf dem HBA läuft noch eine eher antike Version: 15.0.0.0 IT. Lohnt hier ein Update? Ich bin da immer kein Freund von wenn es nicht zwingend nötig ist.

Iostat sagt beim Lesen etwa 12% iowait.
Zum Vergrößern anklicken....

Pool und Wert ist egal. Entscheidend ist ob alle einzelnen Platten gleich sind oder einzelne deutlich schlechter.
Beitrag automatisch zusammengeführt:

negotiator schrieb:
Danke für die Rückmeldung. Die Anpassung hatte ich tatsächlich übersehen, allerdings komme ich trotzdem nicht weiter.
Ich habe wie vorgeschlagen neue Keys generiert - und zwar in allen möglichen "Farben":
  • mit PUTTYGEN unter Windows als RSA-Key
  • mit PUTTYGEN als DSA-Key
  • mit ssh-keygen unter Omnios
Die entsprechenden Public-Keys habe ich unter root/.ssh/authorized_keys abgelegt - aber egal was ich versuche, ich erhalte weiterhin die "Server refused our key"-Meldung von Putty. Wenn ich die Public-Keys bei Debian oder Ubuntu hinterlege, komme ich damit problemlos auf die Maschinen.
Interessanterweise komme ich von einer zweiten Omnios-Maschine weiterhin mit den vor Ewigkeiten erzeugten Zertifikaten (soweit ich das sehen kann SHA-1) auf die Maschine. Wenn ich den dazugehörigen Private-Key nach Putty importiere und mich auch Omnios verbinden möchte -> "Server refused our key"

Was mache ich falsch?
Zum Vergrößern anklicken....

Einen direkten Tipp habe ich nicht. Allenfalls probehalber OmniOS neu instellieren oder auf das initiale BE zurückgehen um sicher zu ein dass es kein Einstellungsproblem ist, ansonst: https://www.howtoforge.de/anleitung/key-basierte-ssh-logins-mit-putty/
Beitrag automatisch zusammengeführt:

Stueckchen schrieb:
Moin,
bin grade dabei etwas dabei in bzw. mit der oracel-cloud zu spielen.
Jetzt habe ich überlegt ob ich den data-storage über zfs fahre um snapshots und send/recv zu haben. Aber das Block-Storage wird hier über iscsi angebunden, was da drunter liegt weis ich nicht. Daher die Frage ob das eine gute oder eher mistige Idee ist und ich eher xfs, ext4 oder sowas nehmen sollte?
Zum Vergrößern anklicken....

Bis auf eventuell geringere Performance kann man ZFS problemlos auf iSCSI Targets betreiben. Der Initiator ist ja bei Solaris und Illumos dabei.
 
Zuletzt bearbeitet:
Zur Info:
Um zu schauen was ich an SSDs für mein Special VDev brauche habe ich mal mit 3 18TB Platten im RAID Z1 + 2x 2 120GB Intel 320 SSDs im Mirror getestet.
LZ4 + Dedup & Atime = off
Die Intel SSDs haben das ZFS Hoffnungslos verhungern lassen.
Auf eine Schreibleistung von 5TB auf die HDDs schreibt man pi mal Daumen 1TB auf die SSDs. Speicherplatz braucht man etwa für 300 GB auf den HDD (mit Parität) etwa 1 GB SSD Kapazität.
Sprich für meinen geplanten Pool von 6x18TB RaidZ2 brauche ich etwa 360GB SSD Kapazität. Mit der Erweiterung auf 2x 6x18TB RAIDZ2 werden es etwa 720GB SSD Kapazität werden.

Ich habe jetzt mal 4 960GB Intel S4500 SSDs günstig bei Ebay geholt. Diese werden sobald sie hier sind wieder als 2x2 Mirror getestet. Ich hoffe sie überzeugen von der Leistung deutlich besser als die 320er. Sollte es brauchbar funktionieren werde ich denke ich mal im beim 6x18 RaidZ2 erstmal 1x3 fahren und sobald der Ausbau auf 2x 6x18 kommt um weitere 3 SSDs im Mirror erweitern.

Weiterhin ist leider mein Slog Device nach Erlanger in den USA gegangen und nicht zu mir, daher wurde jetzt eine RADIAN RMS-200 bestellt. Diese sollte einen brauchbaren Dienst liefern.
 
Bierjpg schrieb:
Auf eine Schreibleistung von 5TB auf die HDDs schreibt man pi mal Daumen 1TB auf die SSDs. Speicherplatz braucht man etwa für 300 GB auf den HDD (mit Parität) etwa 1 GB SSD Kapazität.
Zum Vergrößern anklicken....
Schreibleistung 5:1, Speicherplatz 300:1 ?

Brauchst Du wirklich ein slog = viele sync writes? Sonst wäre das Geld vermutlich in schnelleren special vdevs besser angelegt? (deine neuen Intel SSDs sollten aber deutlich schneller als die 320er sein)

Nur 1 HDD vdev begrenzt natürlich auch die iops dort ..
 
Kann man so grob sagen. Allerdings nur nach kurzzeitigen Tests.

So ein Slogdevice bekommt man um die 100 Euro. Dies macht den Kohl nicht fett und ist bei schnellen großen SSDs nur ein Tropfen auf dem heißen Stein.

Als Special VDev hatte ich diese SSDs im Kopf:
Micron MAX Serie
Scheint brauchbare Leistung zu haben aber etwas schwach auf der Brust beim Schreiben.
Intel Optane
Schweine Teuer, auch gebraucht. Daher hatte ich sie Aussortiert
Intel Server SSDs
Billig, Viel TBW / Preis. Weniger IOPs
Micron 3400
hier bin ich mir über die Powerloss Protection nicht sicher. Weiterhin eine schwache TBW. Ansonsten scheinen sie echt schnell zu sein. Evlt etwas fürs OS / Virtuelle Maschinen.

Oder habe ich etwas Offensichtliches übersehen? An sich bevorzuge ich Micron / Intel. Samsung würde ich eher ungern einsetzen (absolut unbegründete persönliche Abneigung).

Ich werde sehen wie sich die Intel SSDs jetzt machen. Sollten sie schnell genug sein werden sie erst einmal als VDEV dienen ansonsten kommen sie in einen SSD Pool.

Kann man bei SSDs den onboard Write Cache abschalten? Ich hatte überlegt einen Pool aus MX500 zu bauen, allerdings scheinen die keine Power Loss Protection für den Write Cache zu haben. (ja mir ist klar, dass dann die IOPs in den Keller gehen)

Ich bitte darum nicht den Hinweis zu geben:
Kauf doch eine USV. Dies ist geplant. Allerdings erst nachdem das System grundsätzlich Fertig ist. Und Ich habe schon miterlebt wie eine USV aufgrund eines Akkufehlers den Rechner hart abgeschaltet hat.
 
Intel DC S.... sind solide. Optane übertrieben. Daher liegst Du schon grds gut, allenfalls auf Datacenter nvme hättest Du gehen können, aber da kenne ich mich auch nicht mehr aus.
 
Das hört sich nicht so begeistert an oO....
Ich bin mal gespannt. Und werde berichten.

Evlt hat noch wer anders Ideen
 
Ich überlege Proxmox und ZFS als Unterbau für meinen Heimserver zu verwenden.

Ziehe ich aus meinem alten NAS die Datenplatte, kann ich die ext4 Partition einfach an meinen PC anschließen und mit einer Live CD auslesen.

Geht das bei einer einzelnen ZFS Platte oder einem Mirror auch? (ich plane nur eine oder zwei HDDs in meinem ZFS Pool)
 
Grundsätzlich ja, das geht natürlich - Probleme könnten (nur) auftreten, wenn Du die Platte mit einem älteren Betriebssystem/ älteren ZFS Version auslesen willst. Oder wenn Du Dateisysteme verschlüsselt (?).

Bei der Erstellung des Pools solltest Du sicherheitshalber dann mit UUIDs o.ä. und nicht mit /dev/sda etc arbeiten.
 
asche77 schrieb:
Intel DC S.... sind solide. Optane übertrieben. Daher liegst Du schon grds gut, allenfalls auf Datacenter nvme hättest Du gehen können, aber da kenne ich mich auch nicht mehr aus.
Zum Vergrößern anklicken....

Intel P1600X wären mit PLP perfekte bezahlbare Optane Slogs. Leider ist die 58GB Version (von der Größe und den 600 TBW oft ausreichend) nicht lieferbar., Aber die 118GB Version mit doppelter TBW ist ja auch noch bezahlbar.
https://www.intel.de/content/www/de...ge/data-center-ssds/optane-dc-ssd-series.html
 
gae, Slog ist schon unterwegs ;) geht eher um das Special VDEV und da sind die etwas klein ....
 
Ein Slog muss plp haben, extrem gut sein bei qd1 writes (geringe Latenz) und die gesamte Schreiblast eines Pools aushalten. Ein Special vdev Mirror ist da viel unkritischer. Powerloss Protection ist aber bei SSD Storage immer gut.
 
RAM ist natürlich immer schneller als NVMe. 8GB reichen auch gerade so für Slog.
Kann man aber nicht als reguläre Alternative sehen. Ist EoL und nur gebraucht günstig.

Wäre trotzdem interessant wie nahe man damit mit sync write an async write herankommt (idealerweise im Vergleich zu einer Optane)
 
Natürlich das Nachfolgemodell Radian RMS-300 ist noch nicht end of life und scheint es inzwischen vielerorts auch günstig zu geben. Weiterhin haben sie noch eine U.2 Lösung.

Falls du mir eine Optane borgen kannst, kann ich das sobald alles steht mal ausprobieren.
Beitrag automatisch zusammengeführt:

Ach ja bin aktuell mit Debian am Testen. Da es doch eine längere Halbwertszeit hat als FreeBSD
 
Welche NVME M.2 würdet ihr im mirror betrieb empfehlen? zZ habe ich 2x DC S4500 SSDs aber die random read und write Geschwindigkeit ist echt scheiße.
 
Es scheint allerdings nichts am 500k IOPS mit Powerloss Protection zu geben ....

Ich fand ja diese SSD spannend:
geizhals.de

Micron 3400 1TB, M.2 2280 / M-Key / PCIe 4.0 x4 | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Micron 3400 1TB, M.2 2280 / M-Key / PCIe 4.0 x4 ✔ Produktinfo ⇒ Kapazität: 1TB (entspricht ca. 931.32GiB bzw. 0.91TiB, weiterführende Informationen hierzu ) • Bauform: S… ✔ Solid State Drives (SSD) ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de
Allerdings sagt das Datenblatt:
Power Loss Protection (für ruhende Daten)

Wenn ich das Datenblatt richtig studiert habe, hat die SSD keinen Cache.
Was ist also nicht geschützt? der letzte Schreibzugriff?

Gibt es eigendlich eine PCI-E M.2 Karte mit dicken Kondensatoren? Evlt kann man mit so einer Karte schnelle SSDs absichern.
 
Bierjpg schrieb:
Es scheint allerdings nichts am 500k IOPS mit Powerloss Protection zu geben ....

Ich fand ja diese SSD spannend:
geizhals.de

Micron 3400 1TB, M.2 2280 / M-Key / PCIe 4.0 x4 | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Micron 3400 1TB, M.2 2280 / M-Key / PCIe 4.0 x4 ✔ Produktinfo ⇒ Kapazität: 1TB (entspricht ca. 931.32GiB bzw. 0.91TiB, weiterführende Informationen hierzu ) • Bauform: S… ✔ Solid State Drives (SSD) ✔ Testberichte ✔ Günstig kaufen
geizhals.de geizhals.de
Zum Vergrößern anklicken....
Leider hat die nur 600TBW
Bierjpg schrieb:
Gibt es eigendlich eine PCI-E M.2 Karte mit dicken Kondensatoren? Evlt kann man mit so einer Karte schnelle SSDs absichern.
Zum Vergrößern anklicken....
Nicht das ich wüsste, wenn man sich bei Geizahls mal die M2 mit PLP anschaut ist die Auswahl sehr bescheiden und wenn mann dann noch 400k IOPs haben will wirds auch schon sehr teuer.
 
OK die RMS-200 ist da.
Zwei Dinge sind bemerkenswert:
1. Der FAN hört sich an wie eine FLEX mit VERSTÄRKER (Lagerschaden oder so)
2. 1834 PB Written. Also 1.8 Exabyte hat sie auf dem Tacho!

Hier mal ein Blick unter die Verkleidung:
 

Anhänge

  • P1160671.JPG
    P1160671.JPG
    674,7 KB · Aufrufe: 95
  • P1160670.JPG
    P1160670.JPG
    579,6 KB · Aufrufe: 91
Slog bringt nur was für sync writes. Nutzt Du sync writes?
Evtl 2x nvme als Special vdev mirror statt slog?
 
Achtung die Micron 3400 hat keine PowerLoss protection wenn ich das richtig gesehen habe!
 
Bierjpg schrieb:
guckste hier:

Festplatten & SSDs Solid State Drives (SSD) mit Schnittstelle: U.2/SFF-8639, IOPS 4K schreiben: ab 200k IOPS, Besonderheiten: Power-Loss Protection Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Festplatten & SSDs Solid State Drives (SSD) mit Schnittstelle: U.2/SFF-8639, IOPS 4K schreiben: ab 200k IOPS, Besonderheiten: Power-Loss Protection
geizhals.de geizhals.de
und holst einfach einen M2 auf U.2 Adapter ;)
Zum Vergrößern anklicken....
Da ist aber auch der Preis heiß :)
 
gea schrieb:
Preis geht so. Bei meinen Optane 900 U.2 war so ein Adapterkabel sogar dabei
z.B. https://www.amazon.de/Diyeeni-SFF-8639-Adapterkabel-Konverter-Kompatibel-default/dp/B07V579XN9

alternativ sowas
www.startech.com

U.2 auf M.2 Adapter für M.2 NVMe SSD - Laufwerksadapter und Laufwerkskonverter | StarTech.com Deutschland

U.2 to M.2 Adapter for U.2 NVMe SSD - M.2 PCIe x4 Host Interface - U.2 SSD SFF-8643 Adapter - M2 PCIe Adapter - U.2 Drive Adapter - U.2 NVMe Adapter | Deutschland
www.startech.com www.startech.com
Zum Vergrößern anklicken....
In den server kommt ein 9400er HBAs also das anschließen der u.2 ist kein problem. Was würdest Du vorschlagen ein POOL aus 4x P900 oder die S4500 als mirror und 2 P900 als special mirror vdev?
Ich habe dein Doc. zu den special vdevs gelesen war sehr aufschlussreich, ich kannte den Kram noch garnicht.
Beitrag automatisch zusammengeführt:

asche77 schrieb:
Und nutzt Du da nun sync writes? Sonst bringt Dir ein slog nüscht.
Zum Vergrößern anklicken....
gibt ja noch sync=always
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
690
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
404
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
424
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
8K
gea
G
G
[Übersicht] Windows NAS mit Web-Gui, SMB direkt, (Tiered) Storage Spaces, ReFS (und ZFS)
2
Antworten
48
Aufrufe
2K
gea
G
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh