Mehrere Partitionen anlegen und nur eine nutzen wäre genauso möglich.
Wenn das aber GPT unter BSD ist, dann hätte das zur Folge, dass z.B. Solaris den Pool nicht lesen kann.
(geht meines Wissens nur mit Geom oder mit einer GPT Partition zu 100%)
Man verliert also eventuell die OS Unabhängigkeit der Pools.
Wenn das aber GPT unter BSD ist, dann hätte das zur Folge, dass z.B. Solaris den Pool nicht lesen kann.
(geht meines Wissens nur mit Geom oder mit einer GPT Partition zu 100%)
Man verliert also eventuell die OS Unabhängigkeit der Pools.
Digi-Quick
Urgestein
- Mitglied seit
- 02.09.2009
- Beiträge
- 7.082
Kann denn Solaris 11.3 mitlerweile einen 5000er Pool (Feature Flags) importieren - z.B. von NAS4Free?
Ich fürchte nein...
Digi-Quick
Urgestein
- Mitglied seit
- 02.09.2009
- Beiträge
- 7.082
Schade, hätte ja sein können, daß man da "zurückrudert".
dann wird mein NAS halt erstmal unter NAS4Free weiterlaufen (19x8TB Raidz3) - bis es irgendwann in 3-5 Jahren ersetzt wird.
dann wird mein NAS halt erstmal unter NAS4Free weiterlaufen (19x8TB Raidz3) - bis es irgendwann in 3-5 Jahren ersetzt wird.
Digi-Quick
Urgestein
- Mitglied seit
- 02.09.2009
- Beiträge
- 7.082
Das sowieso, das ist nicht innerhalb einer Woche erledigt 
Derzeit ist das Raidz3 auch "nur" mit 54% befüllt - noch.
Derzeit ist das Raidz3 auch "nur" mit 54% befüllt - noch.
Zuletzt bearbeitet:
Das sowieso, das ist nicht innerhalb einer Woche erledigt
Derzeit ist das Raidz3 auch "nur" mit 54% befüllt - noch.
Ich hatte kützlich das Vergnügen, 20 TB mit robocopy umzukopieren (damit ACL erhalten bleiben).
Hat gut 2 Wochen gedauert.
Ich meinte das eigentlich anders
Die Frage war so gemeint, ob ich anstatt eine HPA mit hdparm oder hdat2 anzulegen das gleiche erreiche, wenn ich eine Partition über nur 90% der SSD anlege und diese beim Pool erstellen benutze anstelle der kompletten Platte, also: "/dev/sda1" (90%) anstatt "/dev/sda" (100%)
Ob dann der 10% unpartitionierte Bereich auch als "HPA" anzusehen ist.
Wenn ich das mache würde, dann hätte die SSD ja aber wieder keinen HPA zur verfügung?
Ich weiß es jetzt nicht 100%ig, aber die SSD muss den Block als "unbenutzt" in Verwaltung haben. Also sobald der Block einmal schreibend angefasst wurde, ist er nicht mehr unbenutzt, selbst wenn er voller Nullen ist.
Eine Partition, die nur über 90% geht, sorgt idR dafür, dass das OS die restlichen 10% nie anfasst. Man muss aber irgendwie sicherstellen, dass die SSD das auch weiß. Da man eine SSD anscheinend nicht fragen kann, ob ein Block wirklich als unbenutzt verwaltet wird, muss man das irgendwie "blind" machen. Also entweder einmal die SSD "wipen" mit dem speziellen Befehl dafür (die meisten Hersteller haben sowas in ihren Verwaltungstools, die man runterladen kann) oder einmal irgendwie den Bereich TRIMen, wenn er schonmal irgendwann in Benutzung war. Oder halt genau wissen, dass die 10% noch nie geschrieben wurden. Dann die Partition anlegen und das wars. Diese HPA ist mMn nicht nötig. Eine HPA sorgt nur zuverlässiger dafür, dass die Blöcke nicht angefasst werden, weil das OS sie erst gar nicht sieht.
Übrigens wäre eine Quota bei ZFS nicht effektiv. Eine Quota sagt nur, wieviel Platz maximal gleichzeitig belegt ist, aber sagt gar nichts darüber aus, ob ZFS nicht doch nach und nach alle Blöcke einmal anfasst, selbst wenn immer nur 90% gleichzeitig in Benutzung sind. Selbst wenn also ZFS 10% der Blöcke nicht nutzt, die aber schonmal angefasst hat, kann die SSD nicht unterscheiden, ob die Blöcke aufzuheben sind oder ob sie "frei" sind.
Eine Partition, die nur über 90% geht, sorgt idR dafür, dass das OS die restlichen 10% nie anfasst. Man muss aber irgendwie sicherstellen, dass die SSD das auch weiß. Da man eine SSD anscheinend nicht fragen kann, ob ein Block wirklich als unbenutzt verwaltet wird, muss man das irgendwie "blind" machen. Also entweder einmal die SSD "wipen" mit dem speziellen Befehl dafür (die meisten Hersteller haben sowas in ihren Verwaltungstools, die man runterladen kann) oder einmal irgendwie den Bereich TRIMen, wenn er schonmal irgendwann in Benutzung war. Oder halt genau wissen, dass die 10% noch nie geschrieben wurden. Dann die Partition anlegen und das wars. Diese HPA ist mMn nicht nötig. Eine HPA sorgt nur zuverlässiger dafür, dass die Blöcke nicht angefasst werden, weil das OS sie erst gar nicht sieht.
Übrigens wäre eine Quota bei ZFS nicht effektiv. Eine Quota sagt nur, wieviel Platz maximal gleichzeitig belegt ist, aber sagt gar nichts darüber aus, ob ZFS nicht doch nach und nach alle Blöcke einmal anfasst, selbst wenn immer nur 90% gleichzeitig in Benutzung sind. Selbst wenn also ZFS 10% der Blöcke nicht nutzt, die aber schonmal angefasst hat, kann die SSD nicht unterscheiden, ob die Blöcke aufzuheben sind oder ob sie "frei" sind.
Digi-Quick
Urgestein
- Mitglied seit
- 02.09.2009
- Beiträge
- 7.082
@gea,
du hats ja immer so ein halbes Ohr an der Entwicklung von ZFS dran
Gibt es denn bei OpenZFS die Idee das Resilvering umzugestalten - also wie Solaris auf Block statt Dateiebene? Oder dürfen die das nicht?
Das Resilvern auf Dateibene ist bei "kleineren" VDEVs sicherlich praktikabel und u.U. schneller. bei Plattengrössen jenseits der 2TB ist Sequentielles Resilvern auf Blockebene deutlich schneller.
ZFS Resilvering also das Ersetzen einer Festplatte selber läuft immer auf Blockebene. Es werden aber alle Dateien/ Snaps - Metadaten durchlaufen um zu kontrollieren ob ein Datenblock auf einem ausgefallenen/ zu ersetzendem Laufwerk liegt. Das vdev ist da nicht relevant. Prinzipiell ist das auch bei einem einfachen Mirror so. Gehört ein Datenblock auf die neue Platte, wird er (bei OpenZFS sofort) geschrieben.
Das Durchsuchen der Metadaten geht relativ schnell. Wird aber jeder zu kopierende Datenblock sofort bearbeitet, so werden da aufgrund der Datenfragmentierung sehr viele kleine Datenblöcke gelesen und geschrieben. Bei SSD wäre das nicht so schlimm. Bei normalen Platten Platten sind diese kleinen Lese-/ Schreiboperationen aber relativ langsam.
Solaris macht das beim sequentiellen Resilvern daher in zwei Schritten. Erst werden anhand der Metadaten die Datenblöcke ermittelt, dann anhand ihrer Lage auf der Platte sortiert und dann erst gelesen/geschrieben. Das führt dann dazu, dass der Kopf der Platte nicht für jedes io neu positioniert werden muss, sondern die Daten mehr oder weniger sequentiell abarbeiten kann.
War die alte Platte zu 100% gefüllt, ist das kaum langsamer als ein reines 1:1 Umkopieren einer Platte per dd. Bei kleineren Füllgraden ist das Verfahren deutlich schneller als ein stures blockweises Abarbeiten ohne Betrachtung des Inhalts. Ein reines blockweises Umkopieren wäre aber auch nur offline möglich und führt bei einer ausgefallenen Platte nicht weiter.
Ich wüsste jetzt nicht, ob man sich sowas relativ banales schützen lassen kann. Es erfordert aber das Neuprogrammieren eines sehr sensiblen ZFS Moduls. Ich habe noch nicht gehört, dass jemand daran bei OpenZFS arbeitet, würde aber davon ausgehen, dass das auch bei OpenZFS früher oder später kommt.
Das Durchsuchen der Metadaten geht relativ schnell. Wird aber jeder zu kopierende Datenblock sofort bearbeitet, so werden da aufgrund der Datenfragmentierung sehr viele kleine Datenblöcke gelesen und geschrieben. Bei SSD wäre das nicht so schlimm. Bei normalen Platten Platten sind diese kleinen Lese-/ Schreiboperationen aber relativ langsam.
Solaris macht das beim sequentiellen Resilvern daher in zwei Schritten. Erst werden anhand der Metadaten die Datenblöcke ermittelt, dann anhand ihrer Lage auf der Platte sortiert und dann erst gelesen/geschrieben. Das führt dann dazu, dass der Kopf der Platte nicht für jedes io neu positioniert werden muss, sondern die Daten mehr oder weniger sequentiell abarbeiten kann.
War die alte Platte zu 100% gefüllt, ist das kaum langsamer als ein reines 1:1 Umkopieren einer Platte per dd. Bei kleineren Füllgraden ist das Verfahren deutlich schneller als ein stures blockweises Abarbeiten ohne Betrachtung des Inhalts. Ein reines blockweises Umkopieren wäre aber auch nur offline möglich und führt bei einer ausgefallenen Platte nicht weiter.
Ich wüsste jetzt nicht, ob man sich sowas relativ banales schützen lassen kann. Es erfordert aber das Neuprogrammieren eines sehr sensiblen ZFS Moduls. Ich habe noch nicht gehört, dass jemand daran bei OpenZFS arbeitet, würde aber davon ausgehen, dass das auch bei OpenZFS früher oder später kommt.
Zuletzt bearbeitet:
besterino
Legende
Es gehört wohl nicht wirklich hierher, aber hier tummeln sich die meisten "Solarisianer": ich bin schlicht zu doof/ängstlich, einen FQDN für meinen Filer zu definieren.
Diese Box hängt halt ganz normal an einem DSL-Anschluss mit fester IP-Adresse (immerhin). Ein lookup über What Is My IP Address? IP Address Tools and More gibt in den erweiterten Infos als hostname "buchstaben/zahlenfolge.dip0.t-ipconnect.de". Könnte ich jetzt als FQDN/Hostnamen für die Solaris-Box einfach z.B. "MeinHostname.dip0.t-ipconnect.de" angeben und wo würde ich das dann eintragen?
Sorry für off-topic, aber die Fehlermeldungen nerven mich inzwischen ein wenig...
Diese Box hängt halt ganz normal an einem DSL-Anschluss mit fester IP-Adresse (immerhin). Ein lookup über What Is My IP Address? IP Address Tools and More gibt in den erweiterten Infos als hostname "buchstaben/zahlenfolge.dip0.t-ipconnect.de". Könnte ich jetzt als FQDN/Hostnamen für die Solaris-Box einfach z.B. "MeinHostname.dip0.t-ipconnect.de" angeben und wo würde ich das dann eintragen?
Sorry für off-topic, aber die Fehlermeldungen nerven mich inzwischen ein wenig...
Eine vordergründige Antwort wäre z.B.
https://docs.oracle.com/cd/E18752_01/html/816-4554/ipconfig-12.html
gilt je nach Solaris Version. Die hostname.interface Variante ist bei neuerem Solarish obsolet.
Aber was soll das bringen.
Die Telekom gibt dir jeden Tag eine andere IP und trägt die in Ihr DNS unter der Nummer ein. Damit könntest du per ping z.B. deinen Router erreichen denn nur der nutzt die IP. Interessant ist das allenfalls für Abmahn Anwälte um sofort den Provider für die IP zu haben.
Intern arbeiten die Rechner mit NAT und lokalen IP Adressen und gehen lediglich ins Internet mit der IP des Routers. Für einen lokalen Server ist das alles relativ irrelevant. Der hat einen hostname und man sollte allenfalls schauen, dass der hostname eine Referenz in /etc/host auf die lokale ip oder auf 127.0.0.1 hat.
https://docs.oracle.com/cd/E18752_01/html/816-4554/ipconfig-12.html
gilt je nach Solaris Version. Die hostname.interface Variante ist bei neuerem Solarish obsolet.
Aber was soll das bringen.
Die Telekom gibt dir jeden Tag eine andere IP und trägt die in Ihr DNS unter der Nummer ein. Damit könntest du per ping z.B. deinen Router erreichen denn nur der nutzt die IP. Interessant ist das allenfalls für Abmahn Anwälte um sofort den Provider für die IP zu haben.
Intern arbeiten die Rechner mit NAT und lokalen IP Adressen und gehen lediglich ins Internet mit der IP des Routers. Für einen lokalen Server ist das alles relativ irrelevant. Der hat einen hostname und man sollte allenfalls schauen, dass der hostname eine Referenz in /etc/host auf die lokale ip oder auf 127.0.0.1 hat.
Zuletzt bearbeitet:
TRIM- bzw. nichtTRIM-Problem in einem SSDonly-ZPOOL
Hallo,
ich habe einen SSD-Pool aus 2x raidz2 6x SSDs je 450GB (Consumer-Qualität) mit compression on und dedup off an einem Linux-System über ZFSonLinux seit 2 Jahren in Betrieb. Nun musste ich den Pool kurzzeitig zu über 95% füllen und habe jetzt das Problem, dass trotz Löschens der kurzzeitig zusätzlich gespeicherten Daten der Fülllgrad nicht unter 90% sinkt, eigentlich sollten mehr als 40% frei sein. TRIM wird für ZFSonLinux meines Wissens nach noch nicht unterstützt. Gibt es ein Workaround für dieses Problem.
Vielen Dank für die Hilfe.
Ron
Hallo,
ich habe einen SSD-Pool aus 2x raidz2 6x SSDs je 450GB (Consumer-Qualität) mit compression on und dedup off an einem Linux-System über ZFSonLinux seit 2 Jahren in Betrieb. Nun musste ich den Pool kurzzeitig zu über 95% füllen und habe jetzt das Problem, dass trotz Löschens der kurzzeitig zusätzlich gespeicherten Daten der Fülllgrad nicht unter 90% sinkt, eigentlich sollten mehr als 40% frei sein. TRIM wird für ZFSonLinux meines Wissens nach noch nicht unterstützt. Gibt es ein Workaround für dieses Problem.
Vielen Dank für die Hilfe.
Ron
GEA: Ich muss noch mal auf die "Power Loss Protection bei SSD's" Diskussion von vor ein paar Wochen zurück kommen.
Ich habe die Tage mal ein bisschen recherchiert, ob es dieses Feature evtl. auch bei Cosumer SSD's gibt und bin dabei auf die Crucial-MX200 gestossen: https://www.crucial.com/wcsstore/Cr...crucial-mx200-ssd-product-flyer-letter-en.pdf
Hier steht zumindest "Power Loss Protection" als Feature mit dabei, allerdings mit dem Zusatz "Refers to data at rest only", was heisst denn nun das wieder, gibt es bei der "Power Loss Protection" auch wieder Unterschiede?
Hier Crucial MX200 (250GB, 500GB & 1TB) SSD Review "... I explained how Crucial's power loss protection in client SSDs is not the same as in enterprise drives..." hab ich etwas dazu gefunden, sagt mir aber nicht wirklich was.
Mein zweiter ZFS Mirror-SSD Pool (unter ZoL) soll als Datastore für VM's dienen, also wird Sync-Write benötigt. Zwei Enterprise SSD's sind mir aber ehrlich gesagt zu teuer für das Vorhaben. Ich suche deshalb nach der bestmöglichen Alternative an Consumer SSD's.
Ich habe die Tage mal ein bisschen recherchiert, ob es dieses Feature evtl. auch bei Cosumer SSD's gibt und bin dabei auf die Crucial-MX200 gestossen: https://www.crucial.com/wcsstore/Cr...crucial-mx200-ssd-product-flyer-letter-en.pdf
Hier steht zumindest "Power Loss Protection" als Feature mit dabei, allerdings mit dem Zusatz "Refers to data at rest only", was heisst denn nun das wieder, gibt es bei der "Power Loss Protection" auch wieder Unterschiede?
Hier Crucial MX200 (250GB, 500GB & 1TB) SSD Review "... I explained how Crucial's power loss protection in client SSDs is not the same as in enterprise drives..." hab ich etwas dazu gefunden, sagt mir aber nicht wirklich was.
Mein zweiter ZFS Mirror-SSD Pool (unter ZoL) soll als Datastore für VM's dienen, also wird Sync-Write benötigt. Zwei Enterprise SSD's sind mir aber ehrlich gesagt zu teuer für das Vorhaben. Ich suche deshalb nach der bestmöglichen Alternative an Consumer SSD's.
Im Artikel steht
In the MX100 review, I was still under the impression that there was full power-loss protection in the drive, but my impression was wrong. The client-level implementation only guarantees that data-at-rest is protected, meaning that any in-flight data will be lost, including the user data in the DRAM buffer. In other words the M500, M550 and MX100 do not have power-loss protection -- what they have is circuitry that protects against corruption of existing data in the case of a power-loss.
Die Zusage von Powerloss Protection ist also manchmal soviel Wert wie die tollen Angaben von Volkswagen
- zur nicht vorhandenen Abgasreinigung.
Data at rest sagt mir auch nichts, meint eventuell was ganz selbstverständliches nämlich dass Daten,
die bereits auf der SSD geschrieben sind, sicher sind.
In the MX100 review, I was still under the impression that there was full power-loss protection in the drive, but my impression was wrong. The client-level implementation only guarantees that data-at-rest is protected, meaning that any in-flight data will be lost, including the user data in the DRAM buffer. In other words the M500, M550 and MX100 do not have power-loss protection -- what they have is circuitry that protects against corruption of existing data in the case of a power-loss.
Die Zusage von Powerloss Protection ist also manchmal soviel Wert wie die tollen Angaben von Volkswagen
- zur nicht vorhandenen Abgasreinigung.
Data at rest sagt mir auch nichts, meint eventuell was ganz selbstverständliches nämlich dass Daten,
die bereits auf der SSD geschrieben sind, sicher sind.
Gibt es dazu schon einen Zeitplan? Im Current stable release (r151016, omnios-ab87a0b) von OmniOS schein ja nichts davon drin zu sein.
In Illumos dev Liste meinte Gordon Ross vor ca 2 Wochen: SMB 2.1 is nearly ready
Ansonsten ab und an mal hier vorbeischauen: https://www.illumos.org/issues/6399
Ansonsten ab und an mal hier vorbeischauen: https://www.illumos.org/issues/6399
Hurra, soeben wurde der feature status auf closed gesetzt.
Nicht nur das
Da tut sich gerade heftig was bei Illumos
https://www.illumos.org/issues/6399
https://www.illumos.org/issues/6398
https://www.illumos.org/issues/6352
https://www.illumos.org/issues/6400
https://www.illumos.org/issues/1087
fast fertig
https://www.illumos.org/issues/3525
Da tut sich gerade heftig was bei Illumos
https://www.illumos.org/issues/6399
https://www.illumos.org/issues/6398
https://www.illumos.org/issues/6352
https://www.illumos.org/issues/6400
https://www.illumos.org/issues/1087
fast fertig
https://www.illumos.org/issues/3525
Wie geht es denn jetzt damit weiter bei OmniOS? Landen diese Änderungen automatisch im nächsten Build?
luckyspiff
Experte
- Mitglied seit
- 09.08.2015
- Beiträge
- 140
Preislich noch im Rahmen, sehr schnell und mit "richtiger" power loss protection ist die Intel SSD 750. Zwar nicht so billig zu haben wie reine Consumer-SATA-SSDs, aber mit 400€ für 400GB auch nicht teuer, zumal sie dank PCIe und NVMe alle SATA III SSDs weit hinter sich lässt, hier ein Bericht.
Zuletzt bearbeitet:
Hallo,
ich habe ein paar Grundsätzlich Fragen zu ZFS (falls das hier nicht passt kann ich auch einen extra Thread aufmachen).
Ich nutze einen Homeserver (selbstgebaut) mit Folgender Hardware:
i3 4130 2x 3.40ghz
AsRock Z87E
und 4GB DDR3-1600 RAM
SSD 32 GB für das System (Openmediavault)
Daten: 2x2TB HDD und 1x 3TB HDD (alle ext Formatiert)
Also Betriebssystem habe ich OpenMediaVault installiert.
Dort kann man auch ein ZFS Plugin installieren.
Kann ich jetzt alle meine Platte zu einem ZFS Share zusammenfügen oder müssen dort alle HDD´s die selbe Größe haben?
Gibt es die Möglichkeit das einzelne Platte in den Standby gehen können (wenn ich z.B. einen Film schauen von einer Platte müssen ja nicht alle Platten die ganze Zeit laufen).
Was ist denn möglich der Datensicherheit,also gibt es sowas wie ein Raid 5 oder ähnliches? Wenn ja nehme ich an ich brauche gleich Größe Platten?
Vielleicht habt ihr da ein paar Infos für mich, denn so richtig bin ich nicht schlau geworden.
ich habe ein paar Grundsätzlich Fragen zu ZFS (falls das hier nicht passt kann ich auch einen extra Thread aufmachen).
Ich nutze einen Homeserver (selbstgebaut) mit Folgender Hardware:
i3 4130 2x 3.40ghz
AsRock Z87E
und 4GB DDR3-1600 RAM
SSD 32 GB für das System (Openmediavault)
Daten: 2x2TB HDD und 1x 3TB HDD (alle ext Formatiert)
Also Betriebssystem habe ich OpenMediaVault installiert.
Dort kann man auch ein ZFS Plugin installieren.
Kann ich jetzt alle meine Platte zu einem ZFS Share zusammenfügen oder müssen dort alle HDD´s die selbe Größe haben?
Gibt es die Möglichkeit das einzelne Platte in den Standby gehen können (wenn ich z.B. einen Film schauen von einer Platte müssen ja nicht alle Platten die ganze Zeit laufen).
Was ist denn möglich der Datensicherheit,also gibt es sowas wie ein Raid 5 oder ähnliches? Wenn ja nehme ich an ich brauche gleich Größe Platten?
Vielleicht habt ihr da ein paar Infos für mich, denn so richtig bin ich nicht schlau geworden.
