FreeNAS / TrueNAS: RaidZ2 oder mirror?
- Ersteller hs_warez
- Erstellt am
Trambahner
Urgestein
Selbst wenn 7200 rpm, es bleiben auf Lautstärke und Sparsamkeit ausgelegte Nas-Platten.
32 GB Ram ist IMO mehr als genug für ein kleines 2-Platten-Mirror. ZFS nutzt out-of-the-box davon nur wenige GB als Writecache btw.
Btw, ich hoffe Du hast nicht TrueNas auf diesem Mirror mit drauf sondern bootest das von einer getrennten kleinen SSD/Platte? Truenas schreibt soweit ich weiss selber Logs und würde den Nutzer-Datenstrom damit regelmässig unterbrechen. Ausserdem kann man dann das Boot-Medium wechseln, neu installieren und einfach wieder den Zpool in die neue Installation einhängen. Wartung wird also einfacher.
32 GB Ram ist IMO mehr als genug für ein kleines 2-Platten-Mirror. ZFS nutzt out-of-the-box davon nur wenige GB als Writecache btw.
Btw, ich hoffe Du hast nicht TrueNas auf diesem Mirror mit drauf sondern bootest das von einer getrennten kleinen SSD/Platte? Truenas schreibt soweit ich weiss selber Logs und würde den Nutzer-Datenstrom damit regelmässig unterbrechen. Ausserdem kann man dann das Boot-Medium wechseln, neu installieren und einfach wieder den Zpool in die neue Installation einhängen. Wartung wird also einfacher.
Zuletzt bearbeitet:
Gen8 Runner
Experte
- Mitglied seit
- 12.08.2015
- Beiträge
- 1.153
Frage erst einmal bei TrueNAS direkt im Forum nach. Überwiegend leider in Englisch, aber da sitzen auch teilweise direkt die Entwickler im Boot und haben eventuell noch Ideen.
Ich habe auch einen RaidZ2 und schaffe von VM zu TrueNAS VM zumindest in den ersten GB 800Mbyte/s.
TrueNAS selbst läuft auf einer 120GB M2SSd (lag herum).
Beitrag automatisch zusammengeführt:
Was wäre die beste Lösung, wenn ich entweder noch IronWolfs nachkaufe, oder dies verkaufe und ev. neue/andere/kleinere HDDs besorgen würde?
Welches RaidZ?
Jetzt habe ich mir nach jahrelangem Hin-und-Her endlich den Wunsch eines „guten“ NAS erfüllt - dann will ich auch problemlos mein derzeitiges GB-Lan (Cat.7 - ev. kommt mal 10GB) konstant ausreizen können.
Bevor ich mich die nächsten Jahre immer wieder ärger, gebe ich lieber gleich jetzt noch ein paar Hunderter mehr aus, wenn es sein muss!
Danke!
Rein zufällig habe ich gerade ein System mit 2x 7200rpm HDDs (Seagate Barracuda) zum Testen, ich schaue, ob das auch bei mir so ist. I.d.R. ist es eigentlich garkein Problem über Samba Gigabit auszureizen. Das war auch vor 10 Jahren kein Problem.
Danke, das wäre nett.
Bin durch mit den Tests. Leider konnte ich das Verhalten hier nicht nachvollziehen. System ist ein Dell T40 mit Xeon E-2224G, 2x Seagate ST1000DM010 (also wirklich billigstes Zeug) mit GPT partitioniert, 8GB RAM, UEFI-only Installation. Frisches TrueNAS 12 auf SSD. Pools / Samba Share mit Standard-Einstellungen (kein Encryption, kein Tuning). Zum Test Linux ISOs (also große Dateien), insgesamt ca. 30GB. Client ist ein Windows 10 PC, SMB 1 deaktiviert, Intel NIC, Ryzen CPU, SSDs.
CPU-Auslastung während der Übertragung bei 5%. Übertragungsrate durchgängig 108 - 112MB/s.
Dann habe ich Encryption + ZSTD compression (Level 3) aktiviert, um mal ein bisschen mehr "Stress" zu machen. Jetzt CPU-Auslastung bei ca. 8 - 11%, Übertragungsrate relativ stabil um die 109MB/s.
Beim 3. Test habe ich eine Festplatte mittendrin rausgenommen: kein Effekt auf die Übertragungsrate.
Hast du zufällig eine Realtek NIC am Server oder beim Client? Die limitieren gerne mal bei den besagten 80MB/s.
CPU-Auslastung während der Übertragung bei 5%. Übertragungsrate durchgängig 108 - 112MB/s.
Dann habe ich Encryption + ZSTD compression (Level 3) aktiviert, um mal ein bisschen mehr "Stress" zu machen. Jetzt CPU-Auslastung bei ca. 8 - 11%, Übertragungsrate relativ stabil um die 109MB/s.
Beim 3. Test habe ich eine Festplatte mittendrin rausgenommen: kein Effekt auf die Übertragungsrate.
Hast du zufällig eine Realtek NIC am Server oder beim Client? Die limitieren gerne mal bei den besagten 80MB/s.
Gen8 Runner
Experte
- Mitglied seit
- 12.08.2015
- Beiträge
- 1.153
Bei meinem Lenovo mit "USB" Intel Netzwerkkarte, komme ich auch nicht auf die volle Geschwindigkeit.
Wird aber eher an dem USB Adapter liegen, als an TrueNAS. Noch nen stationären Rechner zum Testen da?
Lief es denn vorher mit den Lenovos in Kombination mit dem Synology (?) mit voller Geschwindigkeit?
Wird aber eher an dem USB Adapter liegen, als an TrueNAS. Noch nen stationären Rechner zum Testen da?
Lief es denn vorher mit den Lenovos in Kombination mit dem Synology (?) mit voller Geschwindigkeit?
Trambahner
Urgestein
P-, X- und T-Thinkpads mit Intel-CPU haben immer Intel NICs drauf. Meist die i219.
Erst die aktuellen Amd- T-Thinkpads mit Ryzen haben auch Realtek.
Erst die aktuellen Amd- T-Thinkpads mit Ryzen haben auch Realtek.
Na ja, das alte/gebrauchte QNAP hat einen Marvel Prozessor mit 1,6 GHz und war bei ca. 70MB/s mit meinem T450 als Client - über GB-Lan - am Limit - mehr geht halt bei diesem alten/schwachn NAS nicht - dafür war es relativ konstant.
Mein TrueNAS habe ich mit 2 Clients gefüttert - sprich, am Datennachschub kanns nicht liegen - das Schwanken kommt von TrueNAS selbst.
D.h. wenn ich mit 2 Clients - welcher jeder 1GB-Anbindung hat - große Daten (mkv's) an TrueNAS schicke, dann müssten ja dort immer Alles auf Anschlag laufen.
Wie vorher schon erwähnt gibt es bei TrueNAS einen gewissen Overhead - war mir so nicht bekannt - und deshalb ist es normal, dass man GB-Lan nicht vollständig ausnutzen kann.
Aber Schwankungen von 80-115 MB/s!?
Sollte das Ganze nicht locker dauerhaft >100 MB/s schaffen?
Habe auch nix Spezielles in TrueNAS eingerichtet.
1x Mirror Pool mit 2x 6 TB IronWolf (7200U/min)
darauf 5 Datasets mit jeweiliger SMB-Freigabe
für die Datasets automatische Snapshot (variieren von 1x pro Woche bis zu 1x täglich - je nach Wichtigkeit der Daten)
Sonst ist auf TrueNAS noch Nix eingerichtet.
Ja, lt. Datenblatt ist eine Intel NIC drin.
So wie ich das jetzt verstanden habe, wäre eine RaidZ2 schneller?
Könnte ich dies sinnvoll mit z.B. 4x4 TB betreiben, oder ist es sinnvoll/nötig, wenn man das mit 5, oder 6x 4TB macht!?
LG
Hab noch ein paar „0815“ 500 GB Seagate HDD’s mit 7200 U/Min herumliegen – werde mal ein „mirror“ mit 2 Platten machen, 1 Pool, 1 Dataset mit SMB-Freigabe (so wie eben jetzt auch) und dann mal testweise ein paar MKV’s rüberschieben – bin schon gespannt.
Kann’s mir nicht erklären – habe auch noch Bios kontrolliert,….. – Nix gefunden.
LG
Kann’s mir nicht erklären – habe auch noch Bios kontrolliert,….. – Nix gefunden.
LG
So, hab jetzt mal zusätzlich 2 alte WD Caviar Blue (WD5000AAKS / 7200U/Min) verbaut - haben schon viele Stunden drauf und auch schon ein "paar" defekte Sektoren.
1 pool "mirror"
1 Dataset
1 SMB-share (open => kein Benutzer/PW)
Hab mir wieder ein "Set" an MKV's gesucht und diese dann über GbLAN kopiert.
Das gleiche "MKV-Set" habe ich dann danach an meinen eigentlich Pool "2x 6TB IronWolf" geschickt.
Tja, was soll ich sagen!?
Trotz der defekten Sektoren sind die Kopiervorgänge auf die alten WD-Platten gleichmäßiger/stabiler und auch schneller als mit meinen IronWolfs!
Im Anhang 2 Screenshots von den IronWolfs - dieses Punkte streuen bei den WD's deutlich weniger.
Legt man jeweils einen Finger auf eine Festplatte, dann spürt man ja die Zugriffe - ich weiß, das ist keine professionelle Messung - hier sind die beiden alten WD's gefühlt auch gleichmäßiger als die IronWolfs!
Irgendwie, irgendwas scheint also mit diesen nicht ganz so zu passen!?
LG
1 pool "mirror"
1 Dataset
1 SMB-share (open => kein Benutzer/PW)
Hab mir wieder ein "Set" an MKV's gesucht und diese dann über GbLAN kopiert.
Das gleiche "MKV-Set" habe ich dann danach an meinen eigentlich Pool "2x 6TB IronWolf" geschickt.
Tja, was soll ich sagen!?
Trotz der defekten Sektoren sind die Kopiervorgänge auf die alten WD-Platten gleichmäßiger/stabiler und auch schneller als mit meinen IronWolfs!
Im Anhang 2 Screenshots von den IronWolfs - dieses Punkte streuen bei den WD's deutlich weniger.
Legt man jeweils einen Finger auf eine Festplatte, dann spürt man ja die Zugriffe - ich weiß, das ist keine professionelle Messung - hier sind die beiden alten WD's gefühlt auch gleichmäßiger als die IronWolfs!
Irgendwie, irgendwas scheint also mit diesen nicht ganz so zu passen!?
LG
Anhänge
Gen8 Runner
Experte
- Mitglied seit
- 12.08.2015
- Beiträge
- 1.153
Kurzzeitig mal Windows Defender deaktiviert?
Ich habe hier zwei Systeme mit TrueNAS.
1. Mit 7x HGST Ultrastar HE10, RaidZ2
2. Mit ausgebauten "Externen" Festplatten (WD Elements) im RaidZ1
Gestern war wieder Backup-Tag und -wenn auch per SSH (komplett anderes Protokoll. als SMB)- konnte ich übers Netzwerk keinerlei Pumpen feststellen.
Lief von Server Nr. 1 über den Zyxel Switch -> FritzBox -> Zyxel Switch -> Server Nr. 2 (ca. 1TB).
Ich bin immer noch der Meinung, dass der Bottleneck dort hinter deinem TrueNAS sitzt. Denn Leistung müssten deine Platten für Gigabit eigentlich mehr als genug liefern, insbesondere beim Transfer großer Dateien.
Treiber deiner Netzwerkkarten sind auch aktuell, Jumbo Frames aktiviert etc.?
Mein Lenovo Laptop mit dem USB Intel Netzwerkadapter schleicht aber auch deutlich langsamer, trotz SSD, 16GB RAM &&&.
Ich habe hier zwei Systeme mit TrueNAS.
1. Mit 7x HGST Ultrastar HE10, RaidZ2
2. Mit ausgebauten "Externen" Festplatten (WD Elements) im RaidZ1
Gestern war wieder Backup-Tag und -wenn auch per SSH (komplett anderes Protokoll. als SMB)- konnte ich übers Netzwerk keinerlei Pumpen feststellen.
Lief von Server Nr. 1 über den Zyxel Switch -> FritzBox -> Zyxel Switch -> Server Nr. 2 (ca. 1TB).
Ich bin immer noch der Meinung, dass der Bottleneck dort hinter deinem TrueNAS sitzt. Denn Leistung müssten deine Platten für Gigabit eigentlich mehr als genug liefern, insbesondere beim Transfer großer Dateien.
Treiber deiner Netzwerkkarten sind auch aktuell, Jumbo Frames aktiviert etc.?
Mein Lenovo Laptop mit dem USB Intel Netzwerkadapter schleicht aber auch deutlich langsamer, trotz SSD, 16GB RAM &&&.
Anhänge
Antivirenprogramm war immer aktiv - bei allen Versuchen.
Die alten/gebrauchten Festplatten laufen halt besser (synchroner und schneller) als die IronWolfs.
Die IronWolfs liegen bei gewissen Werte ziemlich weit auseinander.
Es kann also nicht wirklich an den Clients liegen, sondern muss von den Festplatten kommen - oder nicht!?
An den Lan-Einstellungen der Clients habe ich nix geändert/kontrolliert.
Die alten/gebrauchten Festplatten laufen halt besser (synchroner und schneller) als die IronWolfs.
Die IronWolfs liegen bei gewissen Werte ziemlich weit auseinander.
Es kann also nicht wirklich an den Clients liegen, sondern muss von den Festplatten kommen - oder nicht!?
An den Lan-Einstellungen der Clients habe ich nix geändert/kontrolliert.
Bei Latenz und Disk Operation - siehe 2 Beiträge drüber - sind halt deutliche Unterschiede zwischen den beiden IronWolf zu sehen.
Was soll ich denn noch versuchen?
Schreibtest mit jeweils nur einer IronWolf? - ev. sieht man ja dann, ob beide einzeln auch gleich langsam sind, oder ob eine "normal" ist und die andere "langsam"!?
Wie mache ich das am Besten, dass die bestehenden Daten nicht verloren gehen?
Anderen Lan-Anschluss am Board?
TrueNAS neu installieren?
lg
Was soll ich denn noch versuchen?
Schreibtest mit jeweils nur einer IronWolf? - ev. sieht man ja dann, ob beide einzeln auch gleich langsam sind, oder ob eine "normal" ist und die andere "langsam"!?
Wie mache ich das am Besten, dass die bestehenden Daten nicht verloren gehen?
Anderen Lan-Anschluss am Board?
TrueNAS neu installieren?
lg
Ceiber3
Urgestein
In der Regel sollte es egal sein wie weit die auseinander sind. Weil die schnellere passt sich eigentlich der Langsameren Festplatte an.
Sonst würde es nur Probleme und zum stocking im Raid kommen, passiert aber normal nicht.
Sonst würde es nur Probleme und zum stocking im Raid kommen, passiert aber normal nicht.
Zuletzt bearbeitet:
Ceiber3
Urgestein
Was sagen den die Smartwerte ? Alle auf Gut ? Wenn ja, glaube ich daran nicht. Ich glaube einfach nicht das es an den Platten liegt. Mal testweise ein anderes OS probiert ?
Wie läuft denn das mit den Smart-Werten in TrueNAS?
Bei den leicht defekten WD's kamen gleich Infomeldungen von TrueNAS, dass da defekte Sektoren vorhanden sind - von den IronWolf's kam derzeit noch keine Meldung.
Eingestellt habe ich, dass 1x wöchentlich der kurze Test gemacht wird.
Hatte die beiden Platten vor einigen Monaten mal mit einem anderen System (anderes Board + Prozessor => deutlich schwächer als die derzeitigen Komponenten) betrieben.
Raid 1 übers Board + Win10 Pro als OS.
Wenn ich da Daten kopiert habe, lag ich immer so um die 110-115MB/s.
LG
Bei den leicht defekten WD's kamen gleich Infomeldungen von TrueNAS, dass da defekte Sektoren vorhanden sind - von den IronWolf's kam derzeit noch keine Meldung.
Eingestellt habe ich, dass 1x wöchentlich der kurze Test gemacht wird.
Hatte die beiden Platten vor einigen Monaten mal mit einem anderen System (anderes Board + Prozessor => deutlich schwächer als die derzeitigen Komponenten) betrieben.
Raid 1 übers Board + Win10 Pro als OS.
Wenn ich da Daten kopiert habe, lag ich immer so um die 110-115MB/s.
LG
Gen8 Runner
Experte
- Mitglied seit
- 12.08.2015
- Beiträge
- 1.153
In der Konsole
smartctl -a /dev/da0
Musst vorher schauen, wie deine Festplatten genau benannt sind (meist da0, da1 etc.).
smartctl -a /dev/da0
Musst vorher schauen, wie deine Festplatten genau benannt sind (meist da0, da1 etc.).
Ceiber3
Urgestein
Schaut alles i.o aus, ich denke die Festplatten laufen tiptop wie sie sollen.
Gen8 Runner
Experte
- Mitglied seit
- 12.08.2015
- Beiträge
- 1.153
So, weitere Versuche.
Die 2 Alten WD's raus - dafür eine einzelne Seagate Constellation ES.3 (7200U/Min) als "stripe" rein - 1 Dataset - 1 "öffentliche" SMB-Freigabe (ACL).
Tja, was soll ich sagen - irgendwie funktioniert jetzt Alles, obwohl ich eigentlich Nix geändert habe!?
Wenn ich Daten direkt zwischen den beiden Pools (1x Mirror Pool aus 2x Seagate IronWolf 6TB / 1x Stripe aus einer einzelnen Seagate Constellation ES.3) kopieren, dann komme ich immer auf 150-160MB/s - egal in welche Richtung.
Habe dann ein paar große MKV's auf die einzelne Constellation kopiert - grob 105-110MB/s.
Die gleichen MKV's dann auf den Mirror-Pool der IronWolfs - grob sogar minimal höher - 107-113MB/s.
Keine Ahnung....
Habe an der ganzen Infrastruktur - seit den ganzen Geschwindigkeitstests - NIX geändert, außer, dass ich gestern PiHole+Unbound (Raspberry PI) von der SD-Karte auf eine SSD geklont habe - das kann aber nicht der Grund sein.
Na ja....
Einzige Beobachtung - bei den anfänglichen Kopiertests, hat sich der Ram-Cache irgendwann bis zum Rand gefüllt und blieb auch voll.
Jetzt sieht man den Cache arbeiten - wird mehr, wird aber auch wieder weniger - hm...
Ein abschließendes Anliegen hätte ich da jetzt aber noch:
Momentan scheint es ja zu funktionieren - wenn ich irgendwann mal den GB-Switch gegen einen 10G-Switch tausche, dann würde ich also auf ca. max. 160-160MB/s (so wie bei den obigen Tests, wenn man direkt von einem Pool auf den anderen kopiert) kommen, oder?
Falls dem so ist und ich dann eine höhere Schreibrate haben will, müsste ich dann auf z.B. 4 Festplatten im Mirror umstellen, oder?
Dann müsste sich die Geschwindigkeit - theoretisch - verdoppeln?
Sehe ich das richtig?
Danke!
LG
Die 2 Alten WD's raus - dafür eine einzelne Seagate Constellation ES.3 (7200U/Min) als "stripe" rein - 1 Dataset - 1 "öffentliche" SMB-Freigabe (ACL).
Tja, was soll ich sagen - irgendwie funktioniert jetzt Alles, obwohl ich eigentlich Nix geändert habe!?
Wenn ich Daten direkt zwischen den beiden Pools (1x Mirror Pool aus 2x Seagate IronWolf 6TB / 1x Stripe aus einer einzelnen Seagate Constellation ES.3) kopieren, dann komme ich immer auf 150-160MB/s - egal in welche Richtung.
Habe dann ein paar große MKV's auf die einzelne Constellation kopiert - grob 105-110MB/s.
Die gleichen MKV's dann auf den Mirror-Pool der IronWolfs - grob sogar minimal höher - 107-113MB/s.
Keine Ahnung....
Habe an der ganzen Infrastruktur - seit den ganzen Geschwindigkeitstests - NIX geändert, außer, dass ich gestern PiHole+Unbound (Raspberry PI) von der SD-Karte auf eine SSD geklont habe - das kann aber nicht der Grund sein.
Na ja....
Einzige Beobachtung - bei den anfänglichen Kopiertests, hat sich der Ram-Cache irgendwann bis zum Rand gefüllt und blieb auch voll.
Jetzt sieht man den Cache arbeiten - wird mehr, wird aber auch wieder weniger - hm...
Ein abschließendes Anliegen hätte ich da jetzt aber noch:
Momentan scheint es ja zu funktionieren - wenn ich irgendwann mal den GB-Switch gegen einen 10G-Switch tausche, dann würde ich also auf ca. max. 160-160MB/s (so wie bei den obigen Tests, wenn man direkt von einem Pool auf den anderen kopiert) kommen, oder?
Falls dem so ist und ich dann eine höhere Schreibrate haben will, müsste ich dann auf z.B. 4 Festplatten im Mirror umstellen, oder?
Dann müsste sich die Geschwindigkeit - theoretisch - verdoppeln?
Sehe ich das richtig?
Danke!
LG
Zum Erweitern nimmst du 2x 6TB im Mirror und erweiterst dein vorhandenes VDEV um ein Stripe. Damit hast du effektiv Striped Mirrors, also RAID10: 2-fache Schreibgeschwindigkeit, 4-fache Lesegeschwindigkeit (bei 4 Festplatten), insgesamt 12TB Speicher. Mit den besagten 160MB/s also 320MB/s Schreiben, 640MB/s lesen. Theoretisch natürlich und ohne Berücksichtigung des Overheads.
Trambahner
Urgestein
Ganz so einfach ist es nicht. Den Systemoverhead hast Du ja schon geschrieben, dazu kommt es immer drauf an, wie die Daten verteilt sind und sich die Zugriffe koordinieren lassen.
Wichtig vor allem auch: die bestehenden Daten auf den Disks werden _nicht_ neu verteilt ! D.h. die Performance für diese Datenblöcke bleibt wie sie war. Erst beim Ändern und Neuschreiben von Datenblöcken werden Daten neu auf alle Datenträger verteilt.
Ferner: ZFS wird hier die Daten auch so verteilen, dass neue leere Vdev, also hier das hinzugefügte Mirrorpärchen, vorrangig befüllt werden. => D.h. es wird auch nicht volle Schreib- und Lesegeschwindigkeit erreicht werden, bis die Pärchen einigermassen ausgeglichen befüllt sind.
D.h. es ist aus Performancegesichtspunkten sinnvoll, einen Zpool bereits bei Initialisierung so in Größe und Vdev-Layout zu bemessen, dass er für ne gewisse Zeit reicht und nicht permanent mit Vdevs erweitert werden muss.
Wichtig vor allem auch: die bestehenden Daten auf den Disks werden _nicht_ neu verteilt ! D.h. die Performance für diese Datenblöcke bleibt wie sie war. Erst beim Ändern und Neuschreiben von Datenblöcken werden Daten neu auf alle Datenträger verteilt.
Ferner: ZFS wird hier die Daten auch so verteilen, dass neue leere Vdev, also hier das hinzugefügte Mirrorpärchen, vorrangig befüllt werden. => D.h. es wird auch nicht volle Schreib- und Lesegeschwindigkeit erreicht werden, bis die Pärchen einigermassen ausgeglichen befüllt sind.
D.h. es ist aus Performancegesichtspunkten sinnvoll, einen Zpool bereits bei Initialisierung so in Größe und Vdev-Layout zu bemessen, dass er für ne gewisse Zeit reicht und nicht permanent mit Vdevs erweitert werden muss.
Zuletzt bearbeitet:
Ok, danke.
Gut, wie das Ergänzen in der Praxis funktioniert, schaue ich mir halt dann an, wenn es so weit ist.
😉
Sollen/müssen es die gleichen (Marke/Modell) Festplatten sein?
Meine IronWolf gibt’s nämlich nicht mehr neu – zumindest die mit 7200U/Min.
Ev. steige ich dann auf 4x4TB um. – Lt. obigen Post wäre das „performance-technisch“ auch besser.
4x6 TB – soviel Platz brauche ich eigentlich nicht.
LG
Gut, wie das Ergänzen in der Praxis funktioniert, schaue ich mir halt dann an, wenn es so weit ist.
😉
Sollen/müssen es die gleichen (Marke/Modell) Festplatten sein?
Meine IronWolf gibt’s nämlich nicht mehr neu – zumindest die mit 7200U/Min.
Ev. steige ich dann auf 4x4TB um. – Lt. obigen Post wäre das „performance-technisch“ auch besser.
4x6 TB – soviel Platz brauche ich eigentlich nicht.
LG
