Vielen Dank für die Hinweise, ich hatte bereits alle logs, faultmanager, etc. geprüft. Dort ist alles ok. Ich habe mittlerweile die Vermutung, dass es an den Kabeln liegt. Da ich die Machine nicht gebaut habe, sondern nur die Software installiert und eingerichtet hatte, wusste ich bis gestern Abend nicht, dass 2 Kabelpeitschen mit jeweils 4 Anschlüssen verwendet wurden. Wenn eine Peitsche das Problem erzeugt dann würde das auch erklären warum 4 Platten (3 aus dem RAIDZ1 und die Spare) betroffen sind. Ich komme aber erste nächste Woche wieder an die Maschine. Also zunächst vielen Dank an TCM und gea!
Vielen Dank für die Hinweise, ich hatte bereits alle logs, faultmanager, etc. geprüft. Dort ist alles ok. Ich habe mittlerweile die Vermutung, dass es an den Kabeln liegt. Da ich die Machine nicht gebaut habe, sondern nur die Software installiert und eingerichtet hatte, wusste ich bis gestern Abend nicht, dass 2 Kabelpeitschen mit jeweils 4 Anschlüssen verwendet wurden. Wenn eine Peitsche das Problem erzeugt dann würde das auch erklären warum 4 Platten (3 aus dem RAIDZ1 und die Spare) betroffen sind. Ich komme aber erste nächste Woche wieder an die Maschine. Also zunächst vielen Dank an TCM und gea!
ludwinator
Enthusiast
- Mitglied seit
- 28.12.2006
- Beiträge
- 527
Der Server mit ESXi laufen. Als Storage-OS möchte ich OmniOs verwenden. Also so wie es auch im All-in-One Prinzip von Gea ist. Mit dem Unterschied das meine VMs höchst warscheinlich auf dieser einen HDD liegen werden und nicht auf den ZFS Verbund.
Das ganze soll als FileServer für die Familie dienen, also hauptsächlich Multimedia Kram.
Zugriff per Gigabit-Lan.
Die OS Daten liegen auf einer anderen Hdd.
Das ganze soll als FileServer für die Familie dienen, also hauptsächlich Multimedia Kram.
Zugriff per Gigabit-Lan.
Die OS Daten liegen auf einer anderen Hdd.
Zuletzt bearbeitet:
Du kannst in napp-it unter Mediatomb -> Settings den Wert für "Virtual Layout Type (disable for filestructure only)" auf "disabled" setzen. Damit wird das Import-Skript außer Kraft gesetzt (Löschen der DB und nochmaliges Importieren aller Files in die DB danach notwendig). Damit wird dir ausschließlich der Haupteintrag "PC Directory" angezeigt. Dahinter findest du dann deine Ordnerstruktur wieder.
Als DLNA-Player für iPhone und iPad kann ich Air-Player empfehlen. Der spielt bei mir alles ab (z.B. mkv) und unterstützt Mediatomb laut Beschreibung sogar.
https://itunes.apple.com/de/app/airplayer/id369713694?mt=8
Zuletzt bearbeitet:
Bzzz
Enthusiast
Mal wieder zwei Fragen @gea: (v. 0.9a9)
Ich hab bei mir jetzt den Pool verschlüsselt. Hinkt das Menü für die Erstellung des ZFS hinterher? Da war anfangs noch das Encryption-Dropdown da, bis ichs mal angeklickt und auf "nein" gestellt hatte. Beim Absenden dann quasi Fehler, weil unverschlüsseltes ZFS auf verschlüsseltem Pool ja nicht geht. Seitdem steht da erwartungsgemäß "Encryption was set to on for all folders of this pool". Aber eben nicht seit dem ersten Aufruf.
Lässt sich die Liste der überwachten Disks und Nicht-Disks kürzen? Ich hab auf c8t0d0 bis c8t0d3 die 0-Byte-Reste von nem unbenutzten Kartenleser liegen, und vermute, dass deshalb der Monitor-Boppel hinter Disks maximal gelb wird. Nicht aber rot, auch jetzt beim Resilver nicht. Schätze, weil genau die vier Teile halt 0 I/Os anstehen haben, und das dann nur nach mäßiger statt hoher Last aussieht...
Ich hab bei mir jetzt den Pool verschlüsselt. Hinkt das Menü für die Erstellung des ZFS hinterher? Da war anfangs noch das Encryption-Dropdown da, bis ichs mal angeklickt und auf "nein" gestellt hatte. Beim Absenden dann quasi Fehler, weil unverschlüsseltes ZFS auf verschlüsseltem Pool ja nicht geht. Seitdem steht da erwartungsgemäß "Encryption was set to on for all folders of this pool". Aber eben nicht seit dem ersten Aufruf.
Lässt sich die Liste der überwachten Disks und Nicht-Disks kürzen? Ich hab auf c8t0d0 bis c8t0d3 die 0-Byte-Reste von nem unbenutzten Kartenleser liegen, und vermute, dass deshalb der Monitor-Boppel hinter Disks maximal gelb wird. Nicht aber rot, auch jetzt beim Resilver nicht. Schätze, weil genau die vier Teile halt 0 I/Os anstehen haben, und das dann nur nach mäßiger statt hoher Last aussieht...
millenniumpilot
Enthusiast
add vdev
TheLastBoyscout
Enthusiast
- Mitglied seit
- 05.03.2011
- Beiträge
- 53
Warum denn dann nicht gleich ein RAIDZ2? Das spart beim Ausfall einer Platte das Resilvern der Spare-Platte.
-TLB
millenniumpilot
Enthusiast
Ich würde es auch so machen wie TLB es beschreibst.
Der einzige Sinn der separaten Spare wäre der, wenn zum Pool weitere vdevs hinzukommen. Die Spare gilt für den ganzen Pool, würde dann also allen vdevs zur Seite stehen können. Bei RAIDZ2 nur dem einen vdev.
Der einzige Sinn der separaten Spare wäre der, wenn zum Pool weitere vdevs hinzukommen. Die Spare gilt für den ganzen Pool, würde dann also allen vdevs zur Seite stehen können. Bei RAIDZ2 nur dem einen vdev.
Morpheus2200
Semiprofi
- Mitglied seit
- 04.08.2001
- Beiträge
- 30.945
Wie würdet ihr ein ZFS Filer mit 8x1TB konfigurieren?
4TB nutzbare Kapazität sind minimum und einzelne HDs müssen ausfallen dürfen, dedup soll auch genutzt werden.
Read-cache ist mit 128GB RAM relativ üppig vorhanden. 2 Xeon 2650 sind ebenfalls im System.
Ich rechne mit ca. 70% lesenden und 30% schreibenden Zugriffen. Vielleicht auch 80/20.
Ich verspreche mir vom read-cache relativ viel, da relativ häufig die gleichen Daten angefordert werden.
Aber wie bekomme ich mit 8x 1TB HDs eine akzeptable Schreibperformance hin?
4TB nutzbare Kapazität sind minimum und einzelne HDs müssen ausfallen dürfen, dedup soll auch genutzt werden.
Read-cache ist mit 128GB RAM relativ üppig vorhanden. 2 Xeon 2650 sind ebenfalls im System.
Ich rechne mit ca. 70% lesenden und 30% schreibenden Zugriffen. Vielleicht auch 80/20.
Ich verspreche mir vom read-cache relativ viel, da relativ häufig die gleichen Daten angefordert werden.
Aber wie bekomme ich mit 8x 1TB HDs eine akzeptable Schreibperformance hin?
1. welches OS/napp-it?
2. Einfach Platten neu initialisieren (1 x 100% Partition pro Disk)
napp-it Menu Disks - Initialize
Bzzz
Enthusiast
1. SunOS 5.11 11.1 i86pc i386 i86pc
2. Und dann? Alle vorhandenen Platten sind in nem Pool, und die leeren Devices stehen nicht in der Initalize-Liste.
2. Und dann? Alle vorhandenen Platten sind in nem Pool, und die leeren Devices stehen nicht in der Initalize-Liste.
- Performance eher sequentiell oder I/0 optimiert?
- 8 Platten inkl oder ohne spare?
ansonsten
4 x mirror = 4 TB = max I/O, je 1 Platte je mirror darf ausfallen
1 x Raid-Z2 mit 8 disks = 6 TB =max Platz und gute sequentielle Performance, 2 Platten dürfen ausfallen
2 x Raid-Z1 je 4 disks = 6 TB =max Platz und bessere I/O und sequentielle Performance als Variante 2, 1 Platte je Z1 darf ausfallen
von dedup würde ich die Finger lassen wenn nicht dedup-Raten > 10 herauskommen, selbst mit 128 GB RAM
Eventuell lieber LZ4 Compress nehmen.
---------- Post added at 17:47 ---------- Previous post was at 17:43 ----------
Initialisieren geht nicht solange sie im Pool sind.
Sichere Methode: Platte durch andere ersetzen, initialisieren, wieder ersetzen
welches napp-it?
Bzzz
Enthusiast
Ich glaub, du verstehst mein Anliegen nicht ganz. Am Board hängt ein USB-Kartenleser, der vier Geräte erzeugt. Alle haben 0 Bytes, weil keine Speicherkarten drinnen stehen. Die Teile brauch ich aber nicht überwachen und würd sie gern in napp-it ausblenden/loswerden. U.a. weil ich vermute, dass ich dann für die restlichen, korrekt erkannten/überwachten Platten ne bessere Einschätzung bezüglich der Auslastung bekomme.
Ich glaub, du verstehst mein Anliegen nicht ganz. Am Board hängt ein USB-Kartenleser, der vier Geräte erzeugt. Alle haben 0 Bytes, weil keine Speicherkarten drinnen stehen. Die Teile brauch ich aber nicht überwachen und würd sie gern in napp-it ausblenden/loswerden. U.a. weil ich vermute, dass ich dann für die restlichen, korrekt erkannten/überwachten Platten ne bessere Einschätzung bezüglich der Auslastung bekomme.
Ja, habe ich falsch verstanden.
Ausblenden ginge zwar theoretisch, aber nur in napp-it, im System bleiben sie ja. Auf Iostat etc hat das aber keinen Einfluss, genausowenig wie DVD Laufwerke.
Bzzz
Enthusiast
Und die Schwellwerte für den grün-gelb-roten Indikator lässt du dir direkt aus iostat liefern? Wann würde der denn auf rot springen? Momentan liegen die busy-Werte für rpool und Datenpool so etwa bei 30-60, nur die vier Teile haben halt 0 drauf stehen. Ich hab aber auch schon 100 gesehen, und auch das war noch "gelb".
Ja in /var/web-gui/data/napp-it/zfsos/_lib/scripts/socket-basic-stat.pl
if ($maxwait > 5) { $diskstate.="y"; }
if ($maxwait > 50) { $diskstate.="r"; }
if ($maxbusy > 20) { $diskstate.="y"; }
if ($maxbusy > 100) { $diskstate.="r"; }
sehe gerade dass da ein Fehler ist, maxbusy=rot muss früher einsetzen z.b. bei 80
Zuletzt bearbeitet:
G
Gelöschtes Mitglied 184103
Guest
Morpheus2200
Semiprofi
- Mitglied seit
- 04.08.2001
- Beiträge
- 30.945
Danke für die schnelle Antwort.
Wäre schön, wenn die sequentielle schreib-performance ausreicht um bei einer oder zwei GBit Verbindungen nicht zur Bremse zu werden. I/O und sequentielle Zugriffe gibt es je nach eingesetzter Software gleichermaßen, ich muss ein bisschen testen, ob I/O intensiver workload weiter auf scratch Platten im Client laufen muss, oder ob die performance ausreicht wenn man den neuen filer damit quält.
Dedup ist interessant, da bis zu 60 Clients in Schulungen die gleichen Daten schreiben und teilweise ewig liegenlassen.
Ich glaube da lesse ich besser mal nach, wie dedup unter ZFS implementiert ist, bevor ich es einsetze.
Wie sieht die performance aus, wenn gerade ein rebuild läuft? Bin ich da mit 2xZ1 gut unterwegs?
Inwiefern hilft write cache die I/O schwächen von einem RAID-Z2 auszugleichen? Und tut es da auch eine simple SSD oder müssen es immer die teuren Lösungen sein?
- Performance wird bei 128 GB RAM sicher ausreichend da sein, sowohl sequentiell wie I/O da die meisten Lesezugriffe da aus dem RAM erfolgen werden (ziemlich sicher auch schneller als lokal)
-Das Problem bei ZFS Dedup ist, dass es sich um Echtzeit-Deduplizierung handelt. Die Deduptabellen müssen im RAM gehalten werden, sonst kann schon ein großes Snap löschen Tage dauern wenn das von der Platte gelesen werden muss. Im ungünstigsten Falls kann diese Tabelle bis zu 5 GB pro TB Daten umfassen. Diesen RAM muss man dann zu dem RAM addieren, den das OS braucht (ca 1-2GB) und den RAM den man wegen der Performance als LeseCache möchte.
Ein größerer Pools ist daher meist viel effektiver als Dedup.
- Die Performance ist auch bei einem Rebuild noch ok. Lesezugriffe aus dem RAM sind ohnehin nicht betroffen. Ein Rebuild von 1 TB bei 4 Platten dauert wenige Stunden - je nach sonstiger Last.
- Write Cache?
Falls damit ein ZIL Log gemeint ist: Das ist kein Schreibcache sondern eine zusätzliche Protokollierung der letzten 5s syncrone Schreibaktivität mit ansonsten asyncronem Schreiben und das bringt bei einem Filer gar nichts da alle Schreibaktionen asyncron verlaufen. ZFS sammelt da alle Schreibaufträge für ca 5s und schreibt die dann als eine große sequentielle Aktion.
Das ZIL wird nur bei syncronen Schreiben benötigt, bei der jede Schreibaktion unmittelbar von der Platte bestätigt werden muss. Nur wenn diese erhöhte Sicherheit gebraucht wird ohne dass die Performance massiv einbrechen soll, ist ein Extra ZIL Laufwerk sinnvoll. Dann sollte es aber etwas sein was extrem geringe Latenzen hat und das ist teuer (ZeusRam etc).
Frage an die hier anwesenden ZFS Experten.
Folgende Idee (Machbarkeits"studie" - Produktivsystem):
R1 = Filer:
* ZFS basierend, NFS, Cifs/Smb, AFP
* Funktion1 als Fileserver in einem heterogenen Netzwerk per NFS, Cifs/Smb, AFP
* Funktion2 als NFS Shared Storage für ESXi 5.1 free license Server
* brutto Kapazität ca. 10-20TB
* Userverwaltung per LDAP Client an OD
R2 = Backup des R1 per Snapshots:
* ZFS basierend
Rx:
* Esxi 5.1 free license Server auf USB Stick ohne HDD
* Nutzung von NFS Shared Storage für die VM´s vom R1
Mir ist bekannt das die ZFS Entwicklung/Verbreitung grob so ablief (abläuft?):
(Sun) Oracle -> Illuminos -> BSD -> Linux
Mal eine Frage an die hier anwesenden ZFS Experten. Mit welchem basierenden "OS" würdet Ihr das Ganze umsetzen (OmniOS, BSD, Linux) und warum?
Auch wenns vllt etwas Offtopic ist, hat jmd Erfahrung mit der Performance von NFS basierenden Shared Storage für ESXi VM´s basierend auf ZFS?
Sorry für noob style
Danke für Eure Meinungen, Tipps und Hilfe!
Folgende Idee (Machbarkeits"studie" - Produktivsystem):
R1 = Filer:
* ZFS basierend, NFS, Cifs/Smb, AFP
* Funktion1 als Fileserver in einem heterogenen Netzwerk per NFS, Cifs/Smb, AFP
* Funktion2 als NFS Shared Storage für ESXi 5.1 free license Server
* brutto Kapazität ca. 10-20TB
* Userverwaltung per LDAP Client an OD
R2 = Backup des R1 per Snapshots:
* ZFS basierend
Rx:
* Esxi 5.1 free license Server auf USB Stick ohne HDD
* Nutzung von NFS Shared Storage für die VM´s vom R1
Mir ist bekannt das die ZFS Entwicklung/Verbreitung grob so ablief (abläuft?):
(Sun) Oracle -> Illuminos -> BSD -> Linux
Mal eine Frage an die hier anwesenden ZFS Experten. Mit welchem basierenden "OS" würdet Ihr das Ganze umsetzen (OmniOS, BSD, Linux) und warum?
Auch wenns vllt etwas Offtopic ist, hat jmd Erfahrung mit der Performance von NFS basierenden Shared Storage für ESXi VM´s basierend auf ZFS?
Sorry für noob style
Danke für Eure Meinungen, Tipps und Hilfe!
Menig
Enthusiast
Folgende Config implentiere ich gerade:
HP NL40 mit 8GB ECC Ram
Nexenta 3.1.5 auf einer 30GB SSD
RaidZ2 mit 4x1,5TB sowie 128GB-Log-SSD und 128-Cache-SSD
das ganze ist über 4Gbit-FC an meine beiden ESXi-Träger angebunden.
Drei Slots habe ich noch über eSata angebundenen LianLi EX503 frei - hier wird wohl ein zweites Raid erstellt werden mit 2x 3TB im Raid1 als Backup für das RaidZ2. ein Slot bleibt somit erstmal als Reserve
Klingt das so Sinnvoll oder seht Ihr irgendwelche Performancebremsen ? Dedup und Komprimierung sind deaktiviert.
Gruß Menig
HP NL40 mit 8GB ECC Ram
Nexenta 3.1.5 auf einer 30GB SSD
RaidZ2 mit 4x1,5TB sowie 128GB-Log-SSD und 128-Cache-SSD
das ganze ist über 4Gbit-FC an meine beiden ESXi-Träger angebunden.
Drei Slots habe ich noch über eSata angebundenen LianLi EX503 frei - hier wird wohl ein zweites Raid erstellt werden mit 2x 3TB im Raid1 als Backup für das RaidZ2. ein Slot bleibt somit erstmal als Reserve
Klingt das so Sinnvoll oder seht Ihr irgendwelche Performancebremsen ? Dedup und Komprimierung sind deaktiviert.
Gruß Menig
Zuletzt bearbeitet:
Ich hoffe meine Frage passt hier rein. Mein Mainboard scheint nicht mehr zu funktionieren (kein Piepton, kein Bild) und deswegen muss ich ein neues Mainboard kaufen.
Eigentlich dachte ich da an ein Asrock B75M-ITX, das hat allerdings ein Realtek NIC (RTL8111E). Eine Alternative wäre das Intel DH61AG mit Intel NIC, aber halt ein wenig älter, wobei ich kein SATA 3 brauche, da alles am M1015 hängt. Beim Intel Mainboard bräuchte ich halt zusätzlich noch das Tischnetzteil, den Rest würde ich über das vorhandene Netzteil anschliessen.
Grundsätzlich spricht mich das Asrock eher an, wollte aber wissen, wie schlimm es wirklich mit den Realtek NICs und Unix ist.
Edit: Würde ZFS vielleicht sogar ein ASUS C60M1-I reichen? Brauche es nur als File- und Downloadserver.
Eigentlich dachte ich da an ein Asrock B75M-ITX, das hat allerdings ein Realtek NIC (RTL8111E). Eine Alternative wäre das Intel DH61AG mit Intel NIC, aber halt ein wenig älter, wobei ich kein SATA 3 brauche, da alles am M1015 hängt. Beim Intel Mainboard bräuchte ich halt zusätzlich noch das Tischnetzteil, den Rest würde ich über das vorhandene Netzteil anschliessen.
Grundsätzlich spricht mich das Asrock eher an, wollte aber wissen, wie schlimm es wirklich mit den Realtek NICs und Unix ist.
Edit: Würde ZFS vielleicht sogar ein ASUS C60M1-I reichen? Brauche es nur als File- und Downloadserver.
Zuletzt bearbeitet:
Bzzz
Enthusiast
Sagen wirs so, ich hab mich vor ein paar Wochen massiv geärgert, bis ich drauf kam, dass man der Realtek unter Solaris nicht vernünftig Optionen (Autoneg/Speedvorgabe) geben kann, weil das hardwaretechnisch wohl verrotzt ist. Wär ja ok, wenns zumindest hinterher sauber laufen würde, tuts aber nicht, immer wieder mal darf man das Ding deaktivieren und neu aktivieren, dann läuft sie wieder. Nicht mal für den angedachten Resterampe-Zweck (SSH und Verbindung zum Router) kann ich sie empfehlen. Und dass das Teil meiner Fritz 7170 nicht klarmachen kann, dass hier ein neuer Teilnehmer ist und sie für den betreffenden Port aus dem Stromsparmodus gehen soll, war Ursache für die ganze Fummelei und ist imho einer Netzwerkkarte nicht würdig. Das kriegt neben aller anderen Hardware auch mein Drucker und sogar das AVR NetIO hin...
Also wenn du eh schon auf Intel bist und dir ohne Beinbruch an anderer Stelle so ein Realtekteil ganz ersparen kannst, dann tu das.
Also wenn du eh schon auf Intel bist und dir ohne Beinbruch an anderer Stelle so ein Realtekteil ganz ersparen kannst, dann tu das.
Hmm, das hört sich ja nicht gerade berauschend an. Ich will es allerdings unter Ubuntu einsetzen und etwas wie das ASUS C60M1-I gefällt mir vom Konzept her recht gut. Dann muss ich das nochmals überdenken und schauen, wie es bezüglich dem RTL8111F und Ubuntu aussieht.
Edit: Habe mal auf Amazon nachgeschaut, da haben drei Rezensenten berichtet, dass beim Asus unter Ubuntu alles Out-of-Box lief.
Edit: Habe mal auf Amazon nachgeschaut, da haben drei Rezensenten berichtet, dass beim Asus unter Ubuntu alles Out-of-Box lief.
Zuletzt bearbeitet:
antilope114
Enthusiast
Intel PT Dualport Server NIC mit 82571EB/82572EI chip kostet bei ebay ~20-30 EUR (am besten HP NC360T)
Bei Ubuntu würde ich mir wg. dem Realtek keine Sorgen machen, Solaris schon eher.
Zuletzt bearbeitet:
antilope114
Enthusiast
Das ist kein Board für ein vernünftiges ZFS System. Die Transferraten über CIFS/NFS werden mager sein weil die CPU hier alles abbremst. Wenn du aber nur damit rumspielen willst bzw. dich mit Fast Ethernet zufrieden gibst wird es reichen.
Du hast nicht im Ernst vor, auf das Board den M1015 zu setzen?
Du hast nicht im Ernst vor, auf das Board den M1015 zu setzen?
Das abgerauchte Board ist ein AIMB-270 mit einem i3-330m. Mit dem hatte ich 110 MB/s über das LAN. Wenn jetzt natürlich die CPU so bremst, werde ich auf was stärkeres setzen, z.B. der G2020. Wieso sollte es mit dem Board un dem M1015 ein Problem geben?
