[Sammelthread] ZFS Stammtisch

[gea]

Der Chipsatz begrenzt die Lanes.

Mit Sockel 1150 gehen nur 3 x schnelle Pci-e Steckplätze
Beim X10 SL7 ist davon einer intern auf den SAS Controller gelegt, daher bleiben nur zwei.

Alternative:
Boards mit Sockel 2011
Super Micro Computer, Inc. - Products | Motherboards | Xeon

Der Knüller für mich, mit SAS und 10 GbE
http://www.supermicro.com/products/motherboard/Xeon/C600/X9SRH-7TF.cfm

Ansonsten:
Jeder den ich kenne und der Bescheid weiss, nimmt SM Boards für ZFS und ESXi.
(wenn man mal Fertigserver von Dell und HP aussen vor lässt)

 

[-INU-]

ich hole jetzt mal wieder die Speicherdiskussion hoch

Plane gerade 2 Server die zunehmend unter defekten Dateien leiden gegen einen ZFS Server zu tauschen. Allerdings sollte dieser dann 10~12 8TB HDDs @Z2 beherbergen und später nochmal um selbige erweitert werden. Das würde dann ja 96 bzw 184GB RAM ergeben, was einfach mal schweine bzw zu teuer würde. Performance oder irgendwelche Features sind nicht wirklich gefordert, mir geht es rein darum mit ZFS der schleichenden Datenkorruption entgegenzuwirken. Wie wenig RAM dürfte es denn dann sein bzw kann man da was mit SSDs kompensieren ?

Und ich würde eben auch gerne 12 Platten im Z2 laufen lassen. Habe ich es da richtig verstanden das man so einen ungeraden Verbund problemlos betreiben kann und es lediglich nur nicht optimal ist, oder doch besser 10 Platten @Z2 ?

Beim Board habe ich noch ein Supermicro X9SRL-F rumfliegen und dazu dann ein 1620 V2.

 

[gea]

Diese oft genannte 1 GB RAM pro 1 TB Daten Regel hat nichts mit Notwendigkeit zu tun, sondern gibt lediglich einen ersten Anhaltspunkt. Ich habe OmniOS Systeme die deutlich weniger aber auch deutlich mehr haben, je nach Anwendung.

200 TB Storage und ein OS wie Solaris/ OmniOS mit wenigen GB RAM werden stabil laufen und wenn nur eine Person/ ein Prozess darauf arbeitet und pure Disk Performance reicht wird es auch ok sein. Das ist aber wohl nicht Sinn der Übung. Wenn da ein Disk-Replace oder Scrub läuft (kann mit vielen kleinen Dateien Tage laufen) oder mehrere darauf zugreifen, wird es einfach zu zäh.

RAM bringt da Lesecache und bei wiederholtem Zugriff muss man nicht erneut von der Platte lesen. Das verbessert die Performance enorm. Ich würde daher wohl nicht unter 2 GB für das OS + 100 MB pro TB als Lese-Cache gehen. Bei 200 TB wären das ca 20 GB RAM. Angesicht des Gesamtpreises würde ich aber schon wenigstens 64 GB RAM nehmen.

Als Layout würde ich 10 disk per Z2 oder 11 per Z3 + hotspare für ein Backupsystem nehmen. Eine andere Anzahl geht auch bedeutet aber mehr Verschnitt = nicht ganz die volle Nutzkapazität. Für einen Multi-User Fileserver dann eher mehr Z2 vdevs mit je 6 Platten - ist einfach schneller.

Eine zusätzliche schnelle 512GB SSD als L2ARC Cache würde vermutlich nicht schaden.

 

[ludwinator]

Ich würde hier definitiv 64GB vorschlagen als 4*16GB organisiert, dann kannst du immer noch verdoppeln und die 16er Module sind preiswert.
Da wohl noch kaum jemand Erfahrung mit der neuen 8TB Generation hat würde ich lieber mehr Redundanz einplanen und nicht ohne Not 12 Stück als RaidZ2 verwenden.
Evtl. 6 Stück und dann zwei Mal oder auf RaidZ3 gehen.

cu

 

[-INU-]

Das klingt ja dann schon mal recht gut, denke ich werde dann mit 64GB starten und beim Ausbau den Speicher dann evtl nochmal verdoppeln. Nur alles über 128GB hätte den Umstieg auf ZFS dann deutlich zu teuer gemacht. 2x 6@Z2 wäre auch wieder ungünstig, dann entweder 2x 6@Z oder 12@Z3, wobei ich zu letzterem tendieren würde.

 

[gea]

Das klingt ja dann schon mal recht gut, denke ich werde dann mit 64GB starten und beim Ausbau den Speicher dann evtl nochmal verdoppeln. Nur alles über 128GB hätte den Umstieg auf ZFS dann deutlich zu teuer gemacht. 2x 6@Z2 wäre auch wieder ungünstig, dann entweder 2x 6@Z oder 12@Z3, wobei ich zu letzterem tendieren würde.

2 x 6 Z1 ist viel zu unsicher,
12 x Z3 nicht ganz optimal.

Optimale Werte hinsichtlich Speicherausbeute sind 10 x Z2 oder 11 x Z3
11 x Z3 + hotfix wäre damit ultrazuverlässig und man könnte bei einem 24 x Backplane ein weiteres identisches Z3 hinzufügen das dann auch die Hotfix nutzt.

 

[thor17]

Hallo!
Ich hätte mal ne Frage in Hinsicht auf das Recordsize und die Peformance in Verbindung mit Samba und NFS.
Ich hab meinen Heimserver mit ZFS nun schon ne weile am laufen. recordsize=128k
Am Anfang lief der Sambaserver noch richtig flott. Ich hab Bonding im Mode 0 gemacht und effektiv 200MB/s mit meinem Rechner lesen und schreiben können.
Nun ist die Performance aber deutlich schlechter geworden, ich weiß nicht warum. Der Pool ist gerademal zu 70% gefüllt.
Ich habe oft das Problem, dass die Übertragungsraten von 100MB/s auf 5-10MB/s fallen. Nun hab ich mich gefragt, ob das mit der Blockgröße von ZFS zusammenhängen kann. Es würde ja sicherlich nen unterschied machen wenn die rsize und wsize von Samba zur Blockgröße passen, oder?
Die Performance mit NFS ist auch ziemlich schlecht. Zwar hab ich da sehr stabile Übertragungsraten, aber die liegen bei gerademal 50MB/s.

 

[ludwinator]

Reden wir von Lese- oder Schreibperformance?
Hast du ein SLOG?
Poste mal den Output von zfs get sync "mypool" und von zpool status -v

cu

 

[Digi-Quick]

wobei der J1800 kein ECC unterstützt.

 

[trendco]

Also, gemäß Eueren Tipps habe ich mich nun für das SuperMicro "X10SL7-F" entschieden.

Dazu habe ich noch zwei Fragen:

- RAM: Es sollen im Gesamten 16 GB RAM drauf, also 2x8GB, da könnte ich dann später bei Bedarf einfach noch mal 2x8GB dazu stecken. Jetzt gibt es, wenn ich das richtig gelesen habe, aber bei den ECC RAM's auch wieder Unterschiede: UDIMMs und RDIMMs, wobei das Board wohl nur UDIMMs nimmt. Gibt es da noch weitere Dinge, auf die ich beim RAM achten muss? Bzw. kann mir jemand bestimmten RAM (Marke/Typ/etc.) empfehlen, der aus Erfahrung problemlos mit dem Board läuft?

- CPU: Sie sollte 4 Kerne/8 Threads haben. Preislich interressant wären aus meiner Sicht: E3-1230v3, E3-1240v3, E3-1245v3 - oder hab ich noch eine übersehen?
Da das Board aber schon eine Grafikkarte onBoard hat, ist die Frage, ob der 1245 überhaupt Sinn macht. Es laufen auf dem Server auch ein paar Win-7 VM's, auf die per RDP zugegriffen wird. In wie fern ist da die Grafikleistung eigentlich massgeblich?


Nachtrag CPU:
Sehe ich das richtig, dass die ältere Generation der V3 die Nummern 1230, 1240, etc. ohne Grafik sind, und die 5'er, also 1235, 1245, etc. jeweils die mit Grafikeinheit?
Und die aktuelle V3 Version die 1'er, also 1231, 1241, etc. ohne Grafik und die 6'er, also 1236, 1246, etc. die mit Grafik?
Was für ein wirrwarr

 

[Bzzz]

RAM: Es sollen im Gesamten 16 GB RAM drauf, also 2x8GB, da könnte ich dann später bei Bedarf einfach noch mal 2x8GB dazu stecken. Jetzt gibt es, wenn ich das richtig gelesen habe, aber bei den ECC RAM's auch wieder Unterschiede: UDIMMs und RDIMMs, wobei das Board wohl nur UDIMMs nimmt. Gibt es da noch weitere Dinge, auf die ich beim RAM achten muss? Bzw. kann mir jemand bestimmten RAM (Marke/Typ/etc.) empfehlen, der aus Erfahrung problemlos mit dem Board läuft?

Als obs soo viele Hersteller von ECC-RAM gäbe

Wenn du dir in die Hosen machst, kaufs nach der Kompatibilitätsliste. Die ist in dem Fall aber sehr schmal und du wirst Probleme haben, genau die Typen in DE zu bekommen.

Ansonsten schlag bei Kingston zu, Crucial, Samsung, SK Hynix tuns aber auch. ECC-Nicht-Reg, Dual Rank, 1600er, Spannung nach Gusto. Ich hab bei mir auch nur den günstigsten verbaut, Kingston KVR16E11/8, 2x. Hätt ich doch damals nur vier genommen, da lag der Riegel noch bei 57€

 

[thor17]

Reden wir von Lese- oder Schreibperformance?
Hast du ein SLOG?
Poste mal den Output von zfs get sync "mypool" und von zpool status -v

cu

sudo zfs get sync tank
no talloc stackframe at ../source3/param/loadparm.c:4864, leaking memory
NAME PROPERTY VALUE SOURCE
tank sync standard default

Ja, ich habe einen SLOG. Ich verwende dafür, wie in meiner Signatur steht, eine 16GB SSD. (es geht um den NAS in der Signatur)
Ich hab nun mal NFS mit der option async ausprobiert, da schaffe ich beim lesen/schreiben vom/zum share etwa 280MB/s. Problematisch sind aber immernoch Transfers von einem Dataset zum anderen. Das hab ich mal direkt auf dem Server getestet, da schaffe ich 130MB/s. Über NFS sind es nur 40MB/s.

 

[gea]

- CPU: Sie sollte 4 Kerne/8 Threads haben. Preislich interressant wären aus meiner Sicht: E3-1230v3, E3-1240v3, E3-1245v3 - oder hab ich noch eine übersehen?
Da das Board aber schon eine Grafikkarte onBoard hat, ist die Frage, ob der 1245 überhaupt Sinn macht. Es laufen auf dem Server auch ein paar Win-7 VM's, auf die per RDP zugegriffen wird. In wie fern ist da die Grafikleistung eigentlich massgeblich?


Nachtrag CPU:
Sehe ich das richtig, dass die ältere Generation der V3 die Nummern 1230, 1240, etc. ohne Grafik sind, und die 5'er, also 1235, 1245, etc. jeweils die mit Grafikeinheit?
Und die aktuelle V3 Version die 1'er, also 1231, 1241, etc. ohne Grafik und die 6'er, also 1236, 1246, etc. die mit Grafik?
Was für ein wirrwarr

Auf jeden Fall eine CPU ohne Grafik nehmen.
Die Grafikleistung ist für VMs eh irrelevant da das virtualisiert wird (Ausnahme GPU pass-through)

Ich habe die neuen 1231, 1241 noch nicht im Einsatz. Die dürften aber ideal sein und es gibt bereits genügend Personen (Google: x10sl7 xeon 1231) die diese Xeons benutzen mit diesem Board.

 

[trendco]

Die Grafikleistung ist für VMs eh irrelevant da das virtualisiert wird

Ist für die Virtualisierung der Grafikleistung der VM eigentlich nur rein die CPU verantworlich oder wird da von der Virtualisierungssoftware (KVM, ESXi, etc.) evtl. auch auf die Grafik-CPU zugegriffen? Wenn es rein CPU basiert wäre, dann macht es natürlich keinen sein, sollte aber aber auch die Grafikkarte mit einbezogen werden, dann wäre doch bestimmt die Intel-HD besser geeignet als die onBoard Lösung vom Board. Was da zufällig jemand was drüber? ich hoffe das wird jetzt nicht zu OT hier.

Nachtrag: In Bezug auf das gewünschte Board hat sich die Frage glaub ich erledigt, da die CPU-Grafik vom Board nicht unterstützt wird: http://www.supermicro.com/support/faqs/faq.cfm?faq=16618

 

[VivianMeally]

@trendco

GPU Virtualisieren (vSGA Dabei können die VMs eine GPU gemeinsam nutzen, max aber nur 512MB der GPU RAM) kann momentan nur ESXI5.5 mit eine Quadro (ab 4000) einigermaßen gut. Durchreichen(vDGA oder gpu passthrough ) beherrschen die Quadro Karten (fast alle neuen) und einige Radeon Karten.

Falls das alles nicht gegeben ist, wird die GPU mit ne CPU Emuliert. Für 2D reicht es, 3D eher nicht

 

[trendco]

Kleines Update: Ich hab mich nun doch noch kurzfristig umentschieden und folgendes gekauft:

Supermicro X10SAE
Xeon E3-1246V3
16GB ECC RAM (Samsung, Typ laut SM Seite)

Hintergrund: Der AIO übernimmt bei mir noch ein paar andere Dinge ausser Storage-Server. Ich muss noch Sound, USB-Ports, DVB-Karte und evtl. noch ein weiteres Gerät an verschiedene VM's durchreichen. Das "X10SL7-F" wär zwar im Storage-Bereich mit seinen 8x SAS super gewesen, hat aber eben andere Dinge nicht die ich brauche. Das "X10SAE" hat ja auch zwei getrennte SATA-Controller die im AHCI-Mode laufen, somit kann ich den 2-Port fürs System benutzen und den 6'er Intel an die NAS4Free VM geben, ist zwar kein SAS aber immerhin zwei Ports mehr wie bei meinem bisherigen Board, was bis jetzt ja auch ausreichend war (nur eben kein ECC hat). Laut SM Support müsste das mit dem "X10SAE" alles problemlos machbar sein was ich vor habe - hoffentlich haben Die recht

Ich berichte dann wieder...

 

[Digi-Quick]

Eigentlich ein Schönes Board, hat nur kein iKVM - soweit ich es gelesen habe.

 

[layerbreak]

Ich muss noch Sound, USB-Ports, DVB-Karte und evtl. noch ein weiteres Gerät an verschiedene VM's durchreichen.

Welche DVB-Karte willst du denn per passthrough durchreichen?
Ich bin nämlich auch am Überlegen, so was zu tun.

Ich berichte dann wieder...

Ja, bitte unbedingt.

 

[trendco]

Eigentlich ein Schönes Board, hat nur kein iKVM - soweit ich es gelesen habe.

Du meinst IPMI? Nein, das hat es leider nicht. Ich hoffe aber, das ich nicht all zu oft ran muss

Welche DVB-Karte willst du denn per passthrough durchreichen?
Ich bin nämlich auch am Überlegen, so was zu tun.

Das ist eine "Mystique SaTiX-S2 V3 CI Dual", läuft im alten System schon seit 2 Jahren problemlos.

 

[Digi-Quick]

Du meinst IPMI? Nein, das hat es leider nicht. Ich hoffe aber, das ich nicht all zu oft ran muss

IPMI hat das Board, aber kein iKVM, was ein zusätzliches Feature von IPMI ist.

 

[gea]

Kleines Update: Ich hab mich nun doch noch kurzfristig umentschieden und folgendes gekauft:

Supermicro X10SAE
Xeon E3-1246V3
16GB ECC RAM (Samsung, Typ laut SM Seite)

Hintergrund: Der AIO übernimmt bei mir noch ein paar andere Dinge ausser Storage-Server. Ich muss noch Sound, USB-Ports, DVB-Karte und evtl. noch ein weiteres Gerät an verschiedene VM's durchreichen. Das "X10SL7-F" wär zwar im Storage-Bereich mit seinen 8x SAS super gewesen, hat aber eben andere Dinge nicht die ich brauche. Das "X10SAE" hat ja auch zwei getrennte SATA-Controller die im AHCI-Mode laufen, somit kann ich den 2-Port fürs System benutzen und den 6'er Intel an die NAS4Free VM geben, ist zwar kein SAS aber immerhin zwei Ports mehr wie bei meinem bisherigen Board, was bis jetzt ja auch ausreichend war (nur eben kein ECC hat). Laut SM Support müsste das mit dem "X10SAE" alles problemlos machbar sein was ich vor habe - hoffentlich haben Die recht

Ich berichte dann wieder...

Ein sehr schönes Workstation Board.
Für Solaris, Storage und ESXi wäre es jetzt weniger geeignet da die was Sata Treiber und pass-through angeht nur mit wenig Hardware perfekt arbeiten. PCI Pass-through könnte auch Probleme machen. Auch hat es nur zwei schnelle PCI-e Slots für Erweiterungen.


Bin mal gespannt auf Berichte wie gut es damit mit KVM klappt.

 

[layerbreak]

Das ist eine "Mystique SaTiX-S2 V3 CI Dual", läuft im alten System schon seit 2 Jahren problemlos.

Erstmal ALLEN ein gutes neues Jahr.

Versteh ich es richtig, dass diese alte PCI-Karte sich per passthrough an die VM durchreichen lässt.
Es gibt keine Probleme mit der vdr-Software? Kein stotterndes Bild. Welches ESXi und VDR nutzt du dazu?

Ursprünglich wollte ich eine Cine2+Flex+CI von DD mir einbauen. Hab aber dann in verschiedenen Foren gelesen, dass die darauf verbaute Brigde es verhindert, dass die Karte passthrough-fähig ist.

 

[trendco]

Auch ein Gutes Neues Allerseits.

Naja, so alt diese Karte ja jetzt auch noch nicht Ist übrigens eine PCIe und ja, sie läuft bei mir problemlos zusammen mit yaVDR-0.5 (64 Bit) im headless-Mode. Ich hab selbst bei zwei gleichzeitigen Aufnahmen kein stottern. Das ganze läuft aber nicht unter ESXi, sondern unter Proxmox.

 

[VivianMeally]

Guten Tag,

ist es möglich bei ZFS deduplication offline arbeiten zu lassen?

Will mein NAS gegen ein stärkeres upgraden.
Dieser soll zu 50% VM/iscsi images bereitstellen.

Rest ist einfach nur ein Datengrab für unsere Photos, Videos und als zwischenspeicher für die rendernodes dienen

Von den iscsi laufwerken wird gebootet und gearbeitet.

Und soweit ich es verstanden habe, wird in gegensatz zu REFS die Deduplication schon beim schreiben überprüft, hash zu den blöcken erstellt und immer (ernsthaft immer?) im ram abgelegt.

Daher die Frage,
ist es möglich so wie bei REFS die Deduplication für die Daten Täglich/Wöchentlich zu starten um den server nicht unnötig zu belasten?

 

[gea]

Guten Tag,

ist es möglich bei ZFS deduplication offline arbeiten zu lassen?

Nein, ZFS Dedup ist Realtime.
Es braucht daher sehr viel RAM um die Dedup-Tabellen im RAM zu halten (oder es wird unerträglich langsam).
Lohnt sich daher angesichts der Plattenpreise nur in sehr wenigen Fällen.

 

[VivianMeally]

Im beuem Nas planne ich ca. 8x4TB festplatten.
Diese Werden fuer mehr als 200.000 fotos herhalten und ca 40 iscsi/vm images
fuer die iscsi lohnt sich schon die deduplacation, daher ist zfs wohl keine option fuer mich?

 

[gea]

Im beuem Nas planne ich ca. 8x4TB festplatten.
Diese Werden fuer mehr als 200.000 fotos herhalten und ca 40 iscsi/vm images
fuer die iscsi lohnt sich schon die deduplacation, daher ist zfs wohl keine option fuer mich?

Es gibt kein anderes Dateisystem das eine auch nur annähernd vergleichbare Datensicherheit und Performance bietet - besonders bei großen Datenmengen!

Dedup lohnt sich bei ZFS aber erst bei hohen Dedup-Raten.
Sonst ist einfach eine weitere Platte viel billiger und viel schneller.

Meist ist es aber so, dass LZ4 Kompression mehr bringt und kaum Performance kostet. Ausserdem ist sowohl Kompress wie Dedup bei bereits komprimierten Bildern nicht so sonderlich effektiv (ausser man würde sehr oft das gleiche Bild speichern).

LZ4 Compression - illumos - illumos wiki

 

[VivianMeally]

Einige der Bilder sind doppel vorhanden, viele sind unkomprimiert im TIFF und schwarzweiß vorhanden (unsere Familie hat schon ~1910 Fotografie für sich entdeckt).

Vielen Dank für den link zu wiki, habe schon bei google gesucht, aber nie drauf gekommen.

die ganzen Rechner ( 4 arbeitsrechner + ~5 server ) booten von einem iscsi target und haben windows8/linux, drauf, jedes Betrieb System für andere zwecke (3D, Cad, Programmierung, Mikrocontroller Programmierung, Film/Colograding (spezieles linux system von redhat)).
Wenn ich das ganze versuche auf jedes mal auf festplatte zu installieren kriege ich und die Lizenz Server eine Kriese (autodesks).


Also wird sich denke ich die Deduplication schon lohnen.
Ich werde erstmal die wiki studieren und mal Testweise ein zfs system aufsetzten.


Ist es bei zfs (freenas oder napp-it) möglich Snapshots von den iscsi files zu erstellen. Eins davon read-only zu machen und die geänderte daten ein anderes bereich zu schreiben? (Habe vor ~10 Jahren in eine Schule die PC-Wächter karten für die SchülerPcs eingesetzt. War recht praktisch). Frage mich ob so etwas ähnlicheres auch nur mit ZFS gehen würde

 

[TCM]

Du kannst einen Snapshot klonen. Snapshots sind immer read-only. Ein Clone wäre dann ein schreibbarer Snapshot, dessen Änderungen separat gespeichert werden und wiederum auch snapshot-/klonbar sind.

Bei ZFS funktioniert das mit Datasets und mit zvols, macht keinen Unterschied. Einzelne Dateien sind nicht separat snapshotbar, das geht maximal auf Dataset-Ebene. Für iSCSI wären aber zvols eh besser.

 

[gea]

Ist es bei zfs (freenas oder napp-it) möglich Snapshots von den iscsi files zu erstellen. Eins davon read-only zu machen und die geänderte daten ein anderes bereich zu schreiben? (Habe vor ~10 Jahren in eine Schule die PC-Wächter karten für die SchülerPcs eingesetzt. War recht praktisch). Frage mich ob so etwas ähnlicheres auch nur mit ZFS gehen würde

Comstar (Das iSCSI/FC Modul von Solaris/OmniOS) unterstützt FC/iSCSI Targets auf Dateien, Zvols (Das ist ein ZFS Dateisystem das als Blockdevice/ Platte bereitgestellt wird) und auf Festplatten.

Snapshots arbeiten immer auf der Ebene eines ZFS Dateisystems. Von der Performance sind Zvols ganz leicht im Vorteil. Vom Handling her sind Dateien eine Alternative da diese einfacher aus einem Snap wiederhergestellt (via Windows und Vorherige Version) oder umkopiert werden können.

Bei Zvols kann man einen Snapshot klonen oder das Dateisystem per Replikation mit zfs send umkopieren.

Configuring Storage Devices With COMSTAR - Oracle Solaris Administration: Devices and File Systems