Dokumentation Baubericht 10G FreeNAS SSD Server

[daniel712]

Herzlich Willkommen,

nach 10 Jahren 5-Bay Synology möchte ich mir einen "richtigen" Storage Server selbst bauen und in dem Zuge mit einer 10G Netzwerkverbindung an meine Workstation anschließen. randic soll er heißen, RAID NAND in Cluster...

Meine Vorraussetzungen:

* Mein Server steht im Keller eines EFH, wo meine Cat6 Verkabelung zusammen läuft (D-Link DGS 1210-52). Ich habe beim Bau fast in jedes Zimmer eine Netzwerkverbindung gelegt, so daß Einiges zusammen kommt (AZ, WZ, 3 KZ, 4 APs, Hobby, Gäste, etc pp), wobei die Hauptanbindung in mein AZ erfolgt. Hier geht es hauptsächlich um die Sicherung von Video, Audio und Bildmaterial und System Backup. Erste Anforderung ist also, dass eine DAC Verbindung, wie sie oft beschrieben wird bei mir nicht möglich ist.

* Aus Komfortgründen möchte ich gerne FreeNAS verwenden und als erste Ressource nenne ich hier den Hardware Guide, an den ich mich gerne halten möchte. Hardware Guide

* Bei uns zu Hause laufen nur Linux Systeme. Ich selbst benutze Arch Linux unter i3 und KDE. Auf dem Laptop habe ich i3 und Gnome und die Kids haben XFCE4 und ElementaryOS, eine bunte Mischung. D.h. übers Netzwerk läuft bisher alles mit NFS.

Zur Hardware:

Ich habe mich gegen eine Lösung mit Desktop Komponenten entschieden, da ich für ZFS ECC RAM verwenden möchte und damit sind die Mainboards genau so teuer wie ein gebrauchtes Supermicro der ausgelaufenen Serie X10. Als Prozessor möchte ich einen Xeon Broadwell (E5-2620 v4) nehmen, der ist aus 2015 und sollte in puncto Stromverbrauch ok. sein. Hier meine Komponenten:

* Supermicro X10SRA mit Xeon E5-2620 v4, 64-128GB ECC, in Cooler Master COSMOS SE mit Gold 550W Bequiet
* Storage: 1-3 LSI 9207-8i
* Netzwerk: Chelsio T520-CR
* SAS2 Platten im ZFS und Intel Optane als Cache (PCIe3)
* Volumen 4-20TB, wird langsam aufskaliert
* Kosten: ca. 1.500 EUR für Server + die ersten 4TB, dann geht's in 500EUR Portionen aufwärts pro 2TB...

--- revised ---
* SATA SSDs als Storage, allflash (Samsung 860 EVO 3D NAND TLC, ich werde verschieden testen und berichten)

---

Die meisten Teile habe ich gebraucht günstig in ebay geschossen, das Gehäuse, Netzteil und Platten sind neu.

Der Server soll aufrüstbar sein auf eine 40G Netzwerk Anbindung mit Chelsio T6 Serie und SSDs, wobei dann auch der LSI gegen einen oder zwei 9300er ausgetauscht wird. Das ist noch Zukunftsmusik, soll aber möglich sein.

Die Netzwerkverbindung zur Workstation im EG habe ich im 10G Thread schon ausfürlich erklärt bekommen (Vielen Dank dafür!), hier werde ich ein 15m MTP Kabel ins Arbeitszimmer ziehen und auf beiden Seiten in der 10G Variante mit LC Fan-out Kabeln anschließen. Damit kann ich das Kabel für die Verbindung der QSFP+ Module in der 40G Variante weiter verwenden. (Meine Beschränkung ist hier die DN25 Verrohrung, die ich weiterverwenden muss. Die Verbindung soll direkt erfolgen, da ich mir einen 10G Switch vorerst sparen möchte.

Hier ist noch ein schöner ZFS Link zu den möglichen Bandbreiten: ZFS Bandbreiten

Das Backup des Servers läuft auf meinen "alten" 5-Bay Synology (5x4TB) und extern verschiedene Folder auf meinen netcup Server.

Hinweisen möchte ich noch auf die youtube Kanäle unicks.eu und Level1Techs von denen ich viele Ideen habe.
Weitere Quelle ist wie immer auch das Arch Wiki mit allen weiterführenden Links!

Ich hoffe, es gibt den einen oder anderen, den der Baubericht interessiert oder eine Hilfe ist, wenn Ähnliches geplant ist!

Bis dann, ich werde weiter berichten... Die ersten Teile sind da und ich werde nach den Ferien mit den ersten Tests beginnen und die Verkabelung einziehen.

Fotos kommen hier. Das war gestern beim Shopping in Guangzhou...

Viele Grüße aus Würzburg,
Daniel

PS: Ich bin Laie auf dem Server Gebiet und mache das als Experiment Learing by Doing.

 

[00riddler]

Na dann wünsche ich schon einmal viel Spaß dabei

Ich spiele damit auch gerade rum und hab 6x 10TB Seagate Exos in einem Raid Z2.
Gestern ist noch eine Optane 900p für SLOG und Cache zum Ausprobieren dazugekommen.
Aber selbst in dieser Kombination liege ich aktuell nach ein gutes Stück von den 10GBit entfernt.
Ich habe auch schon etwas mit sync=always gespielt um alle Daten über den SLOG der Optane zu schleußen.

 

[daniel712]

Super, dann fahren wir gemeinsam weiter...!

Könnt ihr mir bitte nochmal bei der Festplatten Config helfen... meine Überlegungen im ZFS Stammtisch zum Ziel zu führen:

Mein Ziel ist >1GB/s lesen und schreiben von der Workstation zum Server. Die Dateien, mit denen ich hantiere sind max. 50GB groß. Jetzt zum Verständnis... Vom Client zum Server kommen die Daten von der M.2 NVMe SSD und gehen über die Netzwerkverbindung in den RAM des Servers, um dann nach und nach geschrieben zu werden, korrekt? Also ist die Festplatten Speed für einzelne Datei Transfers eher zweitrangig. Erst ab Einem Übertragungsvolumen >50GB kommt sie richtig ins Spiel, wobei man das Limit mit einer z.B. Optane PCIe SSD (mein Mainboard hat kein M.2) noch erhöhen könnte... soweit korrekt?

Vom Server zum Client ist jetzt die Plattenspeed Limit, so lang die Daten nicht im Cache sind... Ich möchte vorerst bei den Flugrostscheiben bleiben, die SSD Variante ist mir für den Anfang zu teuer. Ich überlege jetzt ein Raid0 über 4 Platten und einen Mirror über 4 Platten, dann könnte der Controller von 8 Platten gleichzeitig lesen und müsste so theoretisch die 10G auslasten. Ich könnte in ebay 3TB Hitachi HGST Ultrastar SAS2 für 70,- bekommen. Das wäre meiner Meinung nach schneller als ein Raid5. Ein Raid5 über 9 Platten kann ich nicht, da nur 8 Kanäle im Controller... Alles mit ZFS natürlich. Dazu kommt noch LZ4 und die Cache SSD.

Was haltet ihr davon? Hat das jemand so laufen und kann mal eine Speed posten?
Bis später!

 

[sch4kal]

Die HGST Ultrastar aus der Bucht sind zurückgesetzte ("refurbished") Gebrauchtplatten, nur so als Info
Mich stört sowas nicht, habe 8x 7K6000 refurbished von eBay

 

[asche77]

Vom Client zum Server kommen die Daten von der M.2 NVMe SSD und gehen über die Netzwerkverbindung in den RAM des Servers, um dann nach und nach geschrieben zu werden, korrekt? Also ist die Festplatten Speed für einzelne Datei Transfers eher zweitrangig. Erst ab Einem Übertragungsvolumen >50GB kommt sie richtig ins Spiel, wobei man das Limit mit einer z.B. Optane PCIe SSD (mein Mainboard hat kein M.2) noch erhöhen könnte... soweit korrekt?

Ich denke NEIN (für ZFS / FreeNAS):
1. Schreibcache ist nur RAM, die Optane ist dafür völlig egal. Standard: 10% RAM = 5GB Schreibcache. Kann man manipulieren (hochsetzen). Aber alles im RAM ist halt "at risk".
2. Schreibcache wird ca. alle 5s auf die Platte geschrieben. Kommen die Platten hier nicht nach, stockt es.
3. Läuft der RAM-Cache voll, wird auf die Platte geschrieben. Kommen die Platten hier nicht nach, stockt es.
4. Die Optane als SLOG hilft nur bei "sync" writes und auch hier nur, um die Geschwindigkeit wieder näherungsweise (von unten) an die "normale" async Geschwindigkeit der Platten ranzubringen. Also: SLOG macht nichts schneller (vs async), sondern verhindert nur, dass sync writes deutlich langsamer werden.

Edit: Das was Du Dir vorstellst ist vermutlich einer ein tiered storage mit automic data mover (?), zB bei UnRaid: Das System packt erstmal alles auf eine SSD als "cache" (Problem: Redundanz?) und bewegt es dann nach und nach selbständig auf das HDD-RAID (erst hier Redundanz). Das hat aber nichts mit ZFS zu tun.

 

[Trambahner]

Ich hab das einfach mit 2 Pools gelöst.

1 ) ein HDD-Pool 6x6TB HGST Deskstar NAS im Raidz2 (=Raid6 in klassischer "Raid-Sprache"); gab auf den Anfangsspuren sequetiell etwa 800 MB/s. Mittlerweile natürlich deutlich weniger da Platten volllaufen und durch die CopyOnWrite-Methodik ggf. stärker fragmentieren.
2 ) ein SSD-Pool 6x960GB SM863 (3 Pärchen, jeweils Mirror; also wie ein Raid10 im klassischer Raid-Bezeichnung). Sequentiell schreibend max ~1,4 GiB/s, sequentiell lesend so bis zu 2,2 GiB

Auf dem HDD-Pool sind die Medienfiles, älteres Softwarearchiv und Backups der SSDs, auf dem SSD-Pool die Arbeitsdateien, aktuelles Softwarearchiv und die VM's. Sprich wo viele kleine Dateien oder aber Random-Access IOPS gefragt sind.
Hat auch den Vorteil, der HDD-Pool kann einschlafen (sofern vom OS unterstützt) wenn z.B. kein Medienzugriff, während der Zugriff auf den SSD-Pool zum Arbeiten weiter gehen kann. Spart Strom, spart Lautstärke.

Zusätzlich eine 900p, die Partionen für SLOG (für Syncwrites) und L2ARC (=Lesecache) hat. Für große Files mit sequentiellen Zugriff bringt L2ARC wenig; muss je nach OS ggf. sogar dafür aktiviert werden

Als Unterbau hab ich ein X11SSH-CTF mit Xeon E3-1240v5 und 64GB Ram. Allerdings mit ESXI als Hypervisor und damit ZFS in einer VM virtualisiert (per Durchreichen beider Controller); die ZFS-VM hat dabei derzeit 2 vCPU und 12GB Ram zugewiesen. OS = FreeBSD 11.2 (in Form von Xigmanas).

Bzgl. den Ultrastars. Mit in der Regel relativ lauten und stromfressenden SAS-Platten (erst recht 10k+15k RPM) würde ich nicht mehr arbeiten. Weder sind sie mit SSD konkurrenzfähig bzgl. Performance noch bieten sie günstig große Kapazitäten mit "Medien-Hoarder". Dazu werden sie heiß, sind laut und erfreuen Deinen Stromanbieter.

 

[daniel712]

Ok. Schade! War gerade so euphorisch....

Du verwendest also "normale" SATA Patten, hast du die auch an einem LSI oder am Chipsatz? Geht da nicht etwas Performance flöten? Die SATA Schnittstelle läuft ja nicht vollduplex oder?
Zwischen 7K SAS und 7K SATA kann doch nicht so ein großer Unterschied sein, was den Stromverbrauch angeht, oder?

Die Samsungs hören sich gut an, sind zwar auch nur SATA, aber ok. Wie groß wird der Unterschied bei einer SSD wohl sein zwischen SATA und SAS?

Dann werde ich wahrscheinlich auch 2Pools machen, 5xSAS HItachi und 3x SSD, muss ich noch erforschen welche... Hat jemand SAS SSDs am laufen und kann berichtet?

Kostenseitig gehts dann wohl eher in Richtung 3.000Eur, das muss ich dann nach und nach einbauen. Aber gut Ding will Weile haben...

 

[besterino]

Versteh' den SAS-Hunger noch nicht. Bei HDDs limitieren die Platten (nicht die Schnittstelle). Und bei SSDs SAS... dann doch lieber gleich NVMe (von mir aus auch U.2 in 2,5" oder so).

 

[00riddler]

Der SLOG müsste auch bei async writes ziehen wenn man für das Dataset sync=always setzt.

Der Mehrverbrauch SAS zu SATA liegt zumindest bei den Seagate Exos bei etwa 1W pro Platte.

 

[daniel712]

Ok. Sorry, dass ich so schwer von Begriff bin...ich dachte er könnte halt mit dem SAS Controller von 8 Platten gleichzeitig lesen im ZFS...

Da gehen sie hin, meine PCIe Ports... neuer Plan: ich lass den HBA raus und nehme SATA Platten für den Storage Pool, gerne auch 2xRAID5 hat ja 10 Ports das Mainboard. Dann kann ich 3 NVMe s in den 3 PCIe Slots verbauen.

Kann ich den FreeNAS vom USB3 laufen lassen ohne Probleme um noch Ports einzusparen...?

Getting there, getting there... nur günstig wirds nicht...

@besterino: Würdest du mir deine ZFS Festplatten Config posten? Wie du die HDDs und SSDs in den Pools konfiguriert hast?

 

[sch4kal]

Kannst FreeNAS von USB booten, lager aber /var und /tmp aus, sonst ist dein USB stick in einem Jahr reif für die Tonne, spreche leider aus Erfahrung (Sogar ein SLC USB Stick)

Alternativ ne SATA SSD DOM

 

[Trambahner]

SLOG ist >kein< Schreibcache, ZFS schreibt trotzdem in die regulären Datenblocks wenn Schreibcache voll oder ein anderer Checkpoint (z.B. Zeit) auslöst. Ein SLOG wird ja auch nicht ausgelesen und dann auf den finalen Platz weggeschrieben. SLOG wird erst im Desasterfall herangezogen.

Das heisst sync=always bringt >keinen< Performancevorteil, ein sync write ist immer langsamer als ein async Write. Einzige bei geas Benchmarks mit der 900p sind ein paar seltene Fälle aufgetreten. Allerdings ist das, wenn ich mich recht entsinne, mit einer 900p als virtuellen Disk aufgetreten.

Die 900p sorgt halt dafür, dass die Latenzen für den Slog-Schreibvorgang sehr sehr kurz sind und ggü. async sehr wenig Zeit addon benötigt wird und damit Sync writes kaum mehr eine Penalty darstellen. Ausserdem verdaut eine Optane das halt auch über längere Zeit, während Consumer-SSDs dann in aller Regel in der Performance schnell eingehen.

 

[sch4kal]

Womit wir wieder bei der RAM Thematik sind, mehr RAM bringt mehr als ne Optane als L2ARC. Beides ist natürlich noch besser ^^

 

[Trambahner]

Prio 1 muss immer Ram sein. L2Arc wird erst interessant, wenn mehr Ram nicht mehr geht (entweder technisch oder preislich).
Und dann niemals mehr 5-10x die ARC-Größe, weil sonst zuviel Ram als primärer Cache für die Verwaltungsdaten des L2ARC verloren geht.

Ob dann ein L2ARC was bringt oder nicht, das hängt dann letztlich auch von den Zugriffsmustern auf die Daten ab.

Btw, bei SSDs kann SATA durchaus von Vorteil sind. Die Latenzen an den direkt im Chipsatz befindlichen Sata-Ports sind typischerweise niedriger als zumindest älterer SAS-Controller. Nicht umsonst sind viele professionelle Datacenter-SSDs auch Sata.

 

[daniel712]

Der beste Deal fur die SSDs sind die Samsung NVMe s 3x 1TB für 1000, - Eur als pro und 750,- als EVO. Die würde ich dann als RaidZ1 anlegen. Kann man die EVOs verbauen oder nur PRO? Im RaidZ1 kann man ja doch etwas mutiger sein, oder? Wie ist die Haltbarkeit, hast da schon jemand schlechte Erfahrungen? Um SATA Ports zu sparen und das USB3 Problem zu umschiffen, würde ich die partitionieren und hinten was reservieren für das System+Mirror+Cache je 64G oder so?

 

[Trambahner]

Nein, nix partitionieren. Bitte tu Dir einen gefallen und nimm getrennte Datenträger für Systeminstallation und für Datenpool.
Warum? Weil wenn Dir das OS hopps geht, bleibt der Datenpool ohne Probleme erhalten, Du installierst das OS wieder und importierst den Pool.

Du bist so viel flexibler und tust Dir bzgl. Administration leichter. Musst auf keine Partitionen achten. Oder stopfst die SSDs einfach in einen anderen/neuen Rechner, importierst den Pool und weiter gehts.
Bewährt als System-Medium haben sich z.B. kleine Datacenter-SSDs von bewährten Herstellern.
Wenn Dir dir Ports ausgehen: LSI/Broadcom (Chipsätze SAS3008, SAS2308, SAS2008) HBAs gibts relativ günstig.

Welche SSDs? Hm. Generell gilt: Consumer-SSDs haben im Fall des Stromausfalls (Strom, Mainboardschaden, warum auch immer) eine Powerloss-Protection. Ferner erweiterte Fehlererkennung/-Korrektur. Beides hat weder die Evo noch die Pro. Das ist wichtig, weil im Rampuffer der SSD der Controllerchip seine Verwaltungsdaten während des Betriebs ablegt. D.h. im Ernstfall könnten ggf. auch bereits im Flash befindliche Daten korrupt werden, weil die passenden Verwaltungsdaten für Bestandsdaten noch nicht weggeschrieben sind.

Drum bin ich auf Datacenter-SSDs; die sind eben gesichert für sowas. Neben anderen Features.

Zum bissi rumspielen reicht sicher auch Consumer-Ware.

 

[daniel712]

OK. Da komm ich jetzt nicht mit... Mal angenommen die Platte 1 geht hops. Dann boote ich den Mirror auf Platte2 Partition2, stecke eine neue SSD in 1 und lasse ihn Resilvern. Das System wieder rüber auf Platte Partition spiegeln, fertig... Wo ist mein Problem? Ich möchte, wenn möglich alle 10 SATA Ports für das SAS Storage nutzen, 2x striped RaidZ1. Für 2 Plattenfehler wäre das System natürlich nicht ausgelegt, da kann man ja eine Copy auf USB vorhalten...

 

[Trambahner]

Es geht nicht nur um Hardwareausfall der SSD. Die Installation kann auch softwareseitig kaputt sein: Update oder ein anderes Packages läuft Amok z.B. oder man macht selber einen Fehler und zerschiesst sich das OS. Dann hilft Dir kein Mirror.

Apropos Raidz1 und große HDDs:
Bei x TB-großen HDDs sollte man, btw, wenn es um die Datenverfügbarkeit geht, auch nicht unbedingt mehr mit Raidz1 rumtun. Beim Resilvern erzeugt das ziemlich Stress für die anderen Platten und wenn die aus der gleichen Serie oder gar Produktionslos sind, dann ist die Wahrscheinlichkeit eines 2. Fehlers statistisch nicht klein. Dann gute Nacht, Daten. Ferner wird dann bei solchen Datenmengen die reguläre Wahrscheinlichkeit nicht korrigierbarer Bits schon relevant: 1bit pro 10^14 oder 1bit pro 10^15 typischerweise.

An solche Dinge musst Du auch denken, wenn Du ernsthaft über Storage nachdenkst. Ois ned so einfach, wie man sich das am Anfang denkt.

 

[besterino]

Du kannst prima SATA-Platten an SAS-Controller hängen. Ich hatte jedenfalls damit noch keine Probleme und mache das in meinem Mainserver mit allen Platten so, einschließlich SATA-SSDs.

Zu meinem Pool-Setup: da ist eigentlich nix auf max-Performance getrimmt. Das einzige Tuning ist, dass ich HDDs und SSDs nicht mische und auch keinen besonderen Cache eingerichtet habe. Warum auch, das was da auf HDDs liegt, brauch ich nicht "schnell". Video-Dateien: write once, read sometimes. Bilder: write once, read rarely. Office: write/read öfter, aber winzig.

Große Datenbanken hab ich keine.

Bleiben VMs. Die liegen entweder auf dem ZFS SSD-Storage oder einfach plump "lokal" direkt im ESXi (und werden dann ab und an weggesichert). Das gute: in meinen VMs sind aber keine Daten lokal, da reicht es eigentlich, die VMs alle Jubeljahre mal wegzusichern. VPN: muss nur laufen. APCUPSD: muss nur laufen. Sophos UTM: muss nur laufen. Windows-GPU: läuft (und wird zur Not auch flott neu installiert).

Bleiben inzwischen eine Minecraft-Server-VM und eben die Storage VM. Für die Storage VM hab' ich einen ZFS Raid-Mirror aus 2 VMDKs eingerichtet, die nativ auf unterschiedlichen SSDs liegen. Fällt eine SSD aus, hab ich noch die andere. Ist aber zur Not auch schnell wieder aufgesetzt.

Nur zur neuesten VM (Minecraft) muss ich mir noch was zu überlegen.

Ansonsten sind die Pools eben nach Platten geordnet und historisch gewachsen: 4x1TB im RaidZ sind die ältesten Schätzchen (Samsung), dienen nur noch als Trippelbackup. 4x4TB RaidZ (WD Red) sind mein Haupt-Datenpool für VM-Backup, Bilder, Officegedöns und allgemein wichtige Unterlagen. 8x4TB Seagate (Constellation ES.3) im RaidZ2 sind der große Medienspeicher (und zum Teil Paranoia-Backup für wirklich wichtige Sachen).

Das eigentliche Backup geht dann per Replikation 2x auf den Backup Server:
Backup1 ist eine interne 8TB Seagate Archive (keine Redundanz).
Backup2 ist eine 4TB USB (glaub WD MyBook oder so), die steck ich im Monat 1-2 an und repliziere manuell rüber, ansonsten ist die brav an einem anderen Or

Vielleicht ziehe ich irgendwann noch die verschiedenen lokalen SSDs im Haus (in den Desktops) zusammen in den Server um. Aber da das eigentlich nur OS+Spiele-Speicher sind, lohnt sich das eigentlich nicht, die auf dem Server zu zentralisieren.

 

[daniel712]

Super Inputs, Vielen Dank! Das wird dann relevant, wenn ich so groß werde, dass ich den Server nicht mehr gespiegelt bekomme, aber das ist normalerweise eh NoGo... Ein Backup ist kein Backup. Momentan plane ich mit 10x4TB, wären dann ca. 30TB netto, das bekomme ich noch auf mein 5-Bay Synology extern mit 5x8GB

Die Sache mit den Partitionen lasse ich mir durch den Kopf gehen. Allerdings bekomme ich auf 64GB schon ziemlich viele Snapshots von meinem System... Da könnte ich dann bei Pfusch in Ruhe zurück gehen... Mal sehen.

imo ist die SATA Variante sinnvoller, hält jemand die SAS Variante für besser, auf Kosten einer SSD, also kein RaidZ1 mehr, sondern nur ein Mirror bei den SSDs, ist halt echt viel Platz der verloren geht...

- - - Updated - - -

OK. Dann haben wir einen sehr verschiedenen Ansatz. Ich möchte das Storage so schnell wie möglich und mit den SSDs die Netzwerkverbindung zur Workstation ausreizen. VMs hab ich keine.

Im Test von Calomel liegt mein geplantes striped RaidZ1 bei 675MB/s w und 1012MB/s r mit SAS Platten am HBA. Kann jemand abschätzen wie viel Prozent ich da verliere wenn ich neue 6Gb/s SATA Platten am Chipset einsetze?

 

[Digi-Quick]

Ok. Sorry, dass ich so schwer von Begriff bin...ich dachte er könnte halt mit dem SAS Controller von 8 Platten gleichzeitig lesen im ZFS...

Das ist nicht von SAS abhängig, SATA macht das auch.
Jeder SAS/SATA Kanal ist eine Punkt zu Punkt Verbindung und arbeitet unabhängig.
Den Unterschied gab es Früher mal bei PATA vs (Paralllem-)SCSI - wobei Zeitgleich ging das da auch nicht - SCSI hatte halt Command Queuing.

Bei 2 oder 4 benötigten Ports kannst du für ZFS auch einfache billige SATA Controller nehmen, sofern diese vom gewählten OS untesstützt werden (Marvell und FreeBSD bzw. der NAS Distries die auf FreebSD basieren geht z.B. nicht)
Bei 8 Kanälen und mehr sind SAS HBAs von/mit LSI/Broadom schilchtweg "State of the Art"
Adaptec scheint mir da mitlerweile komplett abgeschlagen zu sein - früher(tm) war Adaptec das Synonym für SCSI.

P.S. wenn's wirklich nur um NAS=Storage geht, solltest du dir auch XigmaNAS mal anschauen, nicht ganz so "aufgeblasen und Klickibunti" wie FreeNAS >> Ressourcenschonender.

- - - Updated - - -

Der beste Deal fur die SSDs sind die Samsung NVMe s 3x 1TB für 1000, - Eur als pro und 750,- als EVO. Die würde ich dann als RaidZ1 anlegen. Kann man die EVOs verbauen oder nur PRO? Im RaidZ1 kann man ja doch etwas mutiger sein, oder? Wie ist die Haltbarkeit, hast da schon jemand schlechte Erfahrungen? Um SATA Ports zu sparen und das USB3 Problem zu umschiffen, würde ich die partitionieren und hinten was reservieren für das System+Mirror+Cache je 64G oder so?

Rethorische Frage: Wie soll ein OS von einem ZFS Pool booten, wenn dieses OS den ZFS Pool erst bereitstellt und dieses erst relativ spät erfolgt?
Sowohl FreeNAS als auch XigmaNAS werden auf einem simplen UFS Dateisystem auf einem bootfähigem Datenträger installiert. (Bei FreeNAS bin ich nicht sicher ob die UFS oder EXT3/4 nehmen)

Dieser Datenträger könnte natürlich auch von einem Hardwareraidcontroller bereitgestellt werden - FAKE-RAID/Chipsatzraid wird mWn nicht unterstützt. Macht keiner!

ZFS on Boot geht natürlich auch: Solaris/Solarish, OmniOS, Openindiana machen das von Haus aus, und nachträglich Spiegeln geht dann auch - Die Shell läßt grüßen (aber sogar ich habe das hinbekommen *fg*).
Sogar in der FreeBSD Welt gibt's da was : TruOS (ehemals PCBSD) kann sogar bereits bei der Installation einen ZFS Mirror als rpool anlegen und darauf installieren - aber auch hier gilt: nur auf dedizierten Datenträgern.
(Wie man sieht ist auch in der ZFS Welt nicht alles Perfekt, bzw. DIE "perfekte" Distri gibt es nicht)


Ob ein Pool aus 2x Raidz1 mit je 5 HDDs deutlich schneller ist als ein Pool mit 1x Raidz2 aus 10 HDDs wirklich signifikant schneller bei sequentiellen Transfers ist, wage ich zu bezweifeln - höhere IOPS sind sicherlich möglich (relevant bei kleinen Dateien).
Der gravierende Unterschied ist aber, daß dir bei Variante 1 genau eine beliebige HDD ausfallen darf und bei Variante 2 sind es 2
10 GBE wirst du eh nur mit großen sequentiellen Datentransfers sättigen können, bei kleinen Dateien nahezu unmöglich >> mit grösseren NVME SSD Pools auf beiden Seiten und entsprechender CPU Power sicherlich erreichbar

 

[sch4kal]

FreeNAS installiert sich selbst auch schon länger auf ZFS. Kann man neben UFS auswählen bei der Installation. Die neue UI sieht zwar richtig modern aus, bugt bei mir aber noch heftig rum. Langjährige FreeNASer vergessen bestimmt auch nicht das Corral Update Drama..
Ich finde schon das es DIE Distri für ZFS gibt: Solaris 11.4 😄

 

[daniel712]

Das ist nicht von SAS abhängig, SATA macht das auch.
Jeder SAS/SATA Kanal ist eine Punkt zu Punkt Verbindung und arbeitet unabhängig.
Den Unterschied gab es Früher mal bei PATA vs (Paralllem-)SCSI - wobei Zeitgleich ging das da auch nicht - SCSI hatte halt Command Queuing.

Ok. Der Reihe nach... Einmal drüber geschlafen und wieder alles neu... Ich denke, die NVMe Variante in den PCIe Slots ist Overkill für eine 10G Netzwerkverbindung. Ich werde auf jeden Fall den HBA drin lassen und mit SAS Platten arbeiten fürs Storage, das ist defacto das Schnellste in Scheiben. Also 6 Platten im RaidZ2. Dann würde ich das später mit einem zweiten Controller erweitern und stripen, um die Speed zu erhöhen (im Hinblick auf meinen Denkfehler beim 2x5 striped RaidZ1).
Jetzt zum Quote: Ich würde in dieser Variante die 10 SATA Kanäle des onboard nutzen für meine SSD Pools mit SATA SSDs. Jeder SATA3 Kanal bringt mir 600MB/s damit sollte ich die 10G Verbindung doch auslasten können, oder? Ich würde dann nach Delphix' Erklärung nacheinander 3-wide RaidZ1s bauen. Die würde ich dann tatsächlich mit 860er EVOs bauen, da lieg ich pro Pool bei ca 500,- EUR.

Die Frage wäre dann wirklich, ob man nicht allflash fährt für so einen Highspeed Plan. Da liege ich dann pro 8TB usable bei ca. 2000,- EUR. Ich könnte also insgesamt so auf 30 SSD kommen mit 3x LSI + onboard, wären dann 20TB, wow... Das kann man dann in 3er Häppchen a 500,-EUR aufbauen. Das wäre doch ein guter Weg, oder?

(8TB SSD Storage für 2k EUR ist schon geil... soviel hat damals mein erstes Macbook Air gekostet, ich glaube das waren 128G, das erste ohne spinning drive 2008... )

Ich denke die Entscheidung ist gefallen... Wie lange werden die SSDs wohl laufen? Sind 10 Jahre realistisch?

10G Server mit spinning drives... da war ich wohl völlig auf dem Holzweg... naja, learning by doing, gut dass wir darüber gesprochen haben...

- - - Updated - - -

Rethorische Frage: Wie soll ein OS von einem ZFS Pool booten, wenn dieses OS den ZFS Pool erst bereitstellt und dieses erst relativ spät erfolgt?
Sowohl FreeNAS als auch XigmaNAS werden auf einem simplen UFS Dateisystem auf einem bootfähigem Datenträger installiert. (Bei FreeNAS bin ich nicht sicher ob die UFS oder EXT3/4 nehmen)

Diese Idee ist nach neuem Plan hinfällig, aber zur Erklärung, da haben wir uns missverstandem. Ich hatte nicht geplant das OS in den Pool zu nehmen. Ich hätte jeweils die vordere große Partition für den ZFS Pool benutzt und auf die kleine hinten das OS installiert. Die Frage wäre nach dem Bootloader für FreeNAS... Könnte der von der hinteren Partition booten?
Ist aber Geschichte, FreeNAS kommt auf eine eigene SATA SSD.


Nochmal kurz zum ZFS: Wenn ich die 3-wide RaidZ1 Pools dann mit der Zeit hintereinander baue. Wie stellt FreeNAS die zur Verfügung? Muss ich die alle in einzelne Ordner mounten, oder gibt das einen gemeinsamen Storage? (Ich werde FreeNAS heute mal in einer VM installieren und mich da etwas einarbeiten...)

 

[sch4kal]

Die vdevs werden einfach deinem bereits vorhandenen Pool hinzugefügt und erweitern den Storage.

 

[daniel712]

10 GBE wirst du eh nur mit großen sequentiellen Datentransfers sättigen können, bei kleinen Dateien nahezu unmöglich >> mit grösseren NVME SSD Pools auf beiden Seiten und entsprechender CPU Power sicherlich erreichbar

Bekomme ich mit meinem neuen Plan, Allflash (860 EVO SATA im 3-wide RaidZ1) das 10G Netzwerk ausgenutzt?
Ich beginne also mit 2 RaidZ1 a 3 SSDs.

Die 860er scheinen nach dem Hardware Test hier auf der Seite nicht so hitzeempfindlich zu sein wie die M.2 Varianten. Ich plane immer 2 von denen in einem 3.5 Slot. Gekühlt werden die mit den Gehäuse Fans. Brauche ich da zusätzliche Kühlrippen auf den einzelnen Drives?

 

[sch4kal]

Sequentiell garantiert
Warum nimmst du eig. keine Samsung SM961 NVMe`s ?

 

[daniel712]

Dafür bräuchte ich Unmengen PCIe oder M.2 Slots... und um die 10G Verbindung auszureizen sollten ja die SATA Platten im RAID reichen, außerdem billiger... Also etwas Overkill. Damit könnte man wahrscheinlich ein 40G Verbindung ausreizen, aber das ist Zukunfsmusik...

- - - Updated - - -

Wie läuft die Erweiterbarkeit? Wenn ich ein RaidZ1 nach dem anderen dazu füge, wird die Gesamtperformance dann mit jedem 3er Päckchen schneller, oder muss ich immer ein 6er Päckchen dazu fügen (2 striped RaidZ1 a 3 SSDs). So ganz hab ich das noch nicht verstanden... Er striped ja den Pool immer über alle VDEVs, aber die ersten beiden sind ja dann schon bald voll... ???

Oder ist es sinnvoller, wenn der erste Pool langsam voll läuft und man plant ein weiteres 3-wide RaidZ1 dazuzufügen, den Pool zu destroyed und neu zu erstellen und die Daten aus einem Backup neu einzuspielen ???

 

[Digi-Quick]

Wie läuft die Erweiterbarkeit? Wenn ich ein RaidZ1 nach dem anderen dazu füge, wird die Gesamtperformance dann mit jedem 3er Päckchen schneller, oder muss ich immer ein 6er Päckchen dazu fügen (2 striped RaidZ1 a 3 SSDs). So ganz hab ich das noch nicht verstanden... Er striped ja den Pool immer über alle VDEVs, aber die ersten beiden sind ja dann schon bald voll... ???

Bei Erweiterung eines Polls bleiben bereits vorhandene Daten auf den VDEVs auf denen sie liegen, nur neu hinzukommende Daten werden dann auch auf das neue VDEV geschrieben. Es erfolgt keine Neuvertelung.

Oder ist es sinnvoller, wenn der erste Pool langsam voll läuft und man plant ein weiteres 3-wide RaidZ1 dazuzufügen, den Pool zu destroyed und neu zu erstellen und die Daten aus einem Backup neu einzuspielen ???

THIS!

Wenn du Performance haben willst, solltest du auch keine Consumer SSDs nehmen, sondern Enterprise Grade.
Consumer SSDs brechen recht schnwll in der Leistung weg.

 

[daniel712]

Aha, ok. Hab ich mir gedacht, dann ist die Erweiterung doch nicht gaaanz so easy, aber immer noch gut zu machen... Sollte halt beim neu Einspielen nix schief gehen...

Die 860er EVO müssen reichen, sonst wirds zu teuer... Sind ja sehr gut getestet! Ich werd das mal testen, wie lange die machen. Unterstützen die SMART? Sind 10Jahre realistisch im Homeserver?, läuft allerdings 24/7 bei mir...

Nochmal zur Performance... Brauche ich gleich zu Beginn einen Stripe, damit er die Speed der 10G Verbindung erreicht, also minimum 4 Platten im Raid1-0, oder schafft er das auch schon im standalone 3-wide RaidZ1?

 

[Falo999]

Puhhhh hier wird schon für 40G Network geplant wo in dem Preisbereich keiner auch nur ein 10G Netzwerk auslasten kann.

Wenn du dir mal deinen selbst geposteten Link zu den ZFS Bandbreiten anschaust dann siehst du wie das man eigentlich nur bei Raid 0 eine Chance hat 10G auszureizen.
(und über den Sinn von Raid 0 brauchen wir wohl nicht diskutieren.)

Ansonsten hinken in meinen Augen derzeit einfach die Raid techniken den SSD hinterher und sind immer noch für Festplatten mit ihren relative geringen Datenraten und vorallen den geringen IOPS ausgelegt.
Im Professionellen Umfeld sieht das wesentlich besser aus weil da ja auch viel mehr im RAM gearbeitet wird weil da halt die dicken Datenbank Server eh ihre Daten auf ihre eigens zugewiesenen Storagepool liegen haben und dann viel im RAM arbeiten.
Im Privaten bereich geht es meist um viele GB am Stück zu lesen/schreiben wo das RAM nicht soviel bringt oder es jeden Preisrahmen sprengt.
Deswegen würde ich das NAS auf 10G auslegen und mir für den Arbeitsplatzrechner noch 1-2 schnelle MVE SSD kaufen weil du wirst immer übers Netz deutlich langsamer sein.

Und für 40G jetzt schon was im privaten Umfeld zu planen ist reine Resourcenverschwendung die Zeit kann man besser für was anderes benutzen.