[Sammelthread] ZFS Stammtisch

[gea]

Ich habe heute neues Spielzeug erhalten und zwar ein Mainboard SuperMicro X10SDV-2C-7TP4F
Dazu zwei Intel X710 Netzwerkkarten X710 QSFP+ (40G bzw 4 x 10G)

zur Erinnerung. Das Mainboard kommt mit einer 25W 2C/4H CPU, 2 x 10G SFP+ und einem 16 Port HBA LSI 2116 im IT mode, dazu noch zwei frei PCI-e Slots und kann max 128 G RAM. Das Board kostet ca 500 Euro. Das Boards gibts auch mit 8 oder 16 Cores.

Erster Eindruck:
Ein geniales Board für ZFS Storage und All-In-One, allerdings sehr neu (Treiberunterstützung 10G).
Momentan brauch man noch eine extra Netzwerkkarte. Ich habe eine kleine Intel PCI-e I210 eingesteckt.

Das Board ist Flex ATX, das ist etwas kleiner als uATX.
Es passt aber in eine normales Gehäuse für uATX oder ATX

Ich habe folgendes probiert:
Nappit/ OmniOS Systemimage auf Intel S3510 SSD: ok
Installation von OmniOS vom USB Stick: ok
HBA unter OmniOS: ok

Intel X550 10G: noch nicht unterstützt
Intel X710 40G: noch nicht unterstützt

Für beides sind Treiber bei Illumos in Arbeit


ESXi 6.0U2
Installation: ok
pass-through LSI 2116: ok
X550: nicht unterstützt
X710: nicht unterstützt:

Die Treiber gibts hoffentlich bald dabei bzw. muss man manuell nachinstallieren.


Napp-in-One
Bereitstellen des OFA napp-it ZFS Server Templates: ok

 

[besterino]

Da wird man ja blass vor Neid. Gibt's in dem Kindergarten, wo es derartiges Spielzeug gibt, noch freie Plätze? Und wo bekommt man das Anmeldeformular?

 

[pumuckel]

@gea nett, haste eins bekommen

ich finde für nen reinen Storage und evtl 2-3 kleine VMs sind die Boards recht gut

kannste mal den Verbrauch an der Dose ohne HDDs checken unter 6u2 ?

btw warum brauchst du ne extra PCIe nic ? ... sollten da nicht 2x Gb LAN (Intel I210-AT) drauf sein ? ( http://www.supermicro.com/products/motherboard/Xeon/D/X10SDV-2C-7TP4F.cfm )

 

[gea]

Leistung messen ist etwas schwierig.
Das Board ist in einem 19" Case mit 16 Bays, 4 dicken Lüftern und Dualnetzteil.

Ich würde aber von folgendem ausgehen
Der 16 Port SAS Controller braucht 12-25W
Die CPU mit integriertem 10G etwa genausoviel, dann kommt RAM und noch ein oder zwei SFP+ Gbics

Gibt dann je nach RAM und Last 20-50W

Ich möchte aber mit der Serie 5-7 Jahre alte Systeme mit Dual Xeon ersetzen.
Die schlucken sicher 150W+ im Leerlauf.

 

[pumuckel]

... aber warum haste ne PCIe Nic benutzt, hatte dein Board keine 210er ?

ich geb dir auch gern mal nen Grund, da ich ATM noch 2 S2011 Systeme hier hab

ein davon im Testaufbau: http://www.hardwareluxx.de/communit...pc-im-idle-modus-813634-138.html#post24576253

die Mellanox x2 (bekommt man ja nachgeworfen) läuft ja überall und auch gut mit den Mikrotik Switches per günstigem direct attach

Ein Sas schluckt dazu ca 8-12W .... drum bin ich am rechnen

 

[besterino]

Puh, da bin ich mit meinem ESXi-ZFS-AllInOne-Filer und seinen ~100W deutlich höher unterwegs.

Allerdings relativiert sich das vielleicht etwas, wenn man bedenkt, dass der mit 'nem Xeon E3 v1 rennt, 4x4GB RAM, 2x Perc H200, Intel 540-T2, 8x3,5" HDD, 5x2,5" SSDs und 7 Lüftern (1x CPU, 6x 120/140er im Gehäuse). Und "idle" heißt mit 3 laufenden - sich aber langweilenden - VMs für ZFS-Storage, AD-Controller und ubuntu-VPN-Server.

 

[pumuckel]

du kannst ja das Set aus Xeon 1650v3 und den 64GB in meinem VK Thread erwerben

war für mich nur ein testaufbau ... denn das 2. System läuft derzeit ohne mucken und geht produktiv

 

[gea]

... aber warum haste ne PCIe Nic benutzt, hatte dein Board keine 210er ?

Doch hat es.
Ich hatte davor aber ein X11-SSH verbaut. Das hat auch die 10G aber ohne 1G.
Beim Umbau habe ich dann übersehen dass das neue Board auch 1G hat und die Karte mit eingebaut.

 

[besterino]

hehe, danke. Bis ich den Kaufpreis dafür raus hätte, würde es zu lange dauern... Die Stromschlucker sind ja primär die sonstigen Komponenten, die durch CPU/RAM-Tausch nicht wirklich wegfallen würden.

 

[pumuckel]

Doch hat es.
Ich hatte davor aber ein X11-SSH verbaut. Das hat auch die 10G aber ohne 1G.
Beim Umbau habe ich dann übersehen dass das neue Board auch 1G hat und die Karte mit eingebaut.

danke, dachte schon Sm hätte da nen Bug in den Features (hab selbst noch keines zum testen bekommen, leider)

- - - Updated - - -

hehe, danke. Bis ich den Kaufpreis dafür raus hätte, würde es zu lange dauern... Die Stromschlucker sind ja primär die sonstigen Komponenten, die durch CPU/RAM-Tausch nicht wirklich wegfallen würden.

jup

- - - Updated - - -

Doch hat es.
Ich hatte davor aber ein X11-SSH verbaut. Das hat auch die 10G aber ohne 1G.
Beim Umbau habe ich dann übersehen dass das neue Board auch 1G hat und die Karte mit eingebaut.

die 2 Extra Lan Ports fielen dir nicht auf ?

 

[gea]

die 2 Extra Lan Ports fielen dir nicht auf ?

Nö, hatte das Board vor über 4 Wochen bestellt und die gar nicht mehr im Fokus.
Sind für mich auch überflüssig da bei mir servertechnisch alles bei 10G ist und ich zwischen meinen wichtigsten Switchen 40G fahre.

Nur wegen dem Stromsparen würde ich die alten Boards aber auch nicht ersetzen.
Die alten System haben aber relativ wenig RAM und teils noch LSI 1068.

Nachrüsten ist da nicht sinnvoll sondern eher ersetzen. Ich möchte dann aber eine möglichst einheitliche Linie fahren und diese Boards mit 2, 4, 8 oder 16 Cores reizen da doch ziemlich.

 

[L0rD_LuCk]

Hallo @ all,

ich habe ein Problem und wollte fragen ob da vielleicht einer eine Idee hat.
Mein alter Storage-Server läuft jetzt seit 3 Jahre mit Debian und ZoL zuverlässig und es wird langsam eng.
Daher habe ich mir einen neuen gebaut,
MoBo: ASRock Rack EPC612D8
CPU: Xeon E5-1620v3
RAM: 2 x Samsung 32 GB regECC DDR4-2133
HDD: 10 x Toshiba X300 6TB

Da der alte auch schon voll verschlüsselt war (LUKS) soll der neue das auch wieder können, jedoch bin ich diesmal auf die ZFS-eigene Verschlüsselung scharf sodass ich mich jetzt an Solaris 11.3 ran geschmissen hab.
Bei der Installation bekomme ich so einen seltsamen Promt der ein paar Minuten dauert, und dann irgendwann kommt doch der Installer. Der läuft dann auch problemlos durch. Nach dem Neustart kommt bei jedem
Boot dann auch wieder dieser seltsame Promt und nach ein paar Minuten kann ich mich anmelden und das System reagiert eigentlich wie erwartet.

Der Promt sagt: WARNING: pci@0,0/pci8086, 8d14@1c,2/pci1849,9172@0 SATA disk device at port 0 does not support LBA
und am ende sagt es: WARNING: pci@0,0/pci8086, 8d14@1c,2/pci1849,9172@0 SATA disk device at port 1 does not support LBA

Ich hatte zwischenzeitlich auch schon mal "... does not support UDMA" da stehen

Ich hab das mal abgefilmt und hochgeladen damit man mir vielleicht besser folgen kann : https://www.youtube.com/watch?v=J38pVIlNPYI

Ich hab schon beide Installer ausprobiert sowohl USB als auch CD/DVD-Image sowohl vom Text Solaris als auch vom GUI Solaris.
An meiner anderen Maschine hab ich diesen Promt nicht. Da kommt gleich der Installer und dann läuft alles so wie es soll.

Ich hab auf dem Server auch schon Windows und Linux und FreeBSD ohne Probleme installiert.

Jemand ne Idee woran das liegen könnte? Was kann ich tun damit das nicht kommt? Wie schlimm ist das? google war leider keine große Hilfe desswegen wende ich mich an euch.

Vielen dank für etwaige Hilfestellungen und freundliche Grüße
L0rD_LuCk

 

[gea]

Hängen die beiden Platten an dem Marvell Controller?
Den würde ich unter Solaris vermeiden (allenfalls für die Bootplatte nehmen sofern die Meldung das einzige Problem ist)

 

[bogomil22]

Vielleicht wartest du noch ein wenig und bleibst bei ZoL denn die native zfs verschlüsswlung ist in ZoL fast fertig und wartet auf reviews.

https://github.com/zfsonlinux/zfs/pull/4329

 

[L0rD_LuCk]

Ahhh ja, da hängen in der Tat 2 der 10 6 TB Platten dran.
Ich werde mich also nach einem alternativen Controller umsehen.
Ich danke euch, und auf ZoL warten, hmm auch ne Überlegung wert. Danke auch für diese Info.

Viele Grüße
L0rD_LuCk

 

[gea]

Oracle Solaris ist momentan noch die leistungsfähigste ZFS Plattform für große Installationen. Dazu gehören neben ZFS Verschlüssellung viele kleine und größere Entwicklungen wie z.B. sequentielles/ viel schnelleres Resilvering.

Es ist aber Kaufware (bis auf Test und Development) mit ca 1000 Euro/Jahr.
Dass jetzt Bewegung in ZFS Verschlüssellung unter OpenZFS kommt ist aber sehr zu begrüßen. Immerhin war ZFS Verschlüssellung ja fast fertig als Oracle OpenSolaris beendete und Illumos das als freies Solaris und als Basis für OpenZFS fortführte. Der inkompatible Wirrwarr mit Geli, Luks oder Lofi ist auch nicht sol toll.

Nur für einen ZFS Storageserver bevorzuge ich aber immer noch die Solaris Plattform deutlich vor BSD und vor Linux. Wenn man Hardwareauswahl oder Sachen wie OpenSource Clusterung betrachtet mag das anders sein.

 

[LehmannE]

Ich habe heute neues Spielzeug erhalten und zwar ein Mainboard SuperMicro X10SDV-2C-7TP4F

Hast du auch ein paar Bilder vom Board? Wie es eingebaut und verkabelt ist.

 

[gea]

Hast du auch ein paar Bilder vom Board? Wie es eingebaut und verkabelt ist.

Ich bin ein paar Tage beruflich unterwegs. Ob die Bilder so interessanr sind kann ich nicht sagen. Sieht aber putzig aus mit dem kleinen CPU Passivkühler in einem 19" Case für eATX.

 

[besterino]

Schon krass. Solaris markiert einen 1-Disk Pool mit einer zweifelhaften HDD nach ca. 200GB als "DEGRADED" (too many errors). Auf die gleiche Platte lassen sich selbst mit Windows-ReFS mehr als 2TB Daten kopieren und das meckert überhaupt nicht... ein Smart-Selbsttest meckert unter Solaris übrigens auch während unter Windows alles in Ordnung scheint...

 

[LehmannE]

Ich bin ein paar Tage beruflich unterwegs. Ob die Bilder so interessanr sind kann ich nicht sagen. Sieht aber putzig aus mit dem kleinen CPU Passivkühler in einem 19" Case für eATX.

Für ein Anfänger sind Bilder immer hilf reich und man kann sich das besser vorstellen.
Das Board hat 16 SATA3/SAS2 mit Chip LSI 2116, was für Stecker mini SFF-8643 oder mini SFF-8087 ist das?

 

[rushman]

SFF -8643 ist der richtige

Hier ist euch eine Zusammenstellung, wo das Mainboard auch mit den passenden Kabeln dabei ist: http://www.hardwareluxx.de/communit...uide-april-2016-a-1114030-3.html#post24534978

 

[pumuckel]

alternativ gibts für die LSI Junkies ja noch

https://geizhals.de/?cat=mbson&xf=7086_SAS+6Gb/s#xf_top (hab die 2 SM im Vergleich gelassen, da mehr Features ^^ )

die https://geizhals.de/?cat=mbson&xf=2962_12#xf_top kennt ja denke ich jeder

die günstigen mikrotik kennt ja denke ich auch jeder : http://routerboard.com/CRS210-8G-2SplusIN
https://direkt.jacob.de/MikroTik-CRS210-8G-2S-IN-L5-MT-CRS210-8G-2S-IN-artnr-2227604.html

am problemfreisten ist aber immernoch das https://geizhals.de/supermicro-x10sl7-f-retail-mbd-x10sl7-f-o-a956610.html?hloc=de

 

[teqqy]

Wenn man kostengünstig (alle Risiken außer acht gelassen) schnellen VM Storage haben möchte was wäre da das "beste":

- RaidZ1 mit 4 x 120 oder 250 GB SSDs
- 2 RaidZ1 mit insgl. 8 SSDs (RaidZ1 gestript)
- RaidZ2 mit 4 - 6 SSDs

 

[MrDeluxe]

Es handelt sich im Prinzip, um einen Vergleich zwischen:

- Raid5
- Raid1+0 / Raid 0+1
- Raid6

Dazu eine Broschüre https://www.heinlein-support.de/upload/slac08/Heinlein-RAID_Mathematik_fuer_Admins.pdf

 

[effemmess]

Stimmt nicht ganz:
- Raid5
- Raid50
- Raid6



Gesendet von meinem Redmi Note 2 mit Tapatalk

 

[besterino]

Frage an die Experten: gibt es eigentlich Richtwerte, wie groß ein SLOG oder ZIL oder L2ARC Device idealerweise sein sollte? Ich hab hier jetzt ja meinen 4x4TB RaidZ Pool. Und aus Schwachsinnigkeit hab ich neulich 2x120GB Samsung SM863 SSDs (die flotten mit Powerloss Protection) besorgt. Stellt sich nun die Frage, ob ich halt eine für die VMs des ESXi host und vielleicht eine als Cache (und wenn ja, welchen?) hernehme? Oder was wäre Eure Empfehlung?

 

[gea]

ZFS sammelt alle Schreibaktionen für ein paar Sekunden im RAM als Schreibcache und schreibt die dann als ein schnelles sequentielles Write. Parallel dazu müssen weitere Writes geloggt werden. Den Inhalt des Schreibcaches gilt es nun über ein ZIL inkl. Powerloss Protection zu sichern.

Die Daumenregel dazu:
Man muss 5s Schreiben übers Netz speichern. Während das gesichert wird muss weiter geloggt werden Man rechnet deshalb vereinfachend mit der Datenmenge die übers Netz innerhalb von 10s kommen können.

Bei einem 10G Netzwerk können ca 10GB in 10s kommen. Das ist ausreichend.
Auch der Grund warum eins der besten ZIL Devices (ZeusRAM) nur 8 GB hat.


Die ideale Größe eines L2ARC Lesecaches ist Null.
Es ist viel langsamer als RAM. Auch braucht es RAM zum Verwalten. Beim Schreiben müssen die Daten auf den Pool und ins L2ARC Cache. Dieses begrenzt damit Durchsatz. Daher: Kauft RAM wenn ihr mehr Cache braucht.

Ein L2ARC ist lediglich ein Notbehelf wenn mehr RAM nicht geht und man mehr Cache möchte. Der L2ARC muss aber immer erheblich schneller sein als der eigentliche Pool. Eine L2ARC SSD in einem sehr schnellen Pool ist beispielsweise Unsinn. Bei einer schnellen NVMe siehts dann wieder anders aus.

- - - Updated - - -

Schon krass. Solaris markiert einen 1-Disk Pool mit einer zweifelhaften HDD nach ca. 200GB als "DEGRADED" (too many errors). Auf die gleiche Platte lassen sich selbst mit Windows-ReFS mehr als 2TB Daten kopieren und das meckert überhaupt nicht... ein Smart-Selbsttest meckert unter Solaris übrigens auch während unter Windows alles in Ordnung scheint...

Liegt sicher daran dass ReFS idiotischerweise per default nur Prüfsummen auf Metadaten (vermutlich damits nicht noch langsamer wird), nicht aber auf den Daten anlegt. ZFS macht das per default auf beidem und entdeckt damit alle Probleme und Fehler.

 

[xymos]

Hallo Zusammen,

meine ZFS Installation startet nicht mehr.


Jemand eine Idee, wie ich das lösen kann ?

Basis: OmniOS auf zwei bespiegelten USB-Sticks.

 

[gea]

Der Stick der im Bios als Bootdisk eingetragen ist, scheint hinüber zu sein.
Was passiert wenn man im Bios oder Bios Bootmenü vom zweiten Stick startet
bzw den ersten abzieht. Die Biosbootreihenfolge sollte ja erster Stick, zweiter Stick seon

 

[morumbinas]

Kann ich ESXi parallel mit der Storage VM auf einer SSD betreiben (vermutlich mit 2 Partitionen)? Ich habe dazu in den napp-it Dokus nichts gefunden.