Orientierungshilfe Selbstbau-Storage

[TheHille]

Hallo zusammen,

ich habe mir einmal einige Threads zu diesem Thema hier im Forum durchgelesen.
Habe bereits einen Proxmox aufgesetzt und wollte die VMs auf einem externen Storage laufen lassen.

Die erste Überlegung war ein 19" Synology-NAS, welches mir aber im Bereich von 12 HDDs zu teuer ist.

Von der Hardware her wollte ich es recht simpel halten (ATX-Mainboard, ATX-Netzteil, SW-Raid).

Eines weiß ich aber sicher, es soll 19" werden:

Inter-Tech 3u-30248
Inter-Tech 2u-2412 oder 4u 4416

Als OS würde ich OMV nehmen.

Die Gretchenfragen sind allerdings für mich folgende:

- Wie ist die Lautstärke eines Server 2H Netzteils (Würde lieber bei ATX-Netzteil bleiben)?
- Macht es Sinn ein leeres Gehäuse mit 5,25" Hot-Swap Laufwerken auszustatten oder sollte man gleich zum Storage-Gehäuse mit integrierten Laufwerksschächten greifen?
- Arbeite ich mit Zusatz-Sata-Karten um auf 12-16 Laufwerke zu kommen oder doch mit gebrauchten SAS-Controllern ( z.B. LSI00137-LSI-MegaRAID-MR-SAS-84016E-16-Port-3Gbs-PCI-E-SAS-SATA-Raid-Adapter)?
- Ist es für OMV besser/schlechter ob ich die Laufwerke direkt durchreiche (SW-Raid wäre mir lieber) oder doch über den Controller realisiere?

Freue mich sehr über eure Erfahrungen und danke schon einmal im Voraus!

 

[VirtuGuy]

ich würde den Proxmox Host dafür verwenden:

1. bei 12 Platten wird ein 2HE Server einfach laut, irgendwie musst du die Hitze transportieren
2. rechne einfach was dir günstiger kommt, gute CT Wechselrahmen kosten ~25 Euro pro Platte.
3. ob SAS oder SATA Controller - hängt von deinen Erwartungen an die Performance ab. Ein Setup mit billigen 4 Port Karten funktioniert grundsätzlich auch, aber das würde ich abseits von Test/Schulungs Setups nicht empfehlen
4. mach ein ZFS Raid mit Proxmox, die Konfig kannst du komplett in der Webgui von Proxmox (ab Version 5.2) erledigen

 

[Digi-Quick]

Eines weiß ich aber sicher, es soll 19" werden:

Inter-Tech 3u-30248
Inter-Tech 2u-2412 oder 4u 4416

https://www.xcase.co.uk/ hat auch nette Gehäuse - noch sind die in der EU

Als OS würde ich OMV nehmen.

OMV kann zwar auch ZFS via Plugin (ZoL), ich würde da aber eher natives ZFS nehmen, d.H. Solaris/Solarish (z.B. OmniOS mit Napp-it als Storage Appliance) oder FreeBSD (z.B. XigmaNAS oder FreeNAS)

Die Gretchenfragen sind allerdings für mich folgende:

- Wie ist die Lautstärke eines Server 2H Netzteils (Würde lieber bei ATX-Netzteil bleiben)?

Sowas willst du nicht im Arbeitszimmer haben, daher ist 4HE mit direkter Einbaupmöglichkeit für ATX Netzteil die goldene Wahl (es gibt auch einige wenige 3HE Gehäuse für ATX Netzteile).

- Macht es Sinn ein leeres Gehäuse mit 5,25" Hot-Swap Laufwerken auszustatten oder sollte man gleich zum Storage-Gehäuse mit integrierten Laufwerksschächten greifen?

eine 4/5-Fach Backplane kostet 80-120 € (4in3 bzw. 5in3), preislich nimmt sich das nicht viel.

- Arbeite ich mit Zusatz-Sata-Karten um auf 12-16 Laufwerke zu kommen oder doch mit gebrauchten SAS-Controllern ( z.B. LSI00137-LSI-MegaRAID-MR-SAS-84016E-16-Port-3Gbs-PCI-E-SAS-SATA-Raid-Adapter)?

Das ist ein Frage der Treiberunterstützung für das gewählte OS. SATA Controller mit Marvel-controllern werden bspw. unter FreeBSD meist nicht unterstützt oder laufen grottig.
Bei gebrauchten Controllern darauf achten, daß einige ältere Modelle nur HDDs bis 2TB können, z.B. der von dir gewählte (basiert auf dem uralten LSI-SAS1068).
für Software Raid (MD-Raid oder ZFS) sind Controller mit LSI/Broadcom 2008 oder 3008 die goldene Wahl. Diese flasht man dann mit IT-Firmware oder nimmt gleich einen einfachen HBA auf der Basis (z.B. Broadcom SAS 9207-8i). Bei einigen Modellen ist das Umflaschen nicht nötig, da beide Betriebsvarianten vorhanden sind (IR/IT) und im BIOS des Controllers umgeschaktet wird (z.B. beim HP Smart Array H240 "The H240 Smart Host Bus Adapter provides flexibility to run in HBA mode or simple RAID mode.")

- Ist es für OMV besser/schlechter ob ich die Laufwerke direkt durchreiche (SW-Raid wäre mir lieber) oder doch über den Controller realisiere?

Wozu durchreichen? OMV oder auch andere NAS Distries Bare-metal installiert (ohne Hypervisor davor) müssen nur die SATA/SAS HBAs unterstützen
Software-Raid ist mitlerweile Performanter als Hardware Raid - es sei denn du spendierst dem Storageserver nur 2 GB RAM.....

 

[TheHille]

Hallo Ihr zwei, danke für eure Antworten!

ich würde den Proxmox Host dafür verwenden:
1. bei 12 Platten wird ein 2HE Server einfach laut, irgendwie musst du die Hitze transportieren
2. rechne einfach was dir günstiger kommt, gute CT Wechselrahmen kosten ~25 Euro pro Platte.

Ich komme eher von der SW-RAID/Sata Ecke. ich hab mich nicht sonderlich mit SAS auseinandergesetzt. Allerdings merke ich, dass so ein 4HE Storage mit SAS-Anbildung schon praktisch ist. 16 einzelne SATA-Kabel durch das Gehäuse ziehen ist dann doch absurd. Ich möchte allerdings Fehleranfälligkeit und Kosten im Rahmen halten. Ich will da alle meine ausgemusterten Platten reinstecken, ein paar Volumes für reine Ablage erstellen und für kommende Zeit zukunftssicher zu sein.

3. ob SAS oder SATA Controller - hängt von deinen Erwartungen an die Performance ab. Ein Setup mit billigen 4 Port Karten funktioniert grundsätzlich auch, aber das würde ich abseits von Test/Schulungs Setups nicht empfehlen

Bei 16 Laufwerken habe ich langsam Schwierigkeiten mit den 4-Port Karten, deswegen habe ich mich hier im Forum an euch gewandt, ob es da nicht eine bessere Lösung gibt.

4. mach ein ZFS Raid mit Proxmox, die Konfig kannst du komplett in der Webgui von Proxmox (ab Version 5.2) erledigen

Hm, ZFS hatte ich schon einmal ausprobiert, allerdings denke ich ist das für mich zuhause eine zu komplexe Lösung. Alleine die RAM-Ansprüche machen mir vom Budget her einen Strich durch die Rechnung. Zumal die VMs schon sehr viel RAM auf dem Proxmox verwenden.

Mein persönliches Vietnam ist jetzt einmal die Anbindung der SATA-Platten über SFF-8087 (ggf. auf 4x SATA) ans Mainboard. Da denke ich ist ein SAS-Controller doch die beste Möglichkeit.

So wie ich euch verstehe ist es also über einen HBA-SAS-Controller kein Problem die 12-16 SATA-Platten in OMV zu sehen und über MDM zu verwalten?
Gibt es irgendwas, auf was man bei den SAS-Controllern achten muss außer das mit HBA, >2TB? Muss man dafür wirklich um die 400 Euro rechnen?


p.S.:

Das wäre die HW wie ich sie verbauen würde:

Intel Core i3 3220 (liegt zuhause rum)
8 Gig DDR3 RAM (liegt zuhause rum)
Intel Q77-MK (das wäre das gleiche wie bei meinem Proxmox, kostet ca. 60 Euro)
Gehäsue mit mindestens 12 SATA-Cages (ca. 350 Euro komplett)
Netzteil ATX (ca. 60 Euro)

 

[Digi-Quick]

kann man so machen., ein "Intel Q77-MK" habe ich nicht gefunden, nur "Intel DQ77-MK" und das gibt's offenbar nirgends mehr zu kaufen
8-Port SAS HBAs mit LSI 2208/3008 bekommt man ab ca. 100 €
Storage Controller mit Chipsatz: Broadcom SAS2008/Broadcom SAS3008/LSI SAS 3008/LSI SAS2008 heise online Preisvergleich / EU

- - - Updated - - -

Hm, ZFS hatte ich schon einmal ausprobiert, allerdings denke ich ist das für mich zuhause eine zu komplexe Lösung. Alleine die RAM-Ansprüche machen mir vom Budget her einen Strich durch die Rechnung. Zumal die VMs schon sehr viel RAM auf dem Proxmox verwenden.

Prinzipiell gilt, daß ein-ZFS Storage ab 2 GB RAM löppt - zumindest unter Solaris/Solarish, 4 GB sollten es aber mindestens sein, damit ein wenig RAM als Cache zur Verfügung steht.
XigmaNAS (ehemals NAS4Free) hätte gerne mind. 8GB, FreeNAS 16 GB. Ich habe einen Filer unter Nas4Free mit 4 GB RAM laufen, nutze allerdings nur den reinen CIFS/SMB Fileservice und das geht wunderbar.
Bei ZoL würde ich davon ausgehen, daß mind. 8, eher 16 GB sinnvoll sind.

Nur für Deduplikation braucht man mehr RAM , ca. 1 GB RAM / TB Kapazität des betreffenden Pools. Deduplikation ist allerdings in den seltensten Fällen sinnvoll und wird wenn dann nur auf kleine Pools angewendet.

 

[TheHille]

Hallo Digi-Quick,

danke für dein Feedback. dann hört sich ZFS nicht ganz so tragisch an. Die 100-200€ für die Controller muss ich dann wohl in Kauf nehmen.
Stimmt, das Mainboard heißt DQ77-MK.

Habt Ihr evtl. eine Empfehlung für ein Mainboard mit ILO ähnlich dem DQ-77-MK das evtl. passen könnte? So eine Art Gold-Standard?

Sowas wie das hier?
Supermicro X10SLH-F

 

[Digi-Quick]

Hallo Digi-Quick,

danke für dein Feedback. dann hört sich ZFS nicht ganz so tragisch an. Die 100-200€ für die Controller muss ich dann wohl in Kauf nehmen.
Stimmt, das Mainboard heißt DQ77-MK.

Bitte!

Habt Ihr evtl. eine Empfehlung für ein Mainboard mit ILO ähnlich dem DQ-77-MK das evtl. passen könnte? So eine Art Gold-Standard?

Sowas wie das hier?
Supermicro X10SLH-F

Intel Xeon mit Sockel: Sockel 1155, Besonderheiten: IPMI heise online Preisvergleich / EU
ich würde auf jeden Fall Supermicro nehmen

 

[TheHille]

Danke dir, ich werde mir das alles mal durch den Kopf gehen lassen. Klingt alles erst einmal sehr gut.

Danke für eure Unterstützung!