Direct Attach Storage im DIY

[tackleberry]

Servus

Ich will viel Speicher auf wenig Platz unterbringen. 19" Schränke sind aktuell keine Option. Ich dachte daher daran, ein Meshify 2 XL mit HDDs, SSDs und Lüftern voll zu zupacken und dann irgendwie an die HBA Karte meines Servers anzuschließen (SAS Expander?). Wie könnte man sowas am besten realisieren? Gibt es dedizierte Netzteile für solche Projekte mit SATA Stromanschlüssen, die kein Mainboard benötigen? Ich will eigentlich nur die MiniSAS HD Kabel vom Server zum Storage Gehäuse legen und nicht auch noch Netzteilkabel... Theoretisch wäre das aber möglich. NT im Server ist ein 1500W Dark Power Pro, das bisher von einem 64 Core TR Pro, einer 3090 beschäftigt und zwei Datacenter SSDs beschäftigt wird (~700W?). Mainboard ist ein WRX80 mit 128 PCIe Lanes. Es sollte dahingehend also nichts limitieren. Als HBA habe ich aktuell eine 9405W-16i. Im Gehäuse ist es halt schon etwas kuschelig wenn CPU und GPU unter Last stehen.

 

[underclocker2k4]

TL-D1600S | Leistungsstarkes Desktop SATA 6Gbps JBOD Speichergehäuse

Der TL-D1600S verfügt über zwölf 3,5 Zoll/ 2,5 Zoll SATA 6 Gbit/s Laufwerksschächte und vier 2,5 Zoll SATA 6 Gbit/s SSD Schächte, und wird mit einer QXP PCIe-Karte zum Anschließen des Gehäuses über eine SFF-8088 (oder SFF-8644) Kabel geliefert. Es bietet zuverlässige Lese- / Schreibleistung für...

www.qnap.com

oder

TL-D800S | Leistungsstarkes Desktop SATA 6Gbps JBOD Speichergehäuse

Das TL-D800S JBOD Speichergehäuse ermöglicht Ihnen die Sicherung und Erweiterung Ihres QNAP NAS, Windows® und Ubuntu® Computer und Server. Das TL-D800S verfügt über acht 3,5-Zoll SATA-Festplattenschächte mit 6 Gb/s und wird mit einer QXP PCIe-Karte zum Anschluss des Gehäuses über ein SFF-8088...

www.qnap.com

oder

TL-D400S | Leistungsstarkes Desktop SATA 6Gbps JBOD Speichergehäuse

Das TL-D400S JBOD Speichergehäuse ermöglicht Ihnen die Sicherung und Erweiterung Ihres QNAP NAS, Windows® und Ubuntu® Computer und Server. Das TL-D400S verfügt über vier 3,5-Zoll SATA-Festplattenschächte mit 6 Gb/s und wird mit einer QXP PCIe-Karte zum Anschluss des Gehäuses über ein SFF-8088...

www.qnap.com

Und fertig ist die Laube.

EDIT:
HBA ist auch dabei, kann aber je nach OS rumzicken.

 

[tackleberry]

Vom Platzbedarf optimal aber ich finde die ganz schön teuer pro HDD Slot. 1000 Euro für 12 Slots und dann passen da nur 3 Lüfter rein. Bei Geizhals werden 25 dBa angegeben, kann das wer bestätigen? Sind die Festplatten da entkoppelt?

Wobei das Meshify 2 XL auch 200 Euro kostet, nen SAS Expander so 350, 3 Lüfter 75 Euro, die Kabel ja auch direkt dabei (ab 25 Euro pro Stück) sind und die PSU Problematik entfällt. Wenn man das mal so durchrechnet, sieht das wieder ganz ander, sprich eigentlich ganz attraktiv aus, aus. Hmm. Freue mich über jeden Input.

Wie effizient sind die PSUs in den QNAP Kisten? Sprich was verbrät das Gehäuse mit Karte zusätzliche zu den HDDs? Riskiert man bei den Gehäusen irgendwelche dämlichen Stromsparoptionen, die man nicht deaktivieren kann?

Am liebsten hätte ich ja ein Gehäuse wo ich Noctua A20 reinballern kann...

Wenn man weniger Kabelsalat vom Server zum DAS haben will, bleibt wohl nur die NAS Option mit geringerer Bandbreite und höherer Latenz, oder?

PS: Gibt es irgendeinen logischen Grund warum die Gehäuse von Expansion Gehäuse von QNAP und Synology mit max 3.5" Bays kommen?

 

[Supaman]

Die Frage ist: willst du NUR viel Platz oder soll das auch Performant sein?

Das mit dem NUR viel Platz ohne exorbiante Performance lösen die Chia Miner über Sata->USB Adapter.

https://pbs.twimg.com/media/Eru-ErEVkAEluxs?format=jpg&name=small

 

[underclocker2k4]

Hast du denn schonmal nen Stack HDDs gehabt?
Mach dir mal keine Gedanken über Lüfter und deren Lautstärke. Solange das keine Deltas sind, ist das dein geringstes Problem.

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

(das ist das quasi selbe Case (bzw. kann man die Herstellerdaten einordnen), nur dass der CPU Kühler fehlt, also eher etwas leiser)

Auch das Thema Vibrationen würde ich nicht all zu sehr priorisieren.

Ich hab HDD Server neben mir laufen. Hier ist aktuell alles passiv gekühlt, selbst der Server, keine Lüfter, gar nichts. Das einzige was man hört ist das Drehen der Spindel (Grundrauschen) und das viel "störendere" ist das Thema IO.

Wenn Sound nen Problem ist, dann nen NAS kaufen und das in die Abstellkammer oder sowas packen. Dazu >=10GBE rein und gut ist.

Beitrag automatisch zusammengeführt: 25.08.2021

Wenn man weniger Kabelsalat vom Server zum DAS haben will, bleibt wohl nur die NAS Option mit geringerer Bandbreite und höherer Latenz, oder?

PS: Gibt es irgendeinen logischen Grund warum die Gehäuse von Expansion Gehäuse von QNAP und Synology mit max 3.5" Bays kommen?

Latenz ist beim NAS auf jeden Fall höher.
Beim Read bekommt man aber in der Regel Linespeed hin. Also 1GByte/s sollte da bei 10GBE in jedem Fall gehen. Hängt viel vom RAID bzw. der Rechenpower ab.
Bei einfacheren RAIDs (non ZFS) bekommt man auch 25GBE ausgelastet.
Schreiben ist da ähnlich, mit Abstrichen.

Ansonsten, was willst du größeres als 3,5" einbauen. 5,25" HDDs wurden mal vor gut 20-25Jahren abgeschafft. Und selbst wenn du da welche findest, sind die klein, langsam und haben Schnittstellen aus dem letzten Jahrtausend.

 

[tackleberry]

Das 16 Bay QNAP wird mit knapp 100W angegeben. Bezieht sich die Angabe auf mit HDDs vollgepacktes Gehäuse oder ist das quasi nur die Hardware die da drin steckt?

Die Frage ist: willst du NUR viel Platz oder soll das auch Performant sein?

Platzsparend, gut gekühlt, leise, performant. Preis ist zweirangig. USB ist keine Option für mich. Ich will die vollen 270 MB/s der 18TB Exos oder WD Gold nutzen beim sequentiellen Lesen / Schreiben. Die HDDs sollen aber auch anständig gekühlt werden. Daher eben die Idee einfach ein Meshify 2 XL mit HDDs und SSDs vollzuknallen. Da gehen vor 3 Lüfter, oben 2 Lüfter, hinten 1 Lüfter und mindestens 16 HDDs sowie mindestens 6 U.2 SSDs rein. Wenn man noch irgendwie den Platz voll kriegt wo eigentlich das Mainboard ist, hat man ein richtiges High Density Gehäuse ;D

Hatte gerade auch noch das hier gefunden: https://www.serverbuilds.net/16-bay-das

Da nimmt jemand einfach ein normales PC NT und schließt die zwei Pins kurz, die sonst vom Mainboard beim Ein/Ausschalten genutzt werden. Habe ich auch schon beim Test das Wakü gemach aber im Dauereinsatz?

Ich habe aktuell 18 TB WD Gold und 18 TB Exos hier in einem Dark Base 900 und in einem Meshify 2 XL. Die WD sind in das Meshify gewandert weil mir die Zugriffe im Arbeits PC zu laut waren. Weder im Dark Base noch im Meshify höre ich aber ein Schwingen durch die Entkopplung. Ich habe absolut null Bock darauf, dass Schwingen der HDDs zu hören.

Hast du denn schonmal nen Stack HDDs gehabt?

Wie meinst das? Festplatten ohne Heliumfüllung tue ich mir nicht an. Wie gesagt die 18 TB Exos sind ok. Die 18 TB WD Gold gehen mir auf den Sack. Mit Entkopplung sind die Exos auch im Arbeitszimmer ok.


Ich habe nen Synology NAS 8x18TB im Rechnenzentrum mit dem ich öfter Arbeiten darf. Performance haut mich jetzt nicht vom Hocker. Vielleicht auch wegen SMB und weil das Ding nur mit 1 Gbit/s angebunden ist. Habe selbst aktuell nutzbare 10 Gbit/s Glasfaser daheim. So richtig Speed auf Remote Rechner (mit 10 Gbit/s Anbindung) kriege ich aber irgendwie eh nur mit Netcat unter Linux (so 5-6 Gbit/s...) aber das ist dann richtig Pain in the Ass per CMD...

Auch das Thema Vibrationen würde ich nicht all zu sehr priorisieren.

Also wenn da irgendwas (Gehäuse, Komponenten) durch die HDDs klappern würde, würde ich das Ding wieder verkaufen. Ich bin da extrem empfindlich. Rechner im Arbeitszimmer wird mit Mora3 gekühlt und das Straight Power 11 850W Platinum ist mir mittlerweile eigentlich zu laut. Spricht es macht ab 600W aus der Steckdose mehr Krach als die Noctua A20 auf dem Mora3.

Ich hatte auch noch ne 8 TB WD Red Plus hier rumliegen. Das Ding liegt mittlerweile in der Schublade als Cold Backup.

Beitrag automatisch zusammengeführt: 25.08.2021

Ansonsten, was willst du größeres als 3,5" einbauen. 5,25" HDDs wurden mal vor gut 20-25Jahren abgeschafft. Und selbst wenn du da welche findest, sind die klein, langsam und haben Schnittstellen aus dem letzten Jahrtausend.

Hatte mich verschrieben. Meinte warum es keine Gehäuse mit mehr als zwölf 3.5" Bays gibt.

*edit*

Sowas als Leergehäuse mit Entkopplung...

Selbst als Leergehäuse dürfte das Ding ja knapp 10.000 Euro kosten. Kann mir jemand erklären was an sowas so teuer ist?

*edit2*

Ok, sind wohl auch 2x 1600W PSUs dabei. Hier gibt es ein Review: https://www.itpro.co.uk/infrastructure/server-storage/358108/western-digital-ultrastar-data60

*edit3*

Das nenne ich mal Storage Porn

Ultrastar Data102 Hybrid Storage Platform | Western Digital

The Ultrastar Data102 hybrid storage platform is a key element of next-generation disaggregated storage and Software-Defined Storage (SDS) systems. The extremely dense form factor provides the flexibility to specify the HDD and SSD combinations for balancing capacity, performance, and cost. The...

www.westerndigital.com

Vielleicht wenn ich mir mal ne Wohnung mit eigenen Rechnenzentrum Zimmer anschaffe.

 

[Supaman]

Wenn man von 10-16 Laufwerken ausgeht, sehe ich bei Deinen Anforderungen als Hauptproblem die Lautstärke. Mit den verfügbaren Standard Komponenten wirst Du kein Speichermonster auf "flüsterleise" Niveau bauen können, da musst Du mit einer individuellen Handwerkslösung nachhelfen müssen.

Also z.B. eine stark gedämmte Holzbox mit Be- und Entlüftung auf indirektem Wege.

 

[deveth0]

Open Source Storage Server: 60 Hard Drives 480TB Storage

Get the details on Storage Pod 6.0 and learn how to build your own data storage server.

www.backblaze.com

Das doch auch schön...

 

[tackleberry]

Open Source Storage Server: 60 Hard Drives 480TB Storage

Get the details on Storage Pod 6.0 and learn how to build your own data storage server.

www.backblaze.com

Das doch auch schön...

Nice!

Habe gerade übrigens mal die Partlist durchgeguckt und bin darauf gestossen, dass so ne Backplane garnicht mal so teuer ist... Die Challenge bleibt dann aber wohl Kühlung und Lautstärke. Die WD Dinger statt als Rack als Tower mit Entkopplung und Platz für Noctua A20. Das wäre doch was. Irgendwelche Machinenbauer hier, die Lust auf Produktentwicklung und Kickstarter haben? Ich übernehme die Vermarktung! Target: Barebone Gehäuse um die 200 Euro für 60 Laufwerke und mit Platz für Noctua A20 als Lüfter.

HP SAS-Backplane ProLiant H1000 G6 - 508491-00A

Techbuyer hat sich zu einem weltweit führenden Anbieter von neuen und hochwertig überholten Servern, Speicher- und Netzwerkgeräten entwickelt.

www.techbuyer.com

Bei Backblaze frage ich mich aber immer ob die nichts für Strom und keine Miete zahlen weil die so viele Drives mit relativ kleiner Kapazität nutzen.

 

[deveth0]

Warum kleine Kapazität?

Hard Drive Failure Rates for Q1 2021

A look at the quarterly and lifetime failure rates of 175,443 drives, including a comparison of failure rates of HDD and SSD boot drives.

www.backblaze.com

die neuen Drives sind alle größere

 

[martingo]

Bei Backblaze frage ich mich aber immer ob die nichts für Strom und keine Miete zahlen weil die so viele Drives mit relativ kleiner Kapazität nutzen.

Der Artikel ist von April 2016

 

[tackleberry]

Warum kleine Kapazität?

Hard Drive Failure Rates for Q1 2021

A look at the quarterly and lifetime failure rates of 175,443 drives, including a comparison of failure rates of HDD and SSD boot drives.

www.backblaze.com

die neuen Drives sind alle größere

Bei den Abnahmemengen könnten Seagate und WD aber je 60 HDDs son 19" High Density Rack gratis dazu geben. Baut Backblaze immenoch seine eigenen Racks?

Wenn ich Backblaze wäre würde ich ein Bündel Glasfaserkabel von einer Grenzstadt in den USA in eine Grenzstadt in Mexiko legen und ein Rechenzentrum in Mexiko aufbauen. Dann kostet es auch nur noch einen Bruchteil wenn die 4 TB HDDs per Hand durch neue Modelle ausgetauscht werden müssen.


Da ich doch mittlerweile einige an Hardware habe, die auf ein Rack passen würde (Router, Switches etc.), wie sind denn die Qualitätsunterschiede bei Serverschränken so und dämmen die eher Lärm und verstärken die das Schwingen? Verringern die die Kühlleistung?

Beispiel nach 5 Minuten suchen: https://geizhals.eu/digitus-profess...e-serverschrank-dn-19-22u-6-8-1-a1941591.html

In offen sind die Dinger sogar in groß bezahlbar: https://geizhals.eu/intellinet-48he...-714419-a2003524.html?hloc=de&hloc=pl&hloc=uk

400 Euro für 2m Höhe? Billiger wird es auch bei Ikea nicht: https://geizhals.eu/intellinet-42he...-713030-a1175210.html?hloc=de&hloc=pl&hloc=uk

In hübsch gibt's die auch: https://geizhals.eu/digitus-profess...6-6-b-1-a1942497.html?hloc=de&hloc=pl&hloc=uk

Und nochmal in hübsch: https://geizhals.eu/logilink-canova...d42s68b-a1806372.html?hloc=de&hloc=pl&hloc=uk

Die Schränke von HP finde ich sogar ziemlich stylish: https://buy.hpe.com/us/en/rack-powe...d-shock-rack-with-side-panels-baying/p/P9K08A

Eigengewicht von 42 HE HP Schrank sind übrigens knapp 130 kg: https://www.steg-electronics.ch/de/...MIse7p04HP8gIVVODtCh1pygP7EAQYASABEgJQLPD_BwE

Mir gehen eh schon die ganze Zeit die blauen LED am Mikrotik Router und den Switches auf den Sack. Könnte man so nen Server schrank in die Wohnung stellen oder staut sich da drin die Hitze und es braucht nen Raum mit Klimaanlage?

Ich hätte jetzt nur etwas Schiss das die Sicherung in der Wohnung nicht mitmacht wenn ich alles an Hardware in so einen Schrank stopfe und an eine Steckdose anschließe. Wobei es wohl auch fraglich ist ob der Boden in der Wohnung dafür ausgelegt ist, wenn dann in so einem Schrank 250 kg Masse oder mehr dauerhaft auf eine relativ kleine Fläche drücken...

Wäre an sich auf ein netter Diebstahlschutz. Wer es schafft den Schrank aus der Wohnung zu tragen, hat sich die Hardware redlich verdient.

 

[Supaman]

Für das was Du vorhast, kannst Du die rein mechnische Halterung / Aufhängung machen wie Du lustig bist.

Spannend wird es bei Dämmung und Kühlung.

Zur Schallabsorption Du brauchst dicke, mehrschichtige Wände mit Masse und einen Innenraum, der möglich wenig Schall reflektiert, also z.B. mit Teppich oder so ausgekleidet. Als Belüftung brauchst du einen indirekten Luftweg (2x U Förmig), damit durch die Lüftungsöffnungen kein oder nur wenig Schall nach draussen kommt. Oder einen gedämmten Sonotec Abluftschlauch, den man mehrfach verwindet.

 

[tackleberry]

Für das was Du vorhast, kannst Du die rein mechnische Halterung / Aufhängung machen wie Du lustig bist.

Spannend wird es bei Dämmung und Kühlung.

Zur Schallabsorption Du brauchst dicke, mehrschichtige Wände mit Masse und einen Innenraum, der möglich wenig Schall reflektiert, also z.B. mit Teppich oder so ausgekleidet. Als Belüftung brauchst du einen indirekten Luftweg (2x U Förmig), damit durch die Lüftungsöffnungen kein oder nur wenig Schall nach draussen kommt. Oder einen gedämmten Sonotec Abluftschlauch, den man mehrfach verwindet.

Yoo, ärgere mich mittlerweile richtig, dass ich vor 1,5 Jahren nicht doch die Wohnung mit 6m² Abstellkammer genommen habe weil da nur 1 Gbit/s Kabel (mit 100 Mbit/s Upstream) und kein Glasfaseranschluss in der Wohnung gelegt war. FML. Mittlerweile würde sich das echt lohnen 5-10m² mehr zu haben für etwas Aufpreis. Am besten mit Fenster.

Könnte so viel Hitzeentwicklung (1000 - 2000 kWh) auf (einzelnen) kleinen Raum eigentlich irgendwelche Probeme bezüglich Raumhygiene im Zimmer / Wohnung (ein extrem warmes Zimmer vs. angrenzende kältere) verursachen? Also auch Schimmelbildung begünstigen oder wäre es sogar evtl. von Vorteil? Wenn mein Haupt-PC und der Server unter Volllast laufen zeigt der Stromzähler schon 1500 kWh und mehr an. Wenn der Router und Switch dann noch richtig ausgelastet sind, knacke ich sicher die 2000 kWh.

Ich finde auch, dass mein Arbeitszimmer etwas stinkt wenn CPU und GPU mehrere Stunden auf 100% Last gerendert haben (Wärmeabgabe über Mora3).


Wenn ich ein Haus hätte, hätte ich ne Mining Farm im Keller um Heizkosten zu sparen.