Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Hast Du je ein Rackgehäuse im Betrieb erlebt? JEDES Desktopgehäuse ist leiser! Der Vibrationslärm spielt bei einem Servergehäuse definitiv keinerlei Rolle, die Lüfter übertönen alles!
Ich sags nur ungern. Aber es wird von Anfang an am falschen Ende gespart.
Vernünftiges Gehäuse von Supermicro oder Chenbro für 36/24 HDDs oder auch für 44HDDs wenn es ein externes Storage Gehäuse wird.
Warte auf SAS 3.0 Produkte, vor allem wenn es extern per SAS angebunden werden sollte.
Wenn du schon ein funktionierendes System hast und eher ein Archiv anlegst mit Daten die nicht mehr geändert werden wieso machst du es dann nicht wie alle anderen (Firmen) auch und schreibst die Daten auf LTO-Bänder weg?
Nimm z.B. die fünf Kartons eines Library-Packs bei dem je 20 LTO-Bänder mit Barcode enthalten sind. Sind 100 Bänder, bei LTO5 z.B. mit je 1500GB unkomprimiert (die Laufwerkskomprimierung würde bei Multimediadaten nicht viel einsparen) und schreib die Daten verschlüsselt weg die du nicht im ständigen Zugriff benötigst. Macht mal schlappe 100 Bänder x 1,5TB = 150TB Speicherplatz! Bei einer MSL8096 (8HE 96Slots) passen sogar 96 Bänder rein.
Die kleinere 4048 (4HE, 48Slots) oder 2024 (2HE, 24 Slots). würden ggf. auch reichen wenn du von Zeit zu Zeit die Bänder auslagerst. Wennst die Library gebraucht vom Händler kaufst wärst mit genügend Bändern noch in deinem Budget und brauchst nur günstige Tapes nachkaufen.
Sodele, langsam nähert sich das Konto dem Bereich das bald die Hardware bestellt werden kann, in der Zwischenzeit habe ich mich weiter mit den Details beschäftigt.
Das mit den Tapes als Backup wäre etwas was ich mir überlegen würde ... wobei ein Autoloader System wie das MSL4048 mit 5500 Euro (Refurbished) dann eher nicht in Frage käme. Es geht hier "nur" um meine Hobbydaten und der Lottogewinn steht noch aus
Aus dem gleichen Grund wird es halt auch kein Supermicro oder Chenbro Gehäuse werden, aber wenigstens auch nicht das billige Norco.
Beim Gehäuse schwanke ich noch zwischen dem Ri-vier 4U 24bay(No SGPIO) - RV4324-03A für 450€ und dem X-Case RM 424 -Pro für 665€ - wobei letzteres in den Videos des Herstellers recht gut aussieht (sprich nicht frickelig wie ein Norco).
Beim Mainboard wechsel ich wohl zum Supermicro X10SL7-F, es ist günstiger als das Asus und spart dank Onboard 8x LSI einen M1015 ein, zudem ist auch IPMI dabei. Das Asus bietet zwar auch "Onboard" 8x LSI und IPMI aber nur gegen Aufpreismodule.
Die derzeitige Hardwareliste schaut dann so aus:
Code:
Gehäuse: Ri-vier 4U 24bay(No SGPIO) - RV4324-03A 450€
oder X-Case RM 424 -Pro 665€
Netzteil: unterstützt "Haswell" C6/C7 Low-Power States 100€
be quiet! Straight Power E9-CM 580W
Mobo: Supermicro X10SL7-F (spart 1x M1015) 235€
braucht 2x 3ware CBL-SFF8087OCR-06M 30€
CPU: Intel Xeon E3-1230V3, 4x 3.20GHz, Sockel-1150 210€
RAM: 32GB Kingston KVR16E11K4/32 315€
Controller: 2x IBM ServeRAID M1015 250€
4x SFF-8087 to SFF-8087 Internal Multilane SAS Cable. L=50 oder 60cm 50€
HDDs: Seagate NAS HDD 4TB, SATA 6Gb/s (ST4000VN000) 160€
Western Digital WD Red 4TB 160€
Barebone ohne Festplatten mit Ri-Vier 1640€
mit X-Case 1840€
Festplatten 18x 4TB 2880€
24x 4TB (96 TB Raw) 3840€
Komplett Vollausstattung 24x 4TB 5495/5695€
3/4 HDD 4535/4735€
eventuell zusätzlich Thermalright HR-02 Macho 120 (100700718) 35€
oder Thermalright True Spirit 120 M 26€
Der CPU Kühler ist optional, da werde ich abwarten wie laut der Boxkühler im Betreib ist im Vergleich zum Rest des Systems.
Im Vollausbau stecken im NAS dann 96TB Raw Storage. Bei Nutzung von vier RaidZ2 in 4+2 Konfiguration ergibt sich dann grob 58,4 TB Usable Storage (laut Raid Calculator | Raid Disk Space Utilization Calculator | ServeTheHome ). Würde ich aber eine "nicht optimale" Konfiguration von drei RaidZ2 in 6+2 Konfiguration nehmen wäre es 65,4 TB Usable Storage, ein sattes Plus von 7 TB.
Gibt es da aktuellere Benchmarks suboptimaler RaidZ2? Die letzten die ich kenne sind von Sub.Mesa aus dem Hardforum von 2010. Damals als die WD Greens mit AF gerade rauskamen ... Probleme wie ASHIFT=9, Festplatten die über ihre Sektorengröße lügen etc.
Wenn die Performance nicht zu sehr leidet dann würde ich mit dem "suboptimalen" Setup fahren. Hier ist die normale Übertragung über 1Gb/s Netzwerk eh kein Problem, es geht eher um scrubbing/resilvering Performance.
die Konfiguration von bluesunset würde ich auch unterstützen. ich hatte mir mal überlegt je 10 Platten mit Raidz2 zu fahren. Ich denke das sollte für 10 Platten noch ausreichend sein. z3 ist natürlich nochmal sicherer.
DocSilly, hab das RM 424 Pro und werde Ri-Vier in den nächsten Tagen einen Besuch abstatten (allerdings wegen 2u Gehäuse). Stand vor der gleichen Entscheidung.
Das RM 424 Pro ist ganz gut, mein erstes Rack-Gehäuse, daher kann ich es nicht vergleichen. Solide, die Leuchte eines Caddies ist etwas schwach, und die Bestellung war ein echtes Abenteuer (kann aber Einzelfall sein).
Ich musste meine drei M1015 allerdings mit einem aufgelegten 140mm Lüfter kühlen, sonst wurden die zu heiss. Lasse die Lüfter des Gehäuses auch nur auf Medium laufen. Das ich ein X9SRL-F mit E5 1620 habe, musste ich auch zwei 60mm Lüfter hinten einbauen, da sich die Wärme hinterm CPU Lüfter etwas staute.
Mit um die 1200 Euro wäre das eine Backup-Lösung die ich mir näher anschauen würde. Mit LTO3 (400GB unkomprimiert) würde ich momentan aber bei 20TB Daten immerhin 40 Tapes brauchen ... mit LTO4 wären es nur noch 20 Bänder ... bei LTO5 wären 14 Bänder notwendig ... aber das sollte dann in einem eigenen Backup Thread diskutiert werden.
Zu zwei RaidZ3 a 11 Platten, die Usable Storage Werte vom Raid-Rechner sind mit 58,2 TB dann vergleichbar mit der Konfiguration von vier mal RaidZ2 in 4+2 Konfig von 58,4 TB, wobei bei letzterer ein Resilvering schneller durchlaufen dürfte. Hotspares sind nicht zwingend notwendig da es auch Coldspares tun für meine Bedürfnisse.
Ich glaub wohl nicht das man jemanden findet der das mal kurz testen würde? Mal "fix" mit 20 TB Nutzdaten, Resilvering Vergleich von zwei RaidZ3 8+3 vs. vier RaidZ2 4+2 vs. drei RaidZ2 6+2
connorxxl
Wenn du die Gelegenheit hättest beim Besuch auch mal einen Blick auf das Ri-Vier 4u zu werfen? Damit wärest du einer der ersten der einen Vergleich der beiden Gehäuse zumindest ansatzweise liefern könnte. Alleine schon ein erster Eindruck würde mich interessieren, ich bin mir bewusst das ein ausführlicher Vergleich nicht möglich ist.
Von der Problematik der sehr warm werdenden M1015 (und onboard SAS) hab ich auch schon gehört. Ich hoffe ohne 60mm Lüfter hinten auszukommen, notfalls mit dem optionalen Towerlüfter (oder Top-Blow ...). Hast du vielleicht auch Bilder von deinem Mainboard/Lüftern?
Die nutzbare Kapazität ist bei beiden Raidsets gleich. Ein Resilvering bei weniger Platten geht natürlich schneller vonstatten. Problem dürfte halt nur sein wenn dies erst nach ein paar Jahren nötig ist bzw. wenn du die Daten dann auf ein neues Raid umziehen willst.
Auch wird dir eines der vier Raid6 Arrays wohl mehr voll sein als die anderen und ZFS kopiert nur benötigte Sektoren.
Die kleine 24 Slot Library ist ein Restposten (neu, unbenutzt und in OVP) mit den normal freigeschalteten 12 Slots und einem FH LTO3 Laufwerk. Ansonsten kostet dich das Gehäuse neu um die 5-6k Euro mit LTO4 oder schon LTO5 Laufwerk. LTO6 Laufwerke sind noch etwas teurer.
Eine gute Frage, beide bieten SGPIO welches aber nur interessant ist in Verbindung mit einer RAID-Karte die das unterstützt. In einem ZFS-Server nimmt man aber Karten ohne RAID-Funktionen in IT-Mode geflashed. Dort bringt einem also das Feature SGPIO nichts.
Das SGPIO Ri-Vier ist mit 525 € (inkl. Versand) immer noch rund 140€ günstiger als das X-Case ... aber auch 75€ teurer als Ri-Vier ohne SGPIO. Ohne einen Hands-On Vergleich kann man nicht sagen ob das X-Case den Aufpreis Wert ist oder nicht bzw. ob das Ri-Vier besser ist als die noch günstigeren Norco / Intertech.
Auf der Ri-Vier Seite gibt es auch einen Hinweis auf ein neues 4U 24x 3,5" Rack, das Ri-vier 4U 24bay SAS/SATA storage chassis - RVS4-06A soll im Februar kommen. Es ist günstiger als das RV4324-03A , inkl. Versand 350€ aber dafür anscheinend ohne Hotswap.
Mal den ganzen Hardware Kram beiseite: Für was braucht man privat 60TB Platz ?
Die Frage ist durchaus ernst gemeint, denn ich selbst erzeuge massig an Daten durch Foto und Video....aber von den avisierten 60TB bin ich selbst in 600 Jahren weit entfernt.
Gruß,
_xymos.
Edit: Wer lesen kann, ist klar im Vorteil. Videos...alles klar
Die leute, welche >6 tb wollen nutzen den platz für blueray backups, 1080p mkv's, serien ..... ansonsten würde man nie auf den bedarf kommen .... und kommt mir nun nicht mit privat videos oder tv aufzeichnungen ....
Mal den ganzen Hardware Kram beiseite: Für was braucht man privat 60TB Platz ?
Die Frage ist durchaus ernst gemeint, denn ich selbst erzeuge massig an Daten durch Foto und Video....aber von den avisierten 60TB bin ich selbst in 600 Jahren weit entfernt.
Die leute, welche >6 tb wollen nutzen den platz für blueray backups, 1080p mkv's, serien ..... ansonsten würde man nie auf den bedarf kommen .... und kommt mir nun nicht mit privat videos oder tv aufzeichnungen ....
Ich kann da nur fuer mich sprechen, als leidenschaftlicher Musiksammler mit ~2000CDs die auch verlustlos fuer den Unterwegs/Buerozugriff auf dem Server liegen, kommen alleine ca. 6TB zusammen. Als Hobbyfotograf kommen auch pro Jahr zwischen 100 und 500GB an Photos hinzu. Daneben arbeite ich beruflich an Simulationen und das auch der Familie wegen gerne von zu Hause, so dass dafuer schonmal schnell ein Zwischenspeicher von O(10TB) gebraucht wird. Ein paar TB gehen auch noch fuer die Gegenseitigen Familienbackups drauf, wobei sich dies aufgrund der Clientseitigenverschluesselung nicht sinnvoll deduplizieren laesst.
Nur weil man selbst keine Einsatzzweck dafuer sieht, heisst es noch lange nicht, dass andere ihn nicht haben.
So, irgendjemand hatte nach Bildern gefragt. Bin leider bisher nicht dazu gekommen, mir das Ri-Vier anzuschauen, hoffe, ich schaffe das in den nächsten Zwei Wochen...
ja, der Lüfter liegt einfach drauf. Ich hatte ein paar Abstürze mit OmniOS, und dachte mir, dass die M1015 vielleicht zu heiss werden. Zumindest derzeit keine Abstürze mehr (einen vor ein paar Wochen mit Lüfter auf den M1015, muss mir das nochmal näher anschauen).
Habe leider noch keine saubere Lösung gefunden zum Kühlen der M1015 und einem Intel 10gbit Adapter. Am liebsten wäre mir eine Halterung, bei der der Lüfter vor den M1015 steht, d.h. der Lüfter bläst die Luft über die Karten nach draussen. Leider habe ich keine Werkstatt oder so zur Verfügung, um mir sowas zu bauen (kann man ja an den Erweiterungsslots festmachen).
Gruss,
Chris
PS: Coole Konfiguration ESX1, sieht bei mir fast identisch aus!
sollten die 3 lüfter in der mitte nicht genugend durchzug erzeugen zur kühlung der controller ... schon mit geschlossenem gehäuse probiert oder nur offen?
Naja, bei mir werkeln auch 3x 120erLüfter hinter der Backplane, für den Einsatz in einem Homegerät natürlich nicht die Lautesten und damit Stärksten. Daher kommt nicht sooo viel Durchzug am Controller an.
Meine 3 M1015 kann ich kaum noch anfassen ohne mir hinterher die Fingerspitzen zu pusten ;-)
Die passive 10GbitNIC heizt auch ganz schön bei mir. Habe aber bisher die Slots so belegt, das immer ein PCIe frei bleibt, die Kontroller stecken also nicht dicht an dicht.
Trotzdem, zusätzliche (leise) Kühlung wäre schon nett.
Bei mir stehen sie dicht an dicht, da die M1015 ja immer PCIe x8 brauchen. Vielleicht mal umstecken... x4 sollte ja auch reichen bei normalen SATA Platten, oder?
Die drei Lüfter in der Mitte sind schon kräftig, aber auch bei voller Lautstärke sehr laut. Leider bietet das Supermicro Lüftermanagement ja nicht so viele Einstellungen. Wenn man da feiner regeln könnte, wäre vielleicht auch der Lüfter auf den M1015 nicht nötig. Bei vollen Lüftergeschwindigkeit reicht der Luftzug zur Kühlung definitiv aus.
Vielleicht finde ich jemanden, der mir so eine Lüfterhalterung baut. Kann ja nicht so schwer sein.
Problem bei mir ist auch eher, dass die CPU gut wärmt, d.h. hinter dem CPU Kühler entsteht ein kleiner Hitzestau. Mit den beiden 60mm Lüftern ist es schon besser, aber nicht optimal. Ich benutze den Supermicro CPU Kühler (SNK-P0050AP4 glaub ich), der ich im Leerlauf ganz ok, aber dreht eben hoch. Den Noctua, den ich gekauft hatte, hat nicht gepasst (zu hoch), und dann wollte ich auf Nummer sicher gehen. Welchen CPU Lüfter hast Du drin, millenniumpilot?
als CPU-Kühler habe ich das selbe Modell, bin zufrieden damit. Für die M1015 reichen auch die x4-Slots, habe ja nur 7200er SATA-Platten und keine SSDs dran. Lieber so als das eventuell die Kontroller abfackeln.
Es gab da mal von Scythe den Kama Stay, ein Rahmen den man an einem PCI Slot befestigt und an dem man Lüfter (und Festplatten) befestigen kann. Leider wird der nicht mehr gebaut. Da bleibt wohl wirklich nur noch "do it yourself" als Option.
connorxxl
Ich hab noch ein wenig Zeit um auf deinen Ri-Vier Besuch warten zu können auch wenn mich langsam die Bastellaune packt.
Ja, das mit der Halterung von Scythe is schade. Sowas hätte gepasst. Wobei mich der Lüfter auf den Controllern nicht wirklich stört. Werde den Server bald in ein Lackrack umziehen, dann werde ich mal die Controller umstecken, sodass da mehr Luft dazwischen ist. Die sind aber mit dem Lüfter drauf relativ kühl, auch der Intel T540 wird nur warm. Der Lüfter bläst die Luft auch nach oben, nicht optimal.
Sorry wegen dem Ri-Bier Besuch, ich versuche das nächste Woche spätestens Freitag zu machen. Bin ja auch neugierig, interessiere mich aber hauptsächlich für die 2U Gehäuse, bin da auf der Suche nach was günstigem, für meinen ESXi ohne irgendwelchen Storage.
