ZFS Server: Hardware Überlegungen

[gea]

möglicherweise könntet ihr ja noch was zur Grundidee (erster Eintrag) sagen, denn da gings ja zunächst einmal darum "preiswert" ein solches System zu erstellen, und zwar mit dual-socket 1366. Ist wohl garnicht so lange her, dass einige von euch selber solche Systeme hatten und sich vielleicht noch erinnern können, dass die Leistungsunterschiede zu den aktuellen gar nicht so groß sind, oder?
Es geht hier in nicht ein ALL-IN-ONE, auch wenn das meiner Meinung nach mit den vorgeschlagenen CPUs möglich wäre. Es ging darum einen preiswerten privaten ZFS-Rechner (für in unserem Fall, zwei Esxi Rechner (core i7-920) mit momentan 18VM) zu erstellen, der weiterhin aufrüstbar und trotzdem günstiger als Sockel 1155 ist.

Ciao,
david

Gegen die Hardware spricht garnichts.
@Home ist das ein sehr günstiger Weg (CPU brauchen halt relative viel Strom)

 

[hominidae]

@HOMINIDAE, halt uns mal auf dem laufenden, so ein System käme möglicherweise ja auch in Frage. (immerhin aufrüstbar)

...so, mein "Server" auf Desktop-Board Basis hat den ersten Test bestanden.
- board: ASUS M5A78L-M/USB3 (habe es gewählt weil USB3.0 und 4x Memory Slots)
- CPU: Opteron 3350HE (45W TDP, SAM3+)
- RAM: kingston 2x 2GB ECC UDIM DDR3-1333
- NT: Corsair CX430

...Das Bord meldet den Prozessor korrekt (obwohl ASUS mir auf Anfrage mitteilte - es sind grundsätzlich keine Opteron 3300 in der CPU Liste der Am3+ Boards bei ASUS - das diese CPUs offiziell nicht unterstüzt werden.
Das es doch geht hatte ich aber vermutet, weil es ein Review im Netz mit nem ASUS und 3380er CPU gibt.

...das ECC RAM wird auch erkannt. BIOS und memtest86+ melden beide ECC mode ON

Also, etwas Server-Grade geht doch
Preis: mobo 55EUR, CPU 115EUR ...nicht ohne, zumal der kleine schon AES kann...Truecrypt Benchmark meldet 1.4GB/sec bei encode/decode

---------- Post added at 19:18 ---------- Previous post was at 19:00 ----------

...Stromverbrauch ist etwas hoch.
BIOS Einstellungen auf AUTO, Cool&Quiet AN, LPT, COM, HD-Audio und USB3.0 AUS.
Win7-64 HP, 1x SSD, CPU-Lüfter auf Standard.

..im idle: 39W
...load (Truecrypt) 80W.
Hmmm...wenn die CPU 45W TDP hat, dann wird der chipsatz wohl dafür verantwortlich sein....evtl die dort eingebettete Graka (HD3000).

...vielleicht gibt es ja noch andere Boards.
Bei ASROCK wurde mir auf Anfrage gesagt, dass KEIN AM3+ Board ECC kann...mal gucken.

 

[brigadeleiter]

- board: ASUS M5A78L-M/USB3
- CPU: Opteron 3350HE (45W TDP, SAM3+)
- RAM: kingston 2x 2GB ECC UDIM DDR3-1333
- NT: Corsair CX430

geht aber auch nur bis 32GB, dafür aber sehr günstig, mit ECC.

ich hätte mehr pcie slots genommen, müssen ja noch hdd-controller und intel-netzerkkarten drauf.
Ciao,
david

 

[hominidae]

ja, 32GB liegt am Sockel...mehr geht nicht.

Ich habe das ASUS genommen weil ECC in den Specs, USB3.0 (System-Installation, dann noch 6x SATA frei), 6xSATA, 4xDIMM und weil es schnell verfügbar war.
Ich werde noch drei weitere solche kleine Server brauchen, davon braucht nur einer mehr als die 6 Disks.
Es gibt eines von Gigabyte mit etwas mehr Slots (1x PCIe-x16, 4x PCIe-x1) das laut Specs auch ECC kann...aber nur zwei DIMM slots...mal gucken...Gigabyte GA-780T-D3L Rev. 3.1, 760G (dual PC3-10667U DDR3) Preisvergleich | Geizhals Deutschland

 

[brigadeleiter]

Gegen die Hardware spricht garnichts.
@Home ist das ein sehr günstiger Weg (CPU brauchen halt relative viel Strom)

XEON L5520, TDP 60W, VT-d, Quad+HT

das soll ein stromfresser sein?

 

[LichtiF]

Ja das Problem ist das alle AM3+ Boards halt die Großen FX 8xxx unterstützen müssen deswegen die alle mehr Strom verbrauchen als zb vergleichbare Intel 1155 Sockel Boards.

Ich bin auch gerade dabei mir ein Homelab zu planen aber die ganzen Servergehäuse mit Netzteil für Dual Sockel Systeme sind zu laut für mein Büro oder zu teuer muss mal schauen ob ich da was passendes finde an normalen Netzteilen die dual Sockel Anschlüsse haben.

 

[gea]

XEON L5520, TDP 60W, VT-d, Quad+HT

das soll ein stromfresser sein?

Ich hatte das L übersehen.
übrigens, siehe dazu Single and Dual Intel Xeon L5520 v. Cloud Benchmarks - Value RecyclingServeTheHome – Server and Workstation Reviews

 

[brigadeleiter]

hat zufällig jemdand das Supermicro H8SCM-F

leider scheint das mit openindiana nicht so recht zu funktioneren...
Server im Online-Shop konfigurieren und online kaufen [Testprotokoll] Thomas-Krenn.AG
mit oracle 11 aber schon
Server im Online-Shop konfigurieren und online kaufen [Testprotokoll] Thomas-Krenn.AG

wie darf man das verstehen?

 

[hominidae]

Hmmm...laut Specs von SM hat das H8SCM-F die gleichen on-board Controller wie mein X8SIL-F und mein X7SPA-HF(-D510).
Die laufen einwandfrei unter OI, Solaris, ESXi....

 

[-INU-]

Wie kommst du auf 65TB? Bei mir sind 6x3x4TB über 70,

Dachte die RAIDs werden pro vdev erstellt, also 4x4TB im RAIDZ = 10,9TB Netto und das x 6 sind ~65TB.

EDIT: Habe mir noch überlegt statt der 4TB Platten auf 3TB 7200K Platten zu wechseln und dann 6 vdevs zu je 8 Platten im RAIDZ2 oder eben 4 vdevs aus je 8 4TB Platten im RAIDZ2. Wobei mir das auch langsam zu teuer wird, allein die Festplatten kostet jetzt so viel wie ich für den ganzen Server kalkuliert habe
Werde mir wohl erstmal ein Testsystem für ZFS aufbauen und das ganze dann nochmal überdenken, wo und was man einsparen könnte.

 

[ludwinator]

Testen ist auf jeden Fall gut, vor allem kannst du dann gleich mal ein Gefühl dafür entwickeln, wie gut LZ4 mit deinen Daten funktioniert und wieviel Platz du dann tatsächlich brauchst. Grundsätzlich dürften aber die Kosten pro TB bei 4TB Platten niedriger sein als bei 3TB.

cu

 

[GrafikTreiber]

Habe den Thread nur mal überflogen und bin etwas geschockt das keiner folgendes anspricht: Sockel 1366 ist von 2008 und lange überholt, ich würde auf gar keinen Fall heut-zu-tage noch solche Steinzeit-Hardware einkaufen. Wenn du viel Ram benötigst, nimm ein Sockel 2011 System, du kannst mit folgender Hardware 256GB auf ein Single-Socket-System bringen, wenn das nicht reicht weiß ich auch nicht.
1x Supermicro X9SRL-F retail, C602 (Sockel-2011, dual PC3-12800R reg ECC DDR3) (MBD-X9SRL-F-O)
1x Intel Xeon E5-1620, 4x 3.60GHz, Sockel-2011, tray (CM8062101038606)
1x Supermicro SNK-P0050AP4 (spezieller Kühler, andere funktionieren nicht! Das Mainboard hat Narrow-ILM und keine Square-ILM!)
8x Kingston ValueRAM DIMM 8GB PC3-12800R reg ECC CL11 (DDR3-1600) (KVR1600D3D4R11S/8G)

Das wäre eine 64GB Konfiguration, wenn du mehr benötigst mach daraus 16GB oder 32GB-Riegel, damit wären dann 128 bzw 256GB möglich.

Unabhängig davon, ich denke wie die anderen Leute auch dass für dein Vorhaben 32GB oder auch schon 16GB mehr als ausreichend sind.

 

[brigadeleiter]

.... nur mal überflogen ....

das trifft es wohl ganz gut ;-)
in INU´s fall bin ich deiner meinung, das was er vor hat ist was für sockel 2011.
in meinem fall, sind aber auch die kosten zu berücksichtigen (steht schon weiter vorne). geld in ein plattform reinzustecken, die bei 32gb ram zu ende ist, halte ich persönlich für rausgeworfen, wenn ältere/andere plattformen a) günstiger ist und b)flexibler sind. es mag sein dass in unserem fall der ram nicht ausgeschöpft wird, aber angenommen wir würden eines tages all-in-one oder was anderes machen wollen und müssten dafür schon wieder einen grösseren betrag in neue hardware stecken, weil die alte nicht ausreicht oder ausbaufähig ist, dann ist das mist. ausserdem ist die 1366-plattform nicht nur unschlagbar günstig, sondern auch noch schnell genug, für das was wir im moment vorhaben. die amd-opteron geschichte ist aber auch sehr interessant da aufrüstbar & günstiger, wenn auch nicht schneller als sockel 1155+xeon v2. von daher würde ich die auch noch bevorzugen.
da all-on-one noch kein thema, ABER schon verlockend ist, frage ich mal in die runde: wie viele v-maschinen würdet ihr dem jeweiligen System zusätzlich zum omnios zutrauen?

a) + 1x CPU und mehr Ram möglich

1 x Intel Xeon DP L5520, 4x 2.26GHz, Sockel-1366, boxed (BX80602L5520)
4 x Kingston ValueRAM Hynix DIMM 8GB PC3L-10667R reg ECC CL9 (DDR3L-1333) (KVR13LR9S4/8HA)
1 x Supermicro X8DTi-F, i5520 (dual Sockel-1366, triple PC3-10667R reg ECC DDR3)

b) grössere cpu möglich

1 x Intel Xeon E3-1230V2, 4x 3.30GHz, Sockel-1155, boxed (BX80637E31230V2)
4 x Kingston ValueRAM DIMM 8GB PC3-10667E ECC CL9 (DDR3-1333) (KVR1333D3E9S/8G)
1 x Supermicro X9SCL+-F retail, C202 (Sockel-1155, dual PC3-12800E DDR3) (MBD-X9SCL+-F-O)

c) mehr Ram möglich, 8-core möglich

1 x AMD Opteron 4226, 6x 2.70GHz, Sockel-C32, boxed (OS4226WLU6KGUWOF)
2 x Samsung DIMM 16GB PC3-10667R reg ECC CL11-11-11 (DDR3-1333) (M393B2G70BH0-CH9)
1 x Supermicro H8SCM-F bulk, AMD SR5650 (Sockel-C32, dual PC3-10667R reg ECC DDR3)

gn8,
david

 

[GrafikTreiber]

ausserdem ist die 1366-plattform nicht nur unschlagbar günstig, sondern auch noch schnell genug, für das was wir im moment vorhaben.

Die Preise hast du aber schon mal verglichen, oder? Der Ram kostet für beide Plattformen das selbe, so fern man die selbe Leistungsklasse verwendet. Also vergleichen wir mal CPU und Mainboard.

1x Intel Xeon DP L5520, 4x 2.26GHz, Sockel-1366, boxed (BX80602L5520) ca. 480€
1x Supermicro X8DTi-F, i5520 (dual Sockel-1366, triple PC3-10667R reg ECC DDR3) ca. 330€.
= ca. 810€.
Passmark-Leistung: 4347
810€ für 4 Jahre alte Hardware die wahrscheinlich schon seit langem irgendwo auf Lager liegt weil sie kaum noch produziert wird.

1x Supermicro X9SRL-F retail, C602 (Sockel-2011, dual PC3-12800R reg ECC DDR3) (MBD-X9SRL-F-O) ca. 290€
1x Intel Xeon E5-1620, 4x 3.60GHz, Sockel-2011, tray (CM8062101038606) ca. 270€
= ca. 560€.
Passmark-Leistung: 9139 ( MEHR ALS DAS DOPPELTE!)

Wenn du an die Leistung von des E5-1620 auf Sockel 2011 beim Sockel 1366 heran kommen wollen würdest müsstet du noch mal 480€ drauf legen, das wären dann also 1290€ gegen 560€, fällt dir hier etwas auf?
Es sei denn du sprichst von gebrauchter Hardware. Aber selbst da dürfte es nicht wirklich wirtschaftlich sein, für bereits veraltete gebrauchte Hardware dass selbe wie für eine Neuanschaffung zu bezahlen.
Das schlimme ist, das 1366 System wäre trotzdem noch viel langsamer und stromhungriger!
E5-1620 Passmark-Leistung: 9139 vs L5520 Passmark-Leistung: 4347 * 2 = 8694.

 

[brigadeleiter]

Die Preise hast du aber schon mal verglichen, oder? Der Ram kostet für beide Plattformen das selbe, so fern man die selbe Leistungsklasse verwendet. Also vergleichen wir mal CPU und Mainboard.

JA

1x Intel Xeon DP L5520, 4x 2.26GHz, Sockel-1366, boxed (BX80602L5520) ca. 70€
1x Supermicro X8DTi-F, i5520 (dual Sockel-1366, triple PC3-10667R reg ECC DDR3) ca. 150€.
= ca. 220€.

sind Gebrauchtpreise (siehe Post #1), von Händlern mit Gewährleistung. ich hatte das gestern Nacht nur ausm Preisvergleich rausgezogen, damits übersichtlicher aussieht, ausserdem sieht man ja, das die Hardware heute noch verfügbar ist, es also noch eine Zeitlang Ersatz geben sollte.

edit: unsere beiden esxi server laufen auch noch auf sockel 1366 (core i7, 920 +24gb ram verbunden auf zfs-nfs), ok stromverbrauch ist ein wohl problem, aber deswegen stehen die rechner ja auch nicht mehr im haus, sondern im rechenzentrum)

und der L5520 hat ja nur 80W

Ciao,
david

 

[LichtiF]

Ja Gebraucht sind die System günstig zu bekommen will mir sowas eigentlich auch zu legen aber ich bin gerade am zweifeln ob das wirklich was für mich ist alleine schon wegen Stromverbrauch, Gehäuse und Netzteil.

Ich muss sowas bei mir im Büro unterbringen und da muss das Leise sein sonst streicht mir meine Finanzministerin die Mittel

 

[-INU-]

Der von mit genannte L5630 hat gerade mal 40w TDP, da sollte sich der Verbrauch doch sich in grenzen halten.

 

[GrafikTreiber]

sind Gebrauchtpreise (siehe Post #1), von Händlern mit Gewährleistung. ich hatte das gestern Nacht nur ausm Preisvergleich rausgezogen, damits übersichtlicher aussieht, ausserdem sieht man ja, das die Hardware heute noch verfügbar ist, es also noch eine Zeitlang Ersatz geben sollte.

Naja, also ich halte nichts davon 4 Jahre alte Hardware zu kaufen, da muss der Preis dann wirklich das oberste Kriterium sein. Hardware lebt nicht unendlich. Mit gebrauchter Hardware sind Defekte schneller da als mit neuer Hardware. Außerdem ist es immer nervig wenn die Hardware dann vielleicht doch schon irgendwelche Macken hat, bei neuer Ware sagt man einfach "gib mir ein neues", bei Gebrauchtware hat der Händler vielleicht gar kein anderes mehr vorhanden.

Ich kann dir aus Erfahrung sagen dass man mit Gebraucht-Hardware wesentlich öfter nervige Probleme und Umtausch-Aktionen hat als mit Neuware. Je nachdem wie du deine eigene Arbeitszeit berechnest kann dass dann also schnell mal teurer werden als eine Anschaffung von neuer Hardware. Oder wie mein alter Chef immer zu sagen pflegte: Wer billig kauft, kauft zwei mal.

edit: unsere beiden esxi server laufen auch noch auf sockel 1366 (core i7, 920 +24gb ram verbunden auf zfs-nfs), ok stromverbrauch ist ein wohl problem, aber deswegen stehen die rechner ja auch nicht mehr im haus, sondern im rechenzentrum)

Was hat der Stromverbrauch mit dem Standort zu tun? Auch im Rechenzentrum bezahlt man nach Stromverbrauch, bei Hetzner bei einem 1HE-Server z.B. pro Watt 35,70 Cent.

und der L5520 hat ja nur 80W

Hihi, genau darauf habe ich gewartet.
Sockel 2011 hat viele Funktionen des Chipsatzes direkt in der CPU so dass die TDP des Chipsatzes niedriger ist und dafür die TDP der CPU höher ist. Kannst du also so nicht miteinander vergleichen. Außerdem ist die TDP eine Zahl unter Vollast und sagt nichts über den Idle-Verbrauch aus. Wenn du den E5-1620 genau so niedrig taktest wie den L5520 verbraucht mit Sicherheit weit aus weniger Strom als der L5520. Die Bauteile auf dem Mainboard wie Spannungswandler, Netzwerkkarten, IPMI-Modul... werden auch wesentlich mehr verbrauchen.

Die Gebrauchtpreise sind ganz interessant, das kommt dann ja sogar rein hin, halbe Leistung im Vergleich zum neuen 2011er, halber Preis. Allerdings vergisst du eine Sache: Für volle Ram-Bestückung musst du auch zwei CPUs drauf setzen, und selbst dass sind dann imme rnoch nur maximal 192GB. Beim 2011er hast du mit einer CPU 256GB. Außerdem bin ich mir nicht ganz sicher ob das Board überhaupt mit einer CPU läuft. "Früher" war das nämlich so. Habe damit keine Erfahrung weil sich für mich auch noch nie die Frage stellte, wenn ich Multi-Sockel-Motherboards verbaue/verkaufe dann auch gleich mit mehreren CPUs, kein normaler Kunde denkt sich "da kann ich ja später nochmal was kaufen", das lohnt sich in der Regel nie, weil "später" gibt es dann schon wieder einen neuen Sockel.

Der von mit genannte L5630 hat gerade mal 40w TDP, da sollte sich der Verbrauch doch sich in grenzen halten.

Ich bin mir sicher dass wenn man den E5-1620 auf die selbe Leistungsfähigkeit untertaktet er sogar noch weniger Strom verbraucht als der L5630.
TDP ist immer nur der Stromverbrauch unter Volllast und eignet sich für solche Vergleiche überhaupt nicht. Man muss nicht die TDP vergleichen sondern den Gesamt-Stromverbrauch pro Aufgabe, z.B. Encoden einer BluRay oder Entpacken von einem bestimmten Archiv usw. Die neue Hardware wird dabei eigentlich immer effizienter sein. Also, wie schon gesagt: Mit der TDP allein kann man hier keine Vergleiche anstellen, das ist nicht hilfreich. Wenn du einen Autovergleich haben willst: Ein 80PS Motor von 1970 verbraucht bei selber Geschwindkeit für die selbe Strecke weitaus mehr Treibstoff als ein moderner 80PS Motor von 2012.

 

[brigadeleiter]

hier habe ich möglicherweise für den einen oder anderen auch noch eine preisgünstige alternative

DELL Precision 690 Workstation Intel XEON Quad-Core E5320 4 x 1,86 GHz

incl. LSI 1068 SAS/SATA 3.0 Gb/s
bis 32gb fb ecc ddr2

bei uns wird weiter gespart, aber an der falschen stelle wie ich denke.

es soll nun ein alter free-esxi (core i7 920, 24gb ram, intel nic) als zfs Rechner hergenommen werden. der ersatz für den alten esxi soll aber auch wieder nur aus Desktop Komponenten gebastelt werden (xeon v2/v3, 32gb ram, 1155/1150 board).

schade eigentlich..

Ciao,
david

 

[rushman]

Mit dem LSI 1068 muss man aufpassen. Soweit ich weiss kann der nur mit HDDs bis 2 TB umgehen.

 

[Fragman]

Der gebrauchte Dell Prescision 690 ist leider keine gute Empfehlung. Der E5320 basiert noch auf der Core 2 Technologie. Der FB DIMM RAM braucht sehr viel Strom und wird sehr heiß.

Sockel 1366 Hardware mag in preissensiblen Bereichen sicherlich noch gehen (habe ich in meinem Haupt PC auch noch im Einsatz), von Core 2 Komponenten würde ich dann aber doch die Finger lassen.

 

[brigadeleiter]

OK. Danke für diese Information.

 

[Natarius]

Hi Leute,

Ich bin neu hier und mir nicht ganz sicher, ob dieses Forum für meine frage das richtige, aber ich Versuch es mal.
Mein Asus Rampage III Extreme läuft seit 1 Jahr stabil mit einem Intel i7-990 Extreme auf 4.42Ghz (Wasser gekühlt) und 24Gb RAM von G.Skill. Laut Angaben von Asus ist bei 24Gb Schluss. Nun habe ich aber schon in mehreren Foren gelesen, das es bei anderen Usern auch mit 48Gb stabil und sauber läuft. Kann mir vielleicht jemand aus eigener Erfahrung bestätigen, das das auch wirklich funktioniert?
Das Problem ist, das die meisten Händler, RAM Module leider nicht wieder zurücknehmen, wenn sie aus der spezialverpackung entnommen wurden! Dann würde ich auf ca. 400€ teurem RAM sitzen bleiben, den ich nicht verwenden kann.

Würde mich über eine schnelle Antwort sehr freuen.
Mit bestem dank im vorraus, Natarius.