potenter selfmade Server - Datenbanken / VM / Fileserver / Webserver -> AIO Hard- Software?

[keepit]

Ahoi,

ich möchte gerne eine Server zusammenbauen der sehr Leistungsfähig ist und wenig Strom verbraucht.

Allerdings bin ich mir einfach nicht sicher, was nach aktuellem Stand Preis- Leistung der "Bringer" wäre.
Ich hab das Gefühl das hier viele Leute mit Know-How unterwegs sind.

Meine Überlegung wie das aussehen könnte:
- Hardware = CPU z.B.: AMD 4584 PX, Mainbord AM5 (ECC Ram, 128GB, 4x NVME , 2xhdd, mindestens 2x RJ45 ) , evtl redundantes Netzteil
- Software = Dienste - ERP System, Fileserver mit SMB und Nextcloud, Web und Email Server mit Kundeverwaltung der Emails/DB/FTP wie z.b Plesk , VM um ggf. Testsystem hochzufahren

Bevorzuge Software Opensourcesysteme mit einer hohen Benutzerfreundlichkeit optimalerweise Wartungsarm.
Ich habe mich mittlerweile mit unterschiedlicher Software beschäftigt. Systeme wie z.B.: Proxmox, Nextcloud, True/Freenas, Nethserver , SOGO usw. Allerdings ist so eine Vielfalt an Software wieder sehr Komplex.
Ziel ist es einige Webseiten zu hosten mit Emails + Synchronisierung der Kontakte → Besser noch CRM → ERP , Fileserver bereitzustellen mit „Cloud“ besser noch DMS anzuknüpfen. Und Dieser optimalerweise alles unter einem Hut zu bringen damit der Verwaltungsaufwand so gering bleibt wie möglich.


1. Würdet ihr auch diese Hardware wählen und könnt ihr ein Mainboard empfehlen ? Oder würdet ihr komplett andere Hardware nehmen? Meines Empfindens ist Stromverbrauch mit der Benchmarkleistung erst mal sehr beeindruckend. Allerdings ist die Ausfallsicherheit auch zu beachten.
2. Welche Software könnt ihr empfehlen und wie würdet ihr das ganze aufbauen ? Würdet ihr das anders Aufbauen und z.B Proxmox und darein verschieden System packen oder was wäre eure Vorgehensweise?

 

[Supaman]

#1
<sehr leistungsfähig> ist eine sehr subjektive Empfindung... poste doch bitte erstmal den konkreten Anwedungsfall, sprich mit xx Usern, n GB an Speicherbedarf und/oder Webseiten Zugriffen.

#2
Wenn ich "ERP System" und "Kundenverwaltung" lese, ist das kommerzieller Einsatz, und das zentrale IT System i.d.r. eine kritische Komponente in Bezug auf die Geschäftsfähigkeit. Wenn es da Probleme gibt, und nicht in adäquater Zeit wieder läuft wird es mindestens teuer.

Das wäre dann eher Fall für ein Systemhaus.

 

[keepit]

Ahoi Supaman,


Danke erstmal für die Antwort

1.
Speicherbedarf ist momentan ca 2,2TB . 2x1TB NMVE + 4 TB HDDS. In den nächsten 4 Jahren wird es vermutlich mindestens 3-4 TB werden (Webseite + Fileserver + ERP) .
Arbeitspeicher Momenat verwendet 60GB von 96GB. Zugriffszahlen sind Moderat zu betrachten und nie konstant. Benutzer: ERP+ Fileserver momentan 5, Webseiten - Mail über 100.
SSD/nvme sind für Webseiten und ERP System mit Datenbanken relavant und würde ich mindestens 2 oder gar 4TB für die Zukunft einordnen.
Traffic durch Webseite alleine sind ca 50-70GB. Fileserver hat da natürlich eine ganz anderes Traffic Aufkommen.
Momentan ist ein Intel(R) Xeon(R) Silver 4214 CPU @ 2.20GHz im Einsatz. Im Durschnitt ist CPU Last bei 30 %. Allerdings gibts natürlich auch Spitzen wo er gerade im Singlethread etwas länger braucht als es optimal wäre. Gerade für meine Webseiten & ERP System möchte ich auch ohne Caching schon eine mega Performance. Da ich das nicht alles im RAM halten möchte.

Ich Hoffe das es immer mehr werden, die Leistungen sollte auf jedenfall so viel Platz wie möglich nach oben haben. Da ich nicht weiß was die Zukunft bringt und solange wie möglich nicht nachrüsten möchte.
Spielt wie ich finde aber eine untergeordnete Rolle, da es ehr darum geht die bestmöglichste Hardware um ~3000 Euro zu kaufen.

2. Das ist mir durchaus bewusst. Das ein Systemhaus die Geschäftsfähigkeit wahrt enspricht leider nicht meiner Erfahrung, aber der Gedankensatz ist gut nachvollziehbar.
Systemhäuser möchte ich nichtmehr, ich möchte meine baldige Glasfaserleitung nutzen und die Abwärme für mich behalten ^^.
(Es exisiert natürlich noch ein 2 File/Backupserver mit freenas/truenas)

 

[Supaman]

Wenn ich mir Dein UseCase ansehe, erkenne ich da schon die Anforderung der permanenten Verfügbarkeit - bzw. massive Probleme / Ärger wenn das nicht läuft. Ohne Dir zu nahe treten zu wollen, aber wenn man bei Basics schon ins schwimmen kommt, sollte man das in versierte Hände abgeben. Wie Du das selber einschätzt, bleibt Dir überlassen, wollte das nur nochmal erwähnt haben.

Wenn permanente verfügbarkeit gefordert ist, sollte man sich ein wenig mit redundanter Architektur vertraut machen... Beispiel:
3 Knoten Proxmox HA-Cluster mit redundantem CEPH Storage auf u2 oder u3 Datacenter SSD, Anbindung per 10 GB NICs
redundate Netzteile
2x redundanter Core Switch 10GB
2x USV für das Konstrukt
2x Proxmox Backup Server

Ein Cluster hat u.a. den Vorteil, das Du die VMs verteilen kannst, d.h. Du brauchst nicht die eine ultimative Monstermaschine wo dann alles drauf läuft, da die Last sich auf 3 Knoten verteilt. Die Maschinen müssen primar nur genug Ram haben, das auf 2 Nodes alles laufen kannt, wenn 1 Node mal ausfällt. Dazu reichen i.d.r. auch preiswerte 6c/12t doer 8c/16t CPUs.

Wenn man sowas selber baut, geht das auch mit moderatem Budget und man hat trotzdem Server Mainboards und Datacenter SSDs. Möglicherweise liegst Du etwas drüber, aber hast dann weniger Stress, weil Du im laufenden Betrieb Wartungsarbeiten machen kannst.

Erfordert natürlich etwas Einarbeitunsgzeit.

 

[p4n0]

Ich wuerde Abstand davon nehmen zu Hause irgendwas zu Hosten, womit man seine Broetchen verdient.
Komplexitaet wird dich als Einzelperson killen. Außerdem hast du keine redundante Kuehlung und Strom. Da helfen dir deine 2 Netzteile und dein moegliches Cluster auch nicht weiter.

Hosting gehert ins RZ, bei Profis, die sich um den ganzen Mist kuemmern, den du zu Hause nicht staemmen kannst.

Deine Anforderungen sind jetzt auch nicht sooo super krass. N kleines stueck Tenant bei nem CloudProvider deckt alles ab, was du brauchst. Inkl. nem IAM, denn das fehlt gaenzlich bei deinen Requirements.
Ein Systemhaus waere vielleicht doch die bessere Wahl, auch wenn du das vllt. nicht hoeren willst.

Man kann hier glaube noch ewig weiter aufzaehlen, was dir zu Hause so alles fehlt um nen ordentlichen Betrieb zu gewaehrleisten.
So n Glasfaseranschluss ist zwar nett, jedoch nicht fuer prof. Hosting gedacht. Oder hast du nen BusinessAnschluss mit garantierten SLAs etc.. ?

 

[keepit]

ahoi ihr lieben

ja ich habe glaub ich eine Business Anschluss (feste IP'S) -> momentan noch mit vdsl 50 ^^ Fragt mich bitte nicht wie das reichen konnte. Ich halte meine Webseiten sehr SMART -> keine ist über 1MB .
USV vorhanden und 2 VDSL Leitungen gebündelt. Bald kommt es aber tatsächlich zu 2 Glasfaseranschlüssen geplant ist sogar ein 2ter Standort . Je nach dem wie die Telekom aus dem knick kommt.

Zuvor hab ich nur mti einem esxi gearbeitet "Nethserver 6, debian Openerp/odoo, und doofes Windows OS (bitte nicht fragen wozu)". Das mit der Hochverfügbarkeit, nachvollziehbares Argument. Aber bisher ging das bereits über 8 Jahre tatsächlich gut, und meine Kunden kennen mich alle höchstpersönlich und waren bisher noch nie unzufrieden. selbst wo ich 2-3 Tage mal Backups einspielen musste. Wenn ich mich recht entsinne waren auch 4-5 Providerprobleme. Die wurden glücklicherweise immer innerhalb 24h gelöst.

Das mit dem Proxmox und Cluster finde ich eine wirklich tolle Geschichte und einwandfreier Vorschlag. Ein Hoch auf Proxmox. Allerdings muss ich mich in dieser Virtualisierungssoftware noch ein wenig einarbeiten. In Frankfurt hab ich zwecks der Leitung und für die Kunden die einen Shop haben auch ein kleinen root Server wo diese "kritische Projekte" laufen, sowie als Smarthost für die Emailgeschichte fungiert. Allerdings hatten die tatsächlich mehr Probleme bei der Verfügbarkeit. Warum auch immer. Die Kosten und Zeitaufwand waren dort auch nicht unerheblich gewesen in der Vergangenheit. Ich Hoste deswegen lieber daheim, da kann ich ggf. auch mal eine Festplatte mehr einbauen. Im Rechenzentrum kostet mich das gefühlt ein Vermögen. Außerdem kann ich das bissl Abwärme auch wirklich gut gebrauchen.

Klar das Rad wurde nicht komplett neu erfunden. Ich könnte einfach wieder auf die gut bewährte Intel Xeon Server setzten. Diese hab ich auch immer selbst zusammengebastelt. Aber Hersteller sind mir egal, solange es funktioniert und eine gute Preisleistungsniveau darstellt.
Jetzt ist mein Server 4-5 Jahre alt, da kauf ich gerne etwas aktuelleres.


Zurück zum Thema.
Ich brauche einfach eine Kaufempfehlung, welcher Server guten Preis- Leistung darstellt. Allerdings ist es mit Hardware immer so eine Sache, da nach dem Mooresches Gesetz ja zutreffend ist. Demzufolge muss ich mich alle 4-5 Jahre neu damit beschäftigen und neue Hardware macht nach dieser Zeit immer diesen gefühlten Quantensprung. Neu ist mir die ganze AMD Server Geschichte. Die technischen Daten sehen doch super aus ?! Doppelte Leistung als mein Xeon bei ähnlicher Leistungsaufnahme. DEn Preis finde ich auch gerechtfertigt, damals hat der XEON auch soviel in ca gekostet.
Allerdings irritiert mich der AM5 Sockel, da dieser für Desktop Bereich ebenfalls benutzt wird oder? 1 CPU reicht vollkommen. Bei der Hardware bin ich leider ein noob.

Und ich finde es toll wenn ein paar "nerds" eine fachliche Diskussion führen, da können wir alle etwas lernen
Deswegen frag ich noch so blöd zusätzlich nach Software. In der Hoffnung Softwarelösung zu betrachten die ich noch nicht in Betracht gezogen hab.

Bisher bin ich auf den Trichter → Proxmox
1 VM = Nethserver mit Nextcloud SMB SOGO für lokale Arbeitsumgebung mit einem ODOO
2 VM = Plesk, war immer gut zu mir allerdings ist das auch nicht gerade günstig.
3 VM = Freenas/truenas mit Plex → für Backups und für meine „Private Filme“ (bitte nicht nach Details fragen ;P )

Nethserver bei der neue Version bin ich auch noch nicht „up to date“. Mir scheint der Nethserver immer Potenter zu werden. Normalerweise, wenn die Kunden Ihre Emails nicht andauernd neu anlegen würde, könnte ich mir Plesk sparen. Dem ist nicht so, deswegen brauche ich hierfür einen Kunden Zugang,.

Uffz jetzt hab ich echt Roman getippert ^^ sorry hiefür
zusammenfassend habe ich folgenden System zur Zeit:
WEB und Emaildienste <- PLESK
Domain + FILESERVER + Officeserver <- Nethserver
ERP auf Debian OS <- Odoo

 

[AliManali]

Hi

Muss dazu sagen, dass ich mich bislang raus halten wollte, da selber kein Profi. Ich hoste auch schon seit 2004 selber zu hause und auch extern. Aber zumindest e-mail würde ich definitiv nicht auf dem eigenen rig hosten. Weil die privaten IPs, Business Anschluss hin oder her, werden gerne mal von vielen Anbietern geblockt. Auch ist wohl der Betrieb des eigenen Servers dazu nicht ganz ohne. Kannst ja einfach ein relay aufsetzen. Ich lass e-mail und produktiv Web alles extern hosten, ist einfach weniger stressig. Den grossen Teil der Server dann zu hause. Geht hier allerdings vor allem um Spili Server.

Wenn ich jetzt 3k ausgeben würde für einen Server (was müssen die 3k alles beinhalten?), dann ginge das eher Richtung SP3 oder höher. Wird bisschen mehr Strom brauchen als Dein angedachtes AM5 System, und halt bisschen weniger ST Leistung. Aber hast halt deutlich mehr Möglichkeiten. Und CPU wird in so einem Fall meist eh überschätzt, da geht es mehr um Storage und RAM in so einer Umgebung. Und auf Features wie IPMI und Möglichkeiten wie RDIMM möchte ich jetzt auch nicht unbedingt verzichten. Beim Storage, mit dem steht und fällt eh alles, da dann definitiv nicht kleckern.

Was mir auch noch so in den Sinn kommt: Deine Intel Server Plattform aufzurüsten ist keine Option?

Bei Serverteilen ist Gebrauchtkauf auch immer eine gute Option. Kann man sich für den selben Taler auch alles doppelt auf Halde legen.

Und btw, was da der Vorredner mit Systemhaus gemeint hat: das kann man auch beanspruchen und trotzdem selber hosten. Das hat nichts damit zu tun, wo das Blech dann steht schlussendlich.

Gruss

 

[n3cron]

Ahoi,

ich möchte gerne eine Server zusammenbauen der sehr Leistungsfähig ist und wenig Strom verbraucht.

Allerdings bin ich mir einfach nicht sicher, was nach aktuellem Stand Preis- Leistung der "Bringer" wäre.
Ich hab das Gefühl das hier viele Leute mit Know-How unterwegs sind.

Meine Überlegung wie das aussehen könnte:
- Hardware = CPU z.B.: AMD 4584 PX, Mainbord AM5 (ECC Ram, 128GB, 4x NVME , 2xhdd, mindestens 2x RJ45 ) , evtl redundantes Netzteil
- Software = Dienste - ERP System, Fileserver mit SMB und Nextcloud, Web und Email Server mit Kundeverwaltung der Emails/DB/FTP wie z.b Plesk , VM um ggf. Testsystem hochzufahren

Bevorzuge Software Opensourcesysteme mit einer hohen Benutzerfreundlichkeit optimalerweise Wartungsarm.
Ich habe mich mittlerweile mit unterschiedlicher Software beschäftigt. Systeme wie z.B.: Proxmox, Nextcloud, True/Freenas, Nethserver , SOGO usw. Allerdings ist so eine Vielfalt an Software wieder sehr Komplex.
Ziel ist es einige Webseiten zu hosten mit Emails + Synchronisierung der Kontakte → Besser noch CRM → ERP , Fileserver bereitzustellen mit „Cloud“ besser noch DMS anzuknüpfen. Und Dieser optimalerweise alles unter einem Hut zu bringen damit der Verwaltungsaufwand so gering bleibt wie möglich.


1. Würdet ihr auch diese Hardware wählen und könnt ihr ein Mainboard empfehlen ? Oder würdet ihr komplett andere Hardware nehmen? Meines Empfindens ist Stromverbrauch mit der Benchmarkleistung erst mal sehr beeindruckend. Allerdings ist die Ausfallsicherheit auch zu beachten.
2. Welche Software könnt ihr empfehlen und wie würdet ihr das ganze aufbauen ? Würdet ihr das anders Aufbauen und z.B Proxmox und darein verschieden System packen oder was wäre eure Vorgehensweise?

Grundsätzlich wäre da ein AM4 Server wahrscheinlich günstiger. https://geizhals.de/asrock-rack-x570d4u-a2407901.html?hloc=at&hloc=de
asrock racks sind da so der Standard. Als RAM Entweder 3200mhz ECC oder 2933mhz.
Allerdings musst du für m.2 eine Erweiterungskarte verbauen mit 4x m.2 oder sonstigen RAID Kontroller.
Du wirst nicht wirklich eine Eierlegende Wollmilchsau bekommen.

Alles in ein System zu packen erzeugt ein klassisches single point of failure. Geht diese Maschine down ist alles down. Die Server Boards im Deskformat haben auch meistens nicht mal redundante Stromversorgung.

Ich hab mir ein ähnliches System als Labor zusammen gebaut. Alternativ schau mal ob dir das Angebot von Synology zusagen könnte, bis auf dein gewünschtes ERP hätte die NAS alles in einem inklusive Mailserver ab entsprechender Größe.

Ich würde den Mailserver auf einem Cloudanbieter laufen lassen der am günstigsten ist mit dem kleinsten Postfach: ->du kannst dir diese mails dann auf einem lokalen Server per POP3 z. B einfach abrufen und lokal speichern/ablegen und nutzt den Online Mailserver nur für Versenden und Empfangen der Nachrichten. Vereinfacht dir Dinge wie Zertifikate, DKIM, DMARC etc.

 

[keepit]

Jawohl.

In der Vergangenheit hab ich immer die VM gebackupt . Im Falle eines Hardwareausfalles war es für mich bisher ausreichend den zuvor eingesetzten Server, dann wieder zu benutzen. Bis der neue Server wieder fit war (Lieferzeit der Ersatzhardware). Hat natürlich 2x eine Downtime gebracht. Aber die 2 ist dann auch minimal. Deswegen mag ich nicht aufrüsten. Ja Singlepoint kann ein Nachteil sein, aber genauso ein Vorteil. Der Vorteil in meine Augen ist, das ich nur eine Baustelle hab. Deswegen versuche ich auch immer weiter die VM zu reduzieren. Weniger ist manchmal in meine Augen mehr. Achja eine VM hab ich noch vergessen, der freepbx telefonserver Aber den wollte ich irgendwann eh mit dem Nethserver zusammenführen.

AM4 Sockel. Mh ja warum nicht, in welcher Kombination ? Also welcher CPU z.B. würdest du selektieren. Ich hab mal eben reingeschaut. Aber so schnell konnt ich mich gerad nicht einlesen. Ich war ehr geschockt das 5700x 3,4ghz hat und 65W benötigt und der 5700x3D 3ghz mit 105W . Ich dachte immer das müsse genau andersrum sein ^^

SP3 Server ? Sagt mir leider nichts. Storage da bin ich voll dabei, der ist extrem wichtig und einer der Komponenten der immer kritisch ist und verschleißt. Zumal auch alle Daten dort liegen. ARbeitsspeicher, naja Probleme hat ich mit ECC Speicher noch nie, ausser das diese zu klein waren. Mh allerdings hab ich auch mit Raid schon fälle gehabt wo der Raidcontroller selbst defekt war. Aber würdert Ihr RAID aufbauen oder ZFS System oder wie würdert ich safe System aufbauen?

IPMI -> hab ich jetzt auch aber ganz ehrlich, ich habs nie gebraucht. ausser mein kleiner root server im Rechenzetrum. Da ich kein physichen Zugriff hab ist das schon gut.

Ja eigentlich würde auf kurze Sicht der Xeon reichen und ich könnte mir diesen einfach nochmal hinstellen. Aber ich seh jetzt schon ab und an mal Leistungsspitzen, ich möchte nicht wissen wie das ganze in 4 Jahren ausschaut. Deswegen war meine Tendenz ehr mehr im Saft zu stehen auch wenns "to much" sein mag.

Zwecks Mailserver DKIM DMARC etc.. genau deswegen hab ich mein kleinen root Server im Rechenzentrum mit plesk. Bin echt zufrieden bisher, nur die Plesk kosten nerven mich ein wenig

 

[Supaman]

Deswegen versuche ich auch immer weiter die VM zu reduzieren. Weniger ist manchmal in meine Augen mehr.

Das sehe ich anders: früher hat man möghlichst viel auf ein Blech gepackt, weil Hardware teuer war und Virtualisierung noch nicht verfügbar oder nicht so ausgereift. Die Probleme waren dann, das bei einem Ausfall / Downtime eben auch *alles* down war, und im Laufe der Zeit gab es Probleme mit Abhängigkeiten: Software A brauchte XX als Unterbau, Software B wollte YY haben, das war aber nicht mehr mit A kompatibel und A konnte / wollte man nicht aktualiseren oder war nicht verfügbar etc.

Mit virtualisierung kontne man dann die Dienste schön einzeln separieren, konservieren und die Ressourcen auch individuell zuweisen.

Von daher ist der Weg in dem Segment: Proxmox, idealerweise als HA Cluster, und falls das Budget und die persönlichen Kenntnisse es hergeben, mit redundantem CEHPH Storage. Dazu externer Proxmox Backup Server, damit kann man je nach Größe VMs in Sekunden wieder herstellen, selbst 200Gb brauchen < 5 Minuten wenn man eine 10GB Anbindung hat.

Zum Thema IPMI: es schafft unabhängigkeit! Solange die Hardware noch rennt, kann man das Ding i.d.r. auch per Remote neu installieren oder Boot Probleme beseitigen, auch wenn man mal unterwegs ist. Die Diskussion stellt sich eigentlich gar nicht, da vernünftige Server Boards eigentlich immer IPMI an Board haben.

Und Mailserver ist auch keine Hexenwerk, entweder mit fixer IP selber betreiben, oder per Smart Host abrufen / versenden. Da liegt es primär an der Mailserver Software, wie anspruchsvoll das Setup ist. Wenn die Basis Parameter für MX Record, SPF, Port Forwarding etc einmal richtig laufen, ist der Rest nur noch User- und Speicherplatz Management, und ab und zu halt Software Updates.

 

[AliManali]

SP3 Server ?

SP3, SP4 und SP5 sind Sockel für AMD Epycs. SP3 gibt es mittlerweile gebraucht ganz günstig. Hast Du halt mehr CPU Lanes, Octachannel für RAM mit RDIMM/LRDIMM und so. Würde ich mir zumindest mal anschauen. Hier mal ein System, was ich für den Kumpel zusammengebaut habe. Ist halt schon älter, und das war ein Highendboard auf SP3:

[Sammelthread] - HomeServer Vorstellung - Bilder + Kommentare

1,7 kwh an Strom im Jahr ist mir auch das Hobby es nicht wert xD 1,7 kWh sind doch nur 50 Cent 🤔😁

www.hardwareluxx.de

Bei Deinem Budged würde ich mich persönlich da umsehen. Oder sind für 3k die Datenträger mit eingeplant?

Aber würdert Ihr RAID aufbauen oder ZFS System.

Hardware RAID machen heutzutage noch die wenigsten. Würde da auf Software RAID mit ZFS gehen. Ich bin eher bei vmware zu Hause und habe einen ZFS Filer (napp-it), welcher den Storage per NFS an den Host zurück gibt. Aber pei Proxmox kannst Du den ZFS Storage auch gleich am Host realisieren.

 

[keepit]

optimal wäre natürlich mit Datenträger für 3k. mit hardwareraid sehe ich auch nicht aber zfs mit proxmox klingt günstig und gut. Hab mir Transcend nvme rausgesucht da nach Hersteller 3millionen MTBF aushalten. normaler weise hab ich auch nicht so viele schreibzyklen. CEHPH höre ich auch zum ersten mal , klingt echt interrersant . man merkt schon ich bin ehr der softi als hardi bin früher immer esxi gefahren, allerdings finde ich proxmox sehr interessant, da diese freie software schon wesentlich mehr abdeckt. mh also da Strom teuer ist und doppelte Hardware Strom und Geld kostet war ich er bei der Eierlegende Wollmilchsau aber ich lass mich natürlich auch gern eines besseren belehren. Leider bin ich ehr Steuerungs Softwaretyp ... deswegen lass ich mich hier gerne von euch aufklären Danke nochmal an der stelle für den input

 

[Supaman]

CEHPH höre ich auch zum ersten mal , klingt echt interrersant .

Hier ein paar Infos, was man für einen 3 Knoten Proxmox Cluster benötigt: 3x Server mit jeweils...
- preiswerte 6c/12t CPU ist ausreichend
- genug Ram um auf 2 Knoten alle VMs laufen zu lassen + etwas Luft für OS und ZFS
- 10GB Netzwerkkarte
- 1x Boot SSD
- 1x Datacenter SSD mit *echter* PowerLoss Protection

Dazu entweder einen 10GB Switch, oder 3x Netzwerkkarte mit 4x 10GB, und dann die Knoten im Kreis direkt verbinden.
Die Datacenter SSDs z.B. mit u2 Schnittstelle, und dann per PCIe Steckkarte rein.

Das wäre das minmal Setup.

Technisch gesehen ist CEPH ein Mirror über alles 3 Knoten, d.h. es kann ein Knoten ausfallen, und trodetz hast Du noch einen Mirror.
Dazu schiebt der Cluster natürlich permanent jede Menge Daten hin und her, daher 10GG NICs und Datenträger mit niederiger Latenz.