potenter selfmade Server - Datenbanken / VM / Fileserver / Webserver -> AIO Hard- Software?

[keepit]

Ahoi,

ich möchte gerne eine Server zusammenbauen der sehr Leistungsfähig ist und wenig Strom verbraucht.

Allerdings bin ich mir einfach nicht sicher, was nach aktuellem Stand Preis- Leistung der "Bringer" wäre.
Ich hab das Gefühl das hier viele Leute mit Know-How unterwegs sind.

Meine Überlegung wie das aussehen könnte:
- Hardware = CPU z.B.: AMD 4584 PX, Mainbord AM5 (ECC Ram, 128GB, 4x NVME , 2xhdd, mindestens 2x RJ45 ) , evtl redundantes Netzteil
- Software = Dienste - ERP System, Fileserver mit SMB und Nextcloud, Web und Email Server mit Kundeverwaltung der Emails/DB/FTP wie z.b Plesk , VM um ggf. Testsystem hochzufahren

Bevorzuge Software Opensourcesysteme mit einer hohen Benutzerfreundlichkeit optimalerweise Wartungsarm.
Ich habe mich mittlerweile mit unterschiedlicher Software beschäftigt. Systeme wie z.B.: Proxmox, Nextcloud, True/Freenas, Nethserver , SOGO usw. Allerdings ist so eine Vielfalt an Software wieder sehr Komplex.
Ziel ist es einige Webseiten zu hosten mit Emails + Synchronisierung der Kontakte → Besser noch CRM → ERP , Fileserver bereitzustellen mit „Cloud“ besser noch DMS anzuknüpfen. Und Dieser optimalerweise alles unter einem Hut zu bringen damit der Verwaltungsaufwand so gering bleibt wie möglich.


1. Würdet ihr auch diese Hardware wählen und könnt ihr ein Mainboard empfehlen ? Oder würdet ihr komplett andere Hardware nehmen? Meines Empfindens ist Stromverbrauch mit der Benchmarkleistung erst mal sehr beeindruckend. Allerdings ist die Ausfallsicherheit auch zu beachten.
2. Welche Software könnt ihr empfehlen und wie würdet ihr das ganze aufbauen ? Würdet ihr das anders Aufbauen und z.B Proxmox und darein verschieden System packen oder was wäre eure Vorgehensweise?

 

[Supaman]

#1
<sehr leistungsfähig> ist eine sehr subjektive Empfindung... poste doch bitte erstmal den konkreten Anwedungsfall, sprich mit xx Usern, n GB an Speicherbedarf und/oder Webseiten Zugriffen.

#2
Wenn ich "ERP System" und "Kundenverwaltung" lese, ist das kommerzieller Einsatz, und das zentrale IT System i.d.r. eine kritische Komponente in Bezug auf die Geschäftsfähigkeit. Wenn es da Probleme gibt, und nicht in adäquater Zeit wieder läuft wird es mindestens teuer.

Das wäre dann eher Fall für ein Systemhaus.

 

[keepit]

Ahoi Supaman,


Danke erstmal für die Antwort

1.
Speicherbedarf ist momentan ca 2,2TB . 2x1TB NMVE + 4 TB HDDS. In den nächsten 4 Jahren wird es vermutlich mindestens 3-4 TB werden (Webseite + Fileserver + ERP) .
Arbeitspeicher Momenat verwendet 60GB von 96GB. Zugriffszahlen sind Moderat zu betrachten und nie konstant. Benutzer: ERP+ Fileserver momentan 5, Webseiten - Mail über 100.
SSD/nvme sind für Webseiten und ERP System mit Datenbanken relavant und würde ich mindestens 2 oder gar 4TB für die Zukunft einordnen.
Traffic durch Webseite alleine sind ca 50-70GB. Fileserver hat da natürlich eine ganz anderes Traffic Aufkommen.
Momentan ist ein Intel(R) Xeon(R) Silver 4214 CPU @ 2.20GHz im Einsatz. Im Durschnitt ist CPU Last bei 30 %. Allerdings gibts natürlich auch Spitzen wo er gerade im Singlethread etwas länger braucht als es optimal wäre. Gerade für meine Webseiten & ERP System möchte ich auch ohne Caching schon eine mega Performance. Da ich das nicht alles im RAM halten möchte.

Ich Hoffe das es immer mehr werden, die Leistungen sollte auf jedenfall so viel Platz wie möglich nach oben haben. Da ich nicht weiß was die Zukunft bringt und solange wie möglich nicht nachrüsten möchte.
Spielt wie ich finde aber eine untergeordnete Rolle, da es ehr darum geht die bestmöglichste Hardware um ~3000 Euro zu kaufen.

2. Das ist mir durchaus bewusst. Das ein Systemhaus die Geschäftsfähigkeit wahrt enspricht leider nicht meiner Erfahrung, aber der Gedankensatz ist gut nachvollziehbar.
Systemhäuser möchte ich nichtmehr, ich möchte meine baldige Glasfaserleitung nutzen und die Abwärme für mich behalten ^^.
(Es exisiert natürlich noch ein 2 File/Backupserver mit freenas/truenas)

 

[Supaman]

Wenn ich mir Dein UseCase ansehe, erkenne ich da schon die Anforderung der permanenten Verfügbarkeit - bzw. massive Probleme / Ärger wenn das nicht läuft. Ohne Dir zu nahe treten zu wollen, aber wenn man bei Basics schon ins schwimmen kommt, sollte man das in versierte Hände abgeben. Wie Du das selber einschätzt, bleibt Dir überlassen, wollte das nur nochmal erwähnt haben.

Wenn permanente verfügbarkeit gefordert ist, sollte man sich ein wenig mit redundanter Architektur vertraut machen... Beispiel:
3 Knoten Proxmox HA-Cluster mit redundantem CEPH Storage auf u2 oder u3 Datacenter SSD, Anbindung per 10 GB NICs
redundate Netzteile
2x redundanter Core Switch 10GB
2x USV für das Konstrukt
2x Proxmox Backup Server

Ein Cluster hat u.a. den Vorteil, das Du die VMs verteilen kannst, d.h. Du brauchst nicht die eine ultimative Monstermaschine wo dann alles drauf läuft, da die Last sich auf 3 Knoten verteilt. Die Maschinen müssen primar nur genug Ram haben, das auf 2 Nodes alles laufen kannt, wenn 1 Node mal ausfällt. Dazu reichen i.d.r. auch preiswerte 6c/12t doer 8c/16t CPUs.

Wenn man sowas selber baut, geht das auch mit moderatem Budget und man hat trotzdem Server Mainboards und Datacenter SSDs. Möglicherweise liegst Du etwas drüber, aber hast dann weniger Stress, weil Du im laufenden Betrieb Wartungsarbeiten machen kannst.

Erfordert natürlich etwas Einarbeitunsgzeit.

 

[p4n0]

Ich wuerde Abstand davon nehmen zu Hause irgendwas zu Hosten, womit man seine Broetchen verdient.
Komplexitaet wird dich als Einzelperson killen. Außerdem hast du keine redundante Kuehlung und Strom. Da helfen dir deine 2 Netzteile und dein moegliches Cluster auch nicht weiter.

Hosting gehert ins RZ, bei Profis, die sich um den ganzen Mist kuemmern, den du zu Hause nicht staemmen kannst.

Deine Anforderungen sind jetzt auch nicht sooo super krass. N kleines stueck Tenant bei nem CloudProvider deckt alles ab, was du brauchst. Inkl. nem IAM, denn das fehlt gaenzlich bei deinen Requirements.
Ein Systemhaus waere vielleicht doch die bessere Wahl, auch wenn du das vllt. nicht hoeren willst.

Man kann hier glaube noch ewig weiter aufzaehlen, was dir zu Hause so alles fehlt um nen ordentlichen Betrieb zu gewaehrleisten.
So n Glasfaseranschluss ist zwar nett, jedoch nicht fuer prof. Hosting gedacht. Oder hast du nen BusinessAnschluss mit garantierten SLAs etc.. ?

 

[keepit]

ahoi ihr lieben

ja ich habe glaub ich eine Business Anschluss (feste IP'S) -> momentan noch mit vdsl 50 ^^ Fragt mich bitte nicht wie das reichen konnte. Ich halte meine Webseiten sehr SMART -> keine ist über 1MB .
USV vorhanden und 2 VDSL Leitungen gebündelt. Bald kommt es aber tatsächlich zu 2 Glasfaseranschlüssen geplant ist sogar ein 2ter Standort . Je nach dem wie die Telekom aus dem knick kommt.

Zuvor hab ich nur mti einem esxi gearbeitet "Nethserver 6, debian Openerp/odoo, und doofes Windows OS (bitte nicht fragen wozu)". Das mit der Hochverfügbarkeit, nachvollziehbares Argument. Aber bisher ging das bereits über 8 Jahre tatsächlich gut, und meine Kunden kennen mich alle höchstpersönlich und waren bisher noch nie unzufrieden. selbst wo ich 2-3 Tage mal Backups einspielen musste. Wenn ich mich recht entsinne waren auch 4-5 Providerprobleme. Die wurden glücklicherweise immer innerhalb 24h gelöst.

Das mit dem Proxmox und Cluster finde ich eine wirklich tolle Geschichte und einwandfreier Vorschlag. Ein Hoch auf Proxmox. Allerdings muss ich mich in dieser Virtualisierungssoftware noch ein wenig einarbeiten. In Frankfurt hab ich zwecks der Leitung und für die Kunden die einen Shop haben auch ein kleinen root Server wo diese "kritische Projekte" laufen, sowie als Smarthost für die Emailgeschichte fungiert. Allerdings hatten die tatsächlich mehr Probleme bei der Verfügbarkeit. Warum auch immer. Die Kosten und Zeitaufwand waren dort auch nicht unerheblich gewesen in der Vergangenheit. Ich Hoste deswegen lieber daheim, da kann ich ggf. auch mal eine Festplatte mehr einbauen. Im Rechenzentrum kostet mich das gefühlt ein Vermögen. Außerdem kann ich das bissl Abwärme auch wirklich gut gebrauchen.

Klar das Rad wurde nicht komplett neu erfunden. Ich könnte einfach wieder auf die gut bewährte Intel Xeon Server setzten. Diese hab ich auch immer selbst zusammengebastelt. Aber Hersteller sind mir egal, solange es funktioniert und eine gute Preisleistungsniveau darstellt.
Jetzt ist mein Server 4-5 Jahre alt, da kauf ich gerne etwas aktuelleres.


Zurück zum Thema.
Ich brauche einfach eine Kaufempfehlung, welcher Server guten Preis- Leistung darstellt. Allerdings ist es mit Hardware immer so eine Sache, da nach dem Mooresches Gesetz ja zutreffend ist. Demzufolge muss ich mich alle 4-5 Jahre neu damit beschäftigen und neue Hardware macht nach dieser Zeit immer diesen gefühlten Quantensprung. Neu ist mir die ganze AMD Server Geschichte. Die technischen Daten sehen doch super aus ?! Doppelte Leistung als mein Xeon bei ähnlicher Leistungsaufnahme. DEn Preis finde ich auch gerechtfertigt, damals hat der XEON auch soviel in ca gekostet.
Allerdings irritiert mich der AM5 Sockel, da dieser für Desktop Bereich ebenfalls benutzt wird oder? 1 CPU reicht vollkommen. Bei der Hardware bin ich leider ein noob.

Und ich finde es toll wenn ein paar "nerds" eine fachliche Diskussion führen, da können wir alle etwas lernen
Deswegen frag ich noch so blöd zusätzlich nach Software. In der Hoffnung Softwarelösung zu betrachten die ich noch nicht in Betracht gezogen hab.

Bisher bin ich auf den Trichter → Proxmox
1 VM = Nethserver mit Nextcloud SMB SOGO für lokale Arbeitsumgebung mit einem ODOO
2 VM = Plesk, war immer gut zu mir allerdings ist das auch nicht gerade günstig.
3 VM = Freenas/truenas mit Plex → für Backups und für meine „Private Filme“ (bitte nicht nach Details fragen ;P )

Nethserver bei der neue Version bin ich auch noch nicht „up to date“. Mir scheint der Nethserver immer Potenter zu werden. Normalerweise, wenn die Kunden Ihre Emails nicht andauernd neu anlegen würde, könnte ich mir Plesk sparen. Dem ist nicht so, deswegen brauche ich hierfür einen Kunden Zugang,.

Uffz jetzt hab ich echt Roman getippert ^^ sorry hiefür
zusammenfassend habe ich folgenden System zur Zeit:
WEB und Emaildienste <- PLESK
Domain + FILESERVER + Officeserver <- Nethserver
ERP auf Debian OS <- Odoo

 

[AliManali]

Hi

Muss dazu sagen, dass ich mich bislang raus halten wollte, da selber kein Profi. Ich hoste auch schon seit 2004 selber zu hause und auch extern. Aber zumindest e-mail würde ich definitiv nicht auf dem eigenen rig hosten. Weil die privaten IPs, Business Anschluss hin oder her, werden gerne mal von vielen Anbietern geblockt. Auch ist wohl der Betrieb des eigenen Servers dazu nicht ganz ohne. Kannst ja einfach ein relay aufsetzen. Ich lass e-mail und produktiv Web alles extern hosten, ist einfach weniger stressig. Den grossen Teil der Server dann zu hause. Geht hier allerdings vor allem um Spili Server.

Wenn ich jetzt 3k ausgeben würde für einen Server (was müssen die 3k alles beinhalten?), dann ginge das eher Richtung SP3 oder höher. Wird bisschen mehr Strom brauchen als Dein angedachtes AM5 System, und halt bisschen weniger ST Leistung. Aber hast halt deutlich mehr Möglichkeiten. Und CPU wird in so einem Fall meist eh überschätzt, da geht es mehr um Storage und RAM in so einer Umgebung. Und auf Features wie IPMI und Möglichkeiten wie RDIMM möchte ich jetzt auch nicht unbedingt verzichten. Beim Storage, mit dem steht und fällt eh alles, da dann definitiv nicht kleckern.

Was mir auch noch so in den Sinn kommt: Deine Intel Server Plattform aufzurüsten ist keine Option?

Bei Serverteilen ist Gebrauchtkauf auch immer eine gute Option. Kann man sich für den selben Taler auch alles doppelt auf Halde legen.

Und btw, was da der Vorredner mit Systemhaus gemeint hat: das kann man auch beanspruchen und trotzdem selber hosten. Das hat nichts damit zu tun, wo das Blech dann steht schlussendlich.

Gruss

 

[n3cron]

Ahoi,

ich möchte gerne eine Server zusammenbauen der sehr Leistungsfähig ist und wenig Strom verbraucht.

Allerdings bin ich mir einfach nicht sicher, was nach aktuellem Stand Preis- Leistung der "Bringer" wäre.
Ich hab das Gefühl das hier viele Leute mit Know-How unterwegs sind.

Meine Überlegung wie das aussehen könnte:
- Hardware = CPU z.B.: AMD 4584 PX, Mainbord AM5 (ECC Ram, 128GB, 4x NVME , 2xhdd, mindestens 2x RJ45 ) , evtl redundantes Netzteil
- Software = Dienste - ERP System, Fileserver mit SMB und Nextcloud, Web und Email Server mit Kundeverwaltung der Emails/DB/FTP wie z.b Plesk , VM um ggf. Testsystem hochzufahren

Bevorzuge Software Opensourcesysteme mit einer hohen Benutzerfreundlichkeit optimalerweise Wartungsarm.
Ich habe mich mittlerweile mit unterschiedlicher Software beschäftigt. Systeme wie z.B.: Proxmox, Nextcloud, True/Freenas, Nethserver , SOGO usw. Allerdings ist so eine Vielfalt an Software wieder sehr Komplex.
Ziel ist es einige Webseiten zu hosten mit Emails + Synchronisierung der Kontakte → Besser noch CRM → ERP , Fileserver bereitzustellen mit „Cloud“ besser noch DMS anzuknüpfen. Und Dieser optimalerweise alles unter einem Hut zu bringen damit der Verwaltungsaufwand so gering bleibt wie möglich.


1. Würdet ihr auch diese Hardware wählen und könnt ihr ein Mainboard empfehlen ? Oder würdet ihr komplett andere Hardware nehmen? Meines Empfindens ist Stromverbrauch mit der Benchmarkleistung erst mal sehr beeindruckend. Allerdings ist die Ausfallsicherheit auch zu beachten.
2. Welche Software könnt ihr empfehlen und wie würdet ihr das ganze aufbauen ? Würdet ihr das anders Aufbauen und z.B Proxmox und darein verschieden System packen oder was wäre eure Vorgehensweise?

Grundsätzlich wäre da ein AM4 Server wahrscheinlich günstiger. https://geizhals.de/asrock-rack-x570d4u-a2407901.html?hloc=at&hloc=de
asrock racks sind da so der Standard. Als RAM Entweder 3200mhz ECC oder 2933mhz.
Allerdings musst du für m.2 eine Erweiterungskarte verbauen mit 4x m.2 oder sonstigen RAID Kontroller.
Du wirst nicht wirklich eine Eierlegende Wollmilchsau bekommen.

Alles in ein System zu packen erzeugt ein klassisches single point of failure. Geht diese Maschine down ist alles down. Die Server Boards im Deskformat haben auch meistens nicht mal redundante Stromversorgung.

Ich hab mir ein ähnliches System als Labor zusammen gebaut. Alternativ schau mal ob dir das Angebot von Synology zusagen könnte, bis auf dein gewünschtes ERP hätte die NAS alles in einem inklusive Mailserver ab entsprechender Größe.

Ich würde den Mailserver auf einem Cloudanbieter laufen lassen der am günstigsten ist mit dem kleinsten Postfach: ->du kannst dir diese mails dann auf einem lokalen Server per POP3 z. B einfach abrufen und lokal speichern/ablegen und nutzt den Online Mailserver nur für Versenden und Empfangen der Nachrichten. Vereinfacht dir Dinge wie Zertifikate, DKIM, DMARC etc.

 

[keepit]

Jawohl.

In der Vergangenheit hab ich immer die VM gebackupt . Im Falle eines Hardwareausfalles war es für mich bisher ausreichend den zuvor eingesetzten Server, dann wieder zu benutzen. Bis der neue Server wieder fit war (Lieferzeit der Ersatzhardware). Hat natürlich 2x eine Downtime gebracht. Aber die 2 ist dann auch minimal. Deswegen mag ich nicht aufrüsten. Ja Singlepoint kann ein Nachteil sein, aber genauso ein Vorteil. Der Vorteil in meine Augen ist, das ich nur eine Baustelle hab. Deswegen versuche ich auch immer weiter die VM zu reduzieren. Weniger ist manchmal in meine Augen mehr. Achja eine VM hab ich noch vergessen, der freepbx telefonserver Aber den wollte ich irgendwann eh mit dem Nethserver zusammenführen.

AM4 Sockel. Mh ja warum nicht, in welcher Kombination ? Also welcher CPU z.B. würdest du selektieren. Ich hab mal eben reingeschaut. Aber so schnell konnt ich mich gerad nicht einlesen. Ich war ehr geschockt das 5700x 3,4ghz hat und 65W benötigt und der 5700x3D 3ghz mit 105W . Ich dachte immer das müsse genau andersrum sein ^^

SP3 Server ? Sagt mir leider nichts. Storage da bin ich voll dabei, der ist extrem wichtig und einer der Komponenten der immer kritisch ist und verschleißt. Zumal auch alle Daten dort liegen. ARbeitsspeicher, naja Probleme hat ich mit ECC Speicher noch nie, ausser das diese zu klein waren. Mh allerdings hab ich auch mit Raid schon fälle gehabt wo der Raidcontroller selbst defekt war. Aber würdert Ihr RAID aufbauen oder ZFS System oder wie würdert ich safe System aufbauen?

IPMI -> hab ich jetzt auch aber ganz ehrlich, ich habs nie gebraucht. ausser mein kleiner root server im Rechenzetrum. Da ich kein physichen Zugriff hab ist das schon gut.

Ja eigentlich würde auf kurze Sicht der Xeon reichen und ich könnte mir diesen einfach nochmal hinstellen. Aber ich seh jetzt schon ab und an mal Leistungsspitzen, ich möchte nicht wissen wie das ganze in 4 Jahren ausschaut. Deswegen war meine Tendenz ehr mehr im Saft zu stehen auch wenns "to much" sein mag.

Zwecks Mailserver DKIM DMARC etc.. genau deswegen hab ich mein kleinen root Server im Rechenzentrum mit plesk. Bin echt zufrieden bisher, nur die Plesk kosten nerven mich ein wenig

 

[Supaman]

Deswegen versuche ich auch immer weiter die VM zu reduzieren. Weniger ist manchmal in meine Augen mehr.

Das sehe ich anders: früher hat man möghlichst viel auf ein Blech gepackt, weil Hardware teuer war und Virtualisierung noch nicht verfügbar oder nicht so ausgereift. Die Probleme waren dann, das bei einem Ausfall / Downtime eben auch *alles* down war, und im Laufe der Zeit gab es Probleme mit Abhängigkeiten: Software A brauchte XX als Unterbau, Software B wollte YY haben, das war aber nicht mehr mit A kompatibel und A konnte / wollte man nicht aktualiseren oder war nicht verfügbar etc.

Mit virtualisierung kontne man dann die Dienste schön einzeln separieren, konservieren und die Ressourcen auch individuell zuweisen.

Von daher ist der Weg in dem Segment: Proxmox, idealerweise als HA Cluster, und falls das Budget und die persönlichen Kenntnisse es hergeben, mit redundantem CEHPH Storage. Dazu externer Proxmox Backup Server, damit kann man je nach Größe VMs in Sekunden wieder herstellen, selbst 200Gb brauchen < 5 Minuten wenn man eine 10GB Anbindung hat.

Zum Thema IPMI: es schafft unabhängigkeit! Solange die Hardware noch rennt, kann man das Ding i.d.r. auch per Remote neu installieren oder Boot Probleme beseitigen, auch wenn man mal unterwegs ist. Die Diskussion stellt sich eigentlich gar nicht, da vernünftige Server Boards eigentlich immer IPMI an Board haben.

Und Mailserver ist auch keine Hexenwerk, entweder mit fixer IP selber betreiben, oder per Smart Host abrufen / versenden. Da liegt es primär an der Mailserver Software, wie anspruchsvoll das Setup ist. Wenn die Basis Parameter für MX Record, SPF, Port Forwarding etc einmal richtig laufen, ist der Rest nur noch User- und Speicherplatz Management, und ab und zu halt Software Updates.

 

[AliManali]

SP3 Server ?

SP3, SP4 und SP5 sind Sockel für AMD Epycs. SP3 gibt es mittlerweile gebraucht ganz günstig. Hast Du halt mehr CPU Lanes, Octachannel für RAM mit RDIMM/LRDIMM und so. Würde ich mir zumindest mal anschauen. Hier mal ein System, was ich für den Kumpel zusammengebaut habe. Ist halt schon älter, und das war ein Highendboard auf SP3:

[Sammelthread] - HomeServer Vorstellung - Bilder + Kommentare

1,7 kwh an Strom im Jahr ist mir auch das Hobby es nicht wert xD 1,7 kWh sind doch nur 50 Cent 🤔😁

www.hardwareluxx.de

Bei Deinem Budged würde ich mich persönlich da umsehen. Oder sind für 3k die Datenträger mit eingeplant?

Aber würdert Ihr RAID aufbauen oder ZFS System.

Hardware RAID machen heutzutage noch die wenigsten. Würde da auf Software RAID mit ZFS gehen. Ich bin eher bei vmware zu Hause und habe einen ZFS Filer (napp-it), welcher den Storage per NFS an den Host zurück gibt. Aber pei Proxmox kannst Du den ZFS Storage auch gleich am Host realisieren.

 

[keepit]

optimal wäre natürlich mit Datenträger für 3k. mit hardwareraid sehe ich auch nicht aber zfs mit proxmox klingt günstig und gut. Hab mir Transcend nvme rausgesucht da nach Hersteller 3millionen MTBF aushalten. normaler weise hab ich auch nicht so viele schreibzyklen. CEHPH höre ich auch zum ersten mal , klingt echt interrersant . man merkt schon ich bin ehr der softi als hardi bin früher immer esxi gefahren, allerdings finde ich proxmox sehr interessant, da diese freie software schon wesentlich mehr abdeckt. mh also da Strom teuer ist und doppelte Hardware Strom und Geld kostet war ich er bei der Eierlegende Wollmilchsau aber ich lass mich natürlich auch gern eines besseren belehren. Leider bin ich ehr Steuerungs Softwaretyp ... deswegen lass ich mich hier gerne von euch aufklären Danke nochmal an der stelle für den input

 

[Supaman]

CEHPH höre ich auch zum ersten mal , klingt echt interrersant .

Hier ein paar Infos, was man für einen 3 Knoten Proxmox Cluster benötigt: 3x Server mit jeweils...
- preiswerte 6c/12t CPU ist ausreichend
- genug Ram um auf 2 Knoten alle VMs laufen zu lassen + etwas Luft für OS und ZFS
- 10GB Netzwerkkarte
- 1x Boot SSD
- 1x Datacenter SSD mit *echter* PowerLoss Protection

Dazu entweder einen 10GB Switch, oder 3x Netzwerkkarte mit 4x 10GB, und dann die Knoten im Kreis direkt verbinden.
Die Datacenter SSDs z.B. mit u2 Schnittstelle, und dann per PCIe Steckkarte rein.

Das wäre das minmal Setup.

Technisch gesehen ist CEPH ein Mirror über alles 3 Knoten, d.h. es kann ein Knoten ausfallen, und trodetz hast Du noch einen Mirror.
Dazu schiebt der Cluster natürlich permanent jede Menge Daten hin und her, daher 10GG NICs und Datenträger mit niederiger Latenz.

 

[keepit]

Danke Supaman

mh ich hab gerad mal geschaut was gebrauchte hardware kostet.
ACHTUNG ungewollte WERBUNG z.B.: serverando , servershop24 ,2nd-source und Hersteller A-Z ^^ absolute Horror an Auswahl, die Preise scheinen gut zu sein und ich kann das Argument gut nochvollziehen mit gebrauchter Hardware und dem 3x Clustersystem. Es hätte auf jedenfalls seine vorzüge.

Falls du die Qual der Wahl hättest. Könnte man die Hardware näher eingrenzen. Meine größte Angst bei so einem System ist der Stromverbrauch. Das ganz klarer Kostenfaktor in Deutschland, leider.
Pro 100 Watt sind es ja ca 300€ in Deutschland.

 

[Supaman]

Wenn Du VMs auf normnaler Last mit einer CPU laufen hast, und nur ein paar SSDs und 10GB SFP+, solltest Du bei <100w pro Knoten liegen.

 

[AliManali]

Meine Kiste zieht im Schnitt 170-180W, liegt aber dauerhaft Last an. LGA 2011-3 Hardware, also nicht mehr so modern.

Serverteile kaufe ich entweder hier im Luxx, oder bei ebay (meist aus China). Willst Du Dir einen Tower bauen, oder geht auch 19"? Darf die Hardware laut sein?

 

[keepit]

also ich mach da offensichtlich was falsch ^^ .. ich bin bei 180W momentan. Allerdings mit USV, 2 Routern und einem alten HP Switch. Den switch sollte ich def. mal erneuern vermutlich wird mein Server auch so um die 100 Watt liegen.

 

[pwnbert]

Hier ein paar Infos, was man für einen 3 Knoten Proxmox Cluster benötigt: 3x Server mit jeweils...
- preiswerte 6c/12t CPU ist ausreichend
- genug Ram um auf 2 Knoten alle VMs laufen zu lassen + etwas Luft für OS und ZFS
- 10GB Netzwerkkarte
- 1x Boot SSD
- 1x Datacenter SSD mit *echter* PowerLoss Protection

Dazu entweder einen 10GB Switch, oder 3x Netzwerkkarte mit 4x 10GB, und dann die Knoten im Kreis direkt verbinden.
Die Datacenter SSDs z.B. mit u2 Schnittstelle, und dann per PCIe Steckkarte rein.

Klingt spaßig:
Gigabyte MC12LE0
Ryzen 5600
2-4x 32gb DDR4 3200 UDIMM ECC RAM
1x PCIe zu U.2 Karte (wie https://geizhals.at/delock-pcie-u-2-2-5-90169-a3184755.html )
1x 2x 10Gbit NIC

MC12LE0 mit 5600 wird ca. 25-30W brauchen...
2x PLP U.2 SSD wsl. so 15W
1x NIC ca. 10-15W

Wird mit ca. 50W laufen, unter echter Last 100W... (ich hab ein Mc12LE0 mit 5650G hier und andere AM4)

Board ca. 50-80€
CPU ca. 80-120€ (5600, 5700x... 5900x würde ich dem Board nicht unbedingt antun, ginge aber mit Leistungsbegrenzung auf 65W wahrscheinlich)
RAM ca. 100€/Modul, also 200-400€
M.2 / U.2 Karte 50-150€ je nach Produkt/Adapter/etc
NIC ca. 100-250€ (je nach dem, bei einer Direktverbindung der 3 Dinger könnte man evtl. auch mit SFP28+ 25G NICs arbeiten, da sind nur die Switches so teuer, die Karten gehen eigentlich)
Netzteil ca. 100€ wennst ein normales ATX nimmst, z.B. BeQuiet Purepower 12M 650W oder so (ist sehr sparsam, hab ich in dem System), muss ja dann nix redundantes sein.
Gehäuse 4HE 100-1000€ (je nach Anspruch... würde 4 HE nehmen wenns "normale" ATX Hardware wird, sonst isses ein Gefummel).
+ Kühler und Kleinkram 100€
+ PLP SSDs (wohl das teuerste dran... 4tb sind 600-800€ ( https://geizhals.at/?cat=hdssd&xf=1...wer-Loss+Protection~4832_7&sort=p#productlist ) ... also sagen wir 900€ (für 1x 1TB U.2 + 1x 4TB U.2)

Zur Software kann ich nix sagen in dem Profibereich.


Ich kann nur zu so Heimserver-Frickel-Hardware was sagen (siehe oben), da ich das selbst betreibe, das aber auf keinem professionellen Level.
Ist halt Spielerei... muss einem halt bewusst sein.

 

[Supaman]

NIC ca. 100-250€ (je nach dem, bei einer Direktverbindung der 3 Dinger könnte man evtl. auch mit SFP28+ 25G NICs arbeiten, da sind nur die Switches so teuer, die Karten gehen eigentlich)

Mellanox Connect X3 sind eigentlich 25G karten, die kann man auf 40G umflashen, ist die gleiche Hardware.
Die Karten kosten so um die 80 Euro, ein DAC Kabel 40 Euro.
Da hätte man dann den fertigen Ring für 3 Knoten mit 40G Anbindung mit 360 Euro erschlagen... find ich ok

Und ja, wäre eine "Bastellösung", aber immer noch besser als Stand Alone.
Wenn das ganze wächst und Spielgeld in der Kasse ist, kann man auf bessere Hardware umrüsten.

 

[pwnbert]

Achja, noch ein Zusatz zu den PLP SSDs....

Das MC12 hat ja das Problem der wenigen PCIe Slots... wenn man jetzt so nen 40G NIC-Ring macht, kommt man ja nur noch mit 1g nach außen... falls das nicht reicht, braucht man ja noch ne NIC. Wenn der PCIe x16 schon besetzt ist mit ner 4x U.2 Karte ists blöd.
Es gibt allerdings so nen PCIe Riser, der 2x M.2 drauf hat (vorn und hinten) und mechanisch PCIe x16, elektrisch PCIe x8 "durch gibt".

Würde man jetzt M.2 statt U.2 SSDs verwenden, hätte man noch den x8 frei für ne 2. NIC. M.2 gibts wenig, Micron 7400 gibts "recht günstig" (laufen hat nicht sparsam, tun die U.2 aber auch nicht, brachen so 7W pro Stück, egal ob idle oder Last).

Wäre ne Alternative zu U.2, die vllt. gar nicht so schlecht wäre (und nochmal billiger).

Und ja, wäre eine "Bastellösung", aber immer noch besser als Stand Alone.

Basteln ist eh cool, und wenns explizit gewünscht ist, why not?
Muss ja der TE selbst wissen, was er am Ende damit macht - wollte das nur erwähnt haben, damits nicht das elende Systemhausgejammer gibt - und, weil man sich für so Bastellösungen halt mehr Zeit einplanen muss, sollte einem halt bewusst sein.
Aber wenn man weiss, worauf man sich einlässt, spricht da gar nix dagegen, denke ich. Gibt ja schlimmeres, als was zu lernen, und das Budget ist ja überschaubar für den Zweck.

 

[AliManali]

Das mit der Hochverfügbarkeit, nachvollziehbares Argument. Aber bisher ging das bereits über 8 Jahre tatsächlich gut, und meine Kunden kennen mich alle höchstpersönlich und waren bisher noch nie unzufrieden. selbst wo ich 2-3 Tage mal Backups einspielen musste.

Wenn dem so ist, würd ich mir allenfalls halt alles an Hardware auf Ersatz beiseite legen. Bei Defekt kannst Du die Datenträger umstöpseln, und weiter gehts. Selbst mit einem Cluster bist Du nicht gegen alle Eventualitäten abgesichert. Von daher würde ich die Kirche im Dorf lassen. Nach mir neben mehr als dreifachem Energieverbrauch auch noch unnötig komplex. Und schneller ist das auch nicht, würde meinen eher das Gegenteil davon.

 

[pwnbert]

Lustig wäre so eine Supaman'sche Dreieckslösung mit MC12 allerdings schon, ich glaub, fallenguru frickelt momentan an sowas...

 

[Supaman]

Wenn dem so ist, würd ich mir allenfalls halt alles an Hardware auf Ersatz beiseite legen. Bei Defekt kannst Du die Datenträger umstöpseln, und weiter gehts.

Du wirst lachen, aber für das IT Budget von vielen KMUs ist genau das die bessere und preiswertere Lösung als dubiose Support Verträge.
Und im Falle eines Falles SOFORT verfügbar.

Selbst mit einem Cluster bist Du nicht gegen alle Eventualitäten abgesichert. Von daher würde ich die Kirche im Dorf lassen. Nach mir neben mehr als dreifachem Energieverbrauch auch noch unnötig komplex. Und schneller ist das auch nicht, würde meinen eher das Gegenteil davon.

100% kriegst Du nie, oder es wird abartig teuer. Das "mehr" an komplexität hält sich bei Proxmox in Grenzen. Und ja es IST schneller, da da viele VMs nur idel'n/da sein müssen und Du für leistungskritische Anwendungen 3 Knoten zur Verfügung hast = 3 Knoten wo die Anwendung die CPU sich alleien hat. Das bedeutet, das Du nicht nur mehr Power zur Verfügung hast, sondern auch alle Wartungsarbeiten inkl Hardware Umbauten während der normalen Arbeitszeiten durchführen kannst. Von daher finde ich das Kosten/Nutzen Verhältnis völlig gerechtfertigt.

 

[AliManali]

Ja, hier liegt bzw. steht auch alles bisschen auf Ersatz bereit. 2x komplette Firewall und noch ein Board dazu, für den Server liegt das meiste bereit, kleiner Notfall Server steht noch da wenn ich mal am schrauben bin. Auch zwei komplette Workstations stehen. Im Worst Case müsste ich halt mal mit einer 1050 Ti klar kommen. Auch bei den Netzteilen habe ich geklotzt, die wurden alle durch die guten Seasonic ersetzt die letzen zwei Jahre. Da werden keine Chinaböller verbaut.

Letzte Nacht den Grossteil hinter einen Überspannungsschutz gehängt. USV fehlt, da habe ich keinen Bock mehr drauf, nachdem mir mal eine gekokelt hat im Wohnbereich. Bei einem – Gott bewahre – direkten Blitzeinschlag oder Wohnungsbrand würde ich allerdings auch alt aussehen. Nur ein kleiner Teil wird noch in die Cloud gesichert, das allernötigste halt.

Und dass so ein PVE Cluster ein nettes Spielzeug ist bestreitet auch keiner. Leider kein Platz und Kleingeld vorhanden, sonst käme ich gleich auch auf schräge Gedanken.

Falls Putin doch mal noch die Zar Bombe in der Gegend hoch gehen lässt haben wir dann wohl eh andere Probleme.

 

[pwnbert]

Leider kein Platz und Kleingeld vorhanden

Naja, 12 HE und ein paar MC12 finden sich schon noch... man kanns ja billig halten mit 32gb RAM / Node und billigen alten 10 Gbit Karten...

 

[ludwinator]

Hoffe mal du hast wenigstens ne gute Betriebshaftpflicht, vorbei ich vermute, ein Verzicht auf den ordentliche USV gilt schon als grob fahrlässig.

cu

 

[p4n0]

@ludwinator Ich denke solche Themen sind hier fuer den TE nicht relevant. Scheint mir eher nach Basteltrieb, Spielwiese und Lernen auszuschauen. Was ja auch ok ist, aber halt bitte kein Geld damit verdienen ^^

 

[ludwinator]

evtl. liest du nochmal von oben, das scheint mir schon sehr relevant.

 

[pwnbert]

Für so Spam sollte es Verwarnungen geben...

 

[AliManali]

Er meinte glaube ich mich. Der TE schreibt ja, USV vorhanden. Und bei meiner Ratzbatz Versicherung habe ich sogar die Grobfahrlässigkeits Klausel drin.