[Kaufberatung] Server-Bau Hilfe

[Kosta]

Ich hätte gedacht die Samsung 960 Pro wären für Server-Verwendung ungeeignet? Weil ursprunglich hätte ich mir das genau auch vorgestellt. Wozu brauche ich einen extra RAID-Controller? Für RAID1 für Boot SSDs kann ich genauso vom Mainboard fahren.

 

[besterino]

Kommt halt drauf an, für was und in welchem Setting. Wir haben davon 2 im Raid1 plus die Kiste hängt im RZ redundant an 2x USV (dick) und 2 unterschiedlichen Stromkreisen, wobei die Daten auf den SSD noch nichtmal kritisch sind und noch x-mal woanders (Active-Active SAN + Backup) liegen. Das ist eine „Number-bzw. Daten-cruncher „special purpose Box“, bei der die Berechnungen schnell, und die Daten bei der Berechnung richtig und auch schnell kommen müssen. Bei den SSD liegen Daten ganz konkret dann, wenn IO dabei der Flaschenhals ist.

Soll heißen, recht ordentliche Infrastruktur ist „sowieso schon da“ und musste für diese Box nicht (auch) noch beschafft werden. Ist das nicht der Fall oder die Anforderungen andere, mögen Dinge wie Powerloss Protection und anderes wichtiger sein.

Auch die Frage „Support“ sollte man sich stellen. Dann mag sich sowas nicht mehr rechnen und eine Komplettlösung TK, Dell oder oder oder ist am Ende preiswerter. Alle „wichtigen“ Produktivsysteme kommen zum Beispiel bei uns von Dell mit entsprechenden Supportverträgen. Unwichtigeres/Testgedöns/Lab dann aber ggf. durchaus von woanders.

 

[gea]

Ich konfiguriere alle unsere Server selber je nach Einsatz aus SuperMicro Komponenten. Der Grund ist einfach die größere Flexibilität und dass ich passende Teile unbegrenzt nachkaufen kann. Entweder lasse ich die dann von unserem Fachinformatiker zusammenbauen oder kaufe die "Build to Order" bei ICO, Happyware oder TK, siehe Products - Super Micro Computer, Inc.

Sachen wie das Case z.B. mit 24 x 2,5" Backplane und redundante Netzteile sind immer identisch. Kosten ca 1000-1500 Euro. Als nächstes setze ich die wichtigsten/teuersten Komponenten wie RAM z.B. 128GB Kingston ECC liegen bei ca 1500,-- (4 x 32GB). Dann kommen Platten dran. Für VMs würde ich auuschliesslich auf SSD/NVMe setzen und da nur Enterprise Modelle mit Powerloss Protection. Da NVMe für Raid/U2 etc erst am Kommen ist würde ich noch auf normale SSD setzen, bevorzugt Intel Datacenter DC Modelle DC S37xx oder DC 36xx. Bei NVMe die entsprecheden P-Modelle - auf keinen Fall Desktop Teile, ab 800 GB Kapazität. Da kann man denn auch 2000 Euro rechnen, macht für die wichtigen Sachen ca 5000 Euro.

Dann ein Mainboard, entweder klassisch Dual Sockel 2011-3 oder Single Xeon-D für Low Power oder die neuen single Xeon Sockel Cores nach Wunsch und Geldbeutel, idealerweise mit 10G und LSI Controller (HBA oder Raid nach Anwendung). Da liegt man dann für Board + CPU ab ca 700 Euro, nach oben offen. Günstiger sind single Core CPU mit vielen Kernen. Die neuen Sockel 3647 Systeme haben da auch ausreichend Lanes.

z.B.
Supermicro | Products | Motherboards | Xeon Boards | X10DRD-iNTP
Supermicro | Products | Motherboards | Xeon Boards | X10SDV-7TP4F

Ich selber sehe mir gerade die ganz neue Serie an als Basis für meine nächsten Storage/VM/AiO Systeme
X11SPH-nCTPF | Motherboards | Products - Super Micro Computer, Inc.
X11SPH-nCTF | Motherboards | Products - Super Micro Computer, Inc.

Diese Boards könnten die großen Abräumer werden. Sie liegen bei ca 500 Euro dazu eine CPU zwischen 500 Euro und 2000 Euro.
siehe auch mein pdf http://www.napp-it.org/doc/downloads/napp-it_build_examples.pdf

Zum Controller
Es gibt HBAs für Softwareraid und Raid 1/10. Softwareraid müsste man auch bei NVMe machen. Alternativ Hardwareraid. Setze ich selber zugunsten ZFS nicht mehr ein. Da sollte man aber zwingend auf LSI + Cache + BBU bzw Cachevault setzen.

Am günstigsten/schnellsten ist ein HBA mit Raid 1/10 und entsprechenden SSDs.


Bleibt natürlich die Frage ob man intern IT Personal und Reserve/Ersatzteile hat oder für alles Support braucht, also Anrufen und jemand kommt um eine Platte oder Mainboard zu tauschen.

Bei mir halte ich immer Redundanz/ Reservesysteme bereit - sollte man aber vermutlich auch bei Dell, HP, Lenovo etc so halten.

.. aber der Thread heißt ja Server Bau Hilfe

 

[Kosta]

gea,

Danke dir, deine Vorschläge decken sich eigentlich mit der von mir zuvor geposteten Konfiguration.

würde ich noch auf normale SSD setzen, bevorzugt Intel Datacenter DC Modelle DC S37xx oder DC 36xx. Bei NVMe die entsprecheden P-Modelle

P3700 sind keine "normale" SSD. Sind ja PCIe basierte (genauso wie M.2) mit NVMe Speicher drauf. Oder verstehe ich da was falsch? P- sind halt die Enterprise, und die würde ich auch bevorzugen. Eben zwei Stk in RAID1 in Storage Spaces, dann ReFS drauf, und das für VHDX. Unsere Software mag kein ReFS, aber das ist wohl bei VHDX die dann eh NTFS ist, eigentlich egal. Mit zwei bin ich auf €2600, ziemlich üppig, aber machbar.

Aber das verstehe ich dennoch richtig, ein Hardware-RAID für zwei P3700 soll nicht möglich sein. Nur Software (in Windows). Richtig? Wofür sollen dann die Controller, HBA usw. gut sein?

Das wichtigste beim ganzen ist dass ich einen Händler oder Dienstleister finde (Wien oder nahe Wien) der sich mit Supermicro auskennt, uns den Server zusammenstellt, liefert und gewisses Service dazu bietet (in etwa wie TK). Ich finde aber so in der Richtung keine. Die meisten werden konfigurieren, evtl. zusammenbauen, aber Service ist so gut wie non-existent.
Selbstbau ist sicher interessant, aber die Idee gefällt weder mir noch meine Chef, wenn es um das Thema Firma geht - beide sind der Meinung dass man sich das zusammenstellen lassen sollte, auch wenn es was kostet oder allgemein teurer ist. Da wenn etwas nach dem Zusammenbau nicht funkt, na viel Spass...

Die Mainboards sind sehr interessant!

 

[gea]

P-3700 sind PCI-e Enterprise NVMe. Da geht nur Softwareraid. DC-3700 sind Enterprise Sata. Damit kann man eine normale Backplane bestücken und hat Raid oder Hotplug. DC/P 3600 sind fast so gut aber günstiger. NVMe/U2 Backplanes mit Hotplug sind erst am Werden.

Als Storagealternative setze ich auf ZFS statt ReFS, deutlich besser managebar, schneller und zuverlässiger.
Man braucht dann halt ESXi + ZFS Storage-VM als Unterbau oder ein dediziertes 10G SAN für iSCSI oder NFS. Braucht aber auch etwas KnowHow.

Zum Thema SM Systemhaus in Wiener Raum kann ich leider nichts sagen.
Ich würde auf jeden Fall ein weiteres eventuell kleineres Backupsystem empfehlen das auch als Reservesystem taugt. Eventuall sogar ein oder besser zwei SM System von der Stange nehmen, z.B. Supermicro | Products | SuperServers | 2U | 5029P-E1CTR12L Da fehlt nur SSD, CPU und RAM.

 

[Kosta]

DC S3700 sind aber nicht "deutlich" günstiger. Kosten auch rund €1200, genauso wie die P3700 PCIe Karten.

Wir haben bereits einen G7, dieser rennt eh, und bleibt weiterhin bestehen. Dieser würde 2. DC tragen, und die Möglichkeit haben die wichtigsten, wenn auch nicht alle (nicht gleichzeitig mit seiner Ausstattung, klar) Rollen vom Hauptserver in der kurzen Zeit wieder aufzunehmen - zwar nicht performant, aber zumindest funktionierend. VHDX drauf, VM erstellen, starten, fertig. Oder Veeam-Restore, wenn wir das einsetzen... Möglicherweise gibt's bessere Wege, aber das würde ich jetzt aktuell so lösen.

Wie von dir vorgeschlagen, so baut auch TK. Im Prinzip ein Barebone, und dann sucht man sich selber die Hardware.

Es wurde mir jedoch empfohlen das nicht zu tun, da ein Systempartner von uns, er baut für sein Hosting Server (no-go für uns), und sagt ich soll lieber mir das machen lassen, wegen Garantie dass die Sache funkt, und nicht dass ich dann selber dem Chef erklären muss, warum die Konfig nicht sofort funkt... (wobei ich nie im Leben eine defekte CPU hatte o.ä., aber schon vom Werk aus defekte Mainboards, RAM...).

 

[gea]

DC S3700 sind aber nicht "deutlich" günstiger. Kosten auch rund €1200, genauso wie die P3700 PCIe Karten.

DC/P 3600 sind günstiger als 3700 und fast so gut
Die Schittstelle ist preislich fast egal.

 

[Trambahner]

ZFS hätte auch noch Vorteile wg. LZ4, Snapshots für fixe Backups bzw. Rollbacks, Serialisierung von I/O-Writes wenn ausreichend Ram zur Verfügung steht.
Eine Solaris-Kiste kann auch problemlos DC P36xx/37xx stripen/mirrorn, sofern nicht virtualisiert (oder geht original Solaris mittlerweile mit NVME vt-d Passthrough?).

Eventuell wäre auch eine Optane SSD (P4800X) was wg. der niedrigen Latenzen?

 

[Kosta]

Eventuell wäre auch eine Optane SSD (P4800X) was wg. der niedrigen Latenzen?

Nettes Ding, aber preislich geht das schon zu weit.

 

[Kosta]

Kommt halt drauf an, für was und in welchem Setting. Wir haben davon 2 im Raid1 plus die Kiste hängt im RZ redundant an 2x USV (dick) und 2 unterschiedlichen Stromkreisen, wobei die Daten auf den SSD noch nichtmal kritisch sind und noch x-mal woanders (Active-Active SAN + Backup) liegen. Das ist eine „Number-bzw. Daten-cruncher „special purpose Box“, bei der die Berechnungen schnell, und die Daten bei der Berechnung richtig und auch schnell kommen müssen. Bei den SSD liegen Daten ganz konkret dann, wenn IO dabei der Flaschenhals ist.

Soll heißen, recht ordentliche Infrastruktur ist „sowieso schon da“ und musste für diese Box nicht (auch) noch beschafft werden. Ist das nicht der Fall oder die Anforderungen andere, mögen Dinge wie Powerloss Protection und anderes wichtiger sein.

Auch die Frage „Support“ sollte man sich stellen. Dann mag sich sowas nicht mehr rechnen und eine Komplettlösung TK, Dell oder oder oder ist am Ende preiswerter. Alle „wichtigen“ Produktivsysteme kommen zum Beispiel bei uns von Dell mit entsprechenden Supportverträgen. Unwichtigeres/Testgedöns/Lab dann aber ggf. durchaus von woanders.

OK, so eine Konstellation haben wir nicht. Wir haben eine USV, und der Server hängt per USB dran, beim Stromausfall fährt der Server nach 5min herunter. Aktueller Server hat zwei NT, aber beide sind auf der selben USV (ich glaube eine APC 1500VA), und auch ein Stromkreis.
Die Daten sind allerdings nicht kritisch, werden auf eine NAS gesichert, und dann noch auf eine ext. Platte die auf der NAS hängt synchronisiert.
Grundsätzlich wären dann fix auf dem Server:
AD-Datenbank
4 SQL Instanzen (und einige DB dahinter), sind insg. wahrscheinlich nicht mehr als 20GB (2 Referenz-Umgebungen unserer Software, zwar Produktivumgebung, aber nicht unser Tagesgeschäft, und nicht kritisch, Password-Safe, Zeiterfassung)

Das kritischste dabei sind genau zwei Sachen:
AD-DB
Große Referenzumgebung (aber nur dann, wo sie gebraucht wird) - bspw. Seminare im Haus, die nicht allzu oft passieren (wir reden von 3-4x pro Jahr). Und das ist genau der Knackpunkt - die ganze Kiste geht, und dann kackt ab genau vorm Serminar. Aber ja, das kann passieren sowohl mit P3700 und auch 960PRO, es muss ja nicht das Storage sein...

Da der zweite Server eigentlich eine Performance-Kiste werden sollte, schaue ich dass ich das auch durchbringe, und die erste G7-Kiste, kann man ja jederzeit ein wenig aufmotzen, und kann dann als Ausfallserver dienen.

Im Endeffekt ist unsere Konstellation eine spezielle, weil wir eben unüblich für andere, unsere Produktivumgebung tatsächlich nicht im Haus haben, und der Server bei uns nur einen kleinen Produktivitätsanteil trägt, und mehr das "Testgedöns" macht, und dann nur mal hin und wieder "wichtig" wird.