[Kaufberatung] Server-Bau Hilfe

[Kosta]

Hallo Leute,

ich habe schon einiges an Admin-Erfahrung, aber wenig Erfahrung in Server-Bau und wie alles korreliert. Irgendwo muss ich anfangen zu lernen...

Ich schaue mich nach einem performanten Server. Ich will darauf mit der Zeit einiges laufen haben, einige VMs und auch ein Lab, eine RDS-Testumgebung, SQLs, Exchange usw. Daher will ich nichts unterdimensioniertes kaufen, da ich will dass das einige Jahr anhält. Das Budget ist vorhanden, Hardware alleine sagen wir etwa bis €4000 samt CPU, RAM und "Platten". (wobei wenn ich unter €3000 bleiben könnte, wäre das vor Vorteil)

Soll nicht weniger als 64GB RAM und habe mir vorgestellt ein Intel Xeon E5-2630 v4, mit ggf. Option für eine 2. CPU, das ist natürlich vom Mainboard abhängig.

Ich will eigentlich auf NVME basieren, und keine Platten, um maximale Performance bei Storage zu haben, jedoch möchte ich auch gewisse Redundanz. Die Umgebung kann für 1-2 Tage offline sein, das ist kein Problem, da wichtige VMs wie AD zusätzlich gehostet werden und Rest muss ich mir eine Art vom Backup einfallen lassen, was ich relativ schnell zurückspielen kann, wenn notwendig.
Ein separates Storage möchte ich eigentlich nicht, ZFS kenne ich, da möchte ich aber (derzeit) nicht investieren. Eine gut dimensionierte Synology-NAS mit 8 Platten für das Backup ist bereits vorhanden.

Und ich will eigentlich ein Selbstbau, keine fertigen HP-Server, da man für das Geld normalerweise wesentlich mehr Leistung bekommt. Und auch wesentlich interessanter ist, und man lernt mehr...

Als mögliche Redundanzen:
2x PSU
2x NVME für VMs

Die Idee ist in den Server bis zu 3 NVMEs zu verbauen, bspw. entweder 1x NVME für Hyper-V und 2x NVME für die VMs, oder wenn auf VMWare basierend, dann brauche ich ja keine 3. NVME. Da die Samsungs 960 PRO 1TB etwa €550 kosten, hätte mir gedacht zwei in RAID-1 laufen zu haben. Und da stehe ich jetzt an...

Nach einigem googeln, komme ich nicht auf fixe Info ob man die NVMEs relativ easy zu einem RAID-1 machen kann. Überall finde ich Info zu SAS/SATA-RAIDs, aber nichts für NVME. Allgemeine Suche spricht von RAID-Adapterkarten für NVME, HighPoint Global website. Aber nicht viel weiter. Supermicro bietet Adapter-Karten für NVME, aber erwähnt kein RAID: Super Micro Computer, Inc. - Products | Accessories | Add-on Cards | AOC-SLG3-2E4, aber wie das funktionieren soll, verstehe ich auch nicht... SAS-Schnittstelle für M.2? Es gibt auch Riser-Cards PCIE: Super Micro Computer, Inc. - Products | Accessories | Add-on Cards | AOC-SLG3-2M2.

Dann gibt es Supermicro Boards mit NVME Support die ein VROC-Key benötigen...

RAID ohne Adapterkarte, aber über CPU/Chipsatz... C612 soll können...

Im Endeffekt sehe ich auch fertige Server, wie zB: Supermicro | Products | SuperServers | 1U | 6019U-TN4R4T

Aber nochmals, Selbstbau ist interessanter, und wahrscheinlich günstiger?

Meinetwegen kann ich auch im Consumer-Bereich bleiben, falls dort etwas möglich ist, habe ich wenig eingelesen:
PRIME X299-A
Asus Hyper M.2 Karte
VROC-Key... ist aber noch nicht verfügbar soweit ich lesen kann.

Also wenn ihr für mich Tipps für Suche, Stichwörter die ich mir anschauen muss habt, dann bitte her damit, ich lese mich gerne ein.

Danke

 

[Morpheus2200]

Wenn du eine redundante Stromversorgung haben möchtest sind die Komplettpakete renomierter Hersteller oft keine schlechte Wahl.
Warum tust du dir die Windows Virtualisierung an wenn du VMware nutzen könntest? Ein Hostsystem das alle paar Tage/Wochen reboots für Sicherheitsupdates braucht macht es ohne redundante Server quasi unmöglich eine halbwegs vernünftige Verfügbarkeit zu erreichen. Au0erdem braucht man schon ein oder zwei Laufwerke für das Hoste System.

Dieser Raid-Key erlaubt dir auf Intel Boards RAID level >0 also 1 und 5 zu nutzen. Das ohne den Key ist das feature deaktiviert.

Ich kaufe für virtualisierung meist 2 Socket Systeme mit relativ viel RAM und 5 Jahren Garantie, VMWare zertifiziert vom großen Hersteller. Das läuft in der Regel sehr ordentlich. Einmal Firmware/Bios updates nach Lieferung einspielen, VMware ESX konfigurieren und in 5 Jahren ersetzen. Zwischendurch am besten nicht anpacken müssen. Ist selten, dass man in dem Zeitraum wirklich mal was kritisches patchen muss.
Ein remote Management, dass mich bei fehlerhaftem RAID oder PSU status per mail informiert nehme ich auch meist.
Seitdem ich solche Systeme betreibe möchte ich nichts anderes mehr für 0815 Serverdienste. Das spart einfach so wahnsinnig viel Zeit und Sorgen.

 

[besterino]

Alternativ ein Barebone von Supermicro, gibt’s als Tower oder 19“ mit redundanten PSUs, Expander-Backplane für Platten und Lüftern. Allerdings kannst Du dann auch fast den kompletten Server von denen nehmen, denn beim Mainboard landet man ja auch gerne bei Supermicro...

Tower mit redundanten Netzteilen: https://geizhals.de/?cat=gehatx&xf=533_2~535_redundantes+Netzteil~599_Supermicro&sort=t&hloc=de&v=e

19“: https://geizhals.de/?cat=geh19&xf=1036_Supermicro~899_redundantes+Netzteil&sort=p&hloc=de&v=e

Gut, oder Mainboard von AsrockRack oder Intel. Dann muss man evtl. noch an ein Adapterkabel denken, das die Front-IO Anschlüsse auf die üblichen 2-PIN aufdröselt.

Die 1U PSUs sind aber bisweilen recht laut - für 24/7 im Wohnbereich m.E. nur mit Vorsicht zu genießen. Kommt aber wohl auch bei Supermicro auf den genauen Typ an.

 

[Morpheus2200]

Redundant ausgelegte Netzteile haben oft aufgrund der kompakten Größe kleine Lüfter die schnell drehen und Lärm machen.
Ich denke die Supermicro Barebones wären wenn du unbedingt was zusammenbauen willst keine schlechte option.

Ich würde aber nochmal überlegen, was für dein Vorhaben wirklich Sinn macht.
Sind die PSUs an der gleichen Phase ohne USV? Was versprichst du dir davon? Oder hast du da wo du den Server betreiben willst USV oder 2. Phase liegen.
1-2 Tage Ausfall kannst du dir doch leisten sagst du. In der Zeit kann man auch eine neu PSU kaufen und einbauen.

Schau dir die professionellen Lösungen an und überleg dir mal welche features du für deinen Server in deinem Einsatzgebiet haben möchtest.

 

[Kosta]

@Fr@ddy:

Danke für dein Input, das macht Sinn. Von renomierten Herstellern nehme ich an redest du jetzt von bspw. Supermicro/HP? HP ist mir zu teuer, vor allem wenn man PCIe NVMe SSDs einsetzen will. Man kann natürlich den Server mit nur CPU kaufen, und dann eine PCIe-Karte von anderen Hersteller reinsetzen... dürfte auch funken, oder? Aber trotzdem ist hier noch die Frage RAID1, ob das mit HP überhaupt geht. Supermicro bietet bereits Mainboards mit mehreren M.2 Slots, jedoch sind die Server bereits ohne CPU, RAM, oder Platten bei €2000, was ich eigentlich für übertrieben halte.
Ich erwähnte eh VMware, würde ich auch so tun - boot vom USB/kleine SSD, 2x PCIE M.2 im RAID1. Weiterhin ist die Frage wie erreiche ich RAID1 mit 2 M.2s...

@besterino
Danke. Wie funktioniert das mit Expander-Backplane, verstehe ich nicht ganz? Wie kommen da die M.2s zum Einsatz? Wohl nicht über SAS.

 

[besterino]

Ne, sorry, die Expander Backplanes sind für SAS/SATA Anschlüsse.

Nach einer Plattform mit NVME-Anschlüssen „statt SAS/SATA“ hab ich neulich auch mal geschaut, aber nichts Gescheites gefunden. Diese Adapterkarten, die z.B. einen x16 Slot in 4x x4 aufteilen, sind m.E. auch noch zu teuer und Kompatibilität außerhalb der (teuren) supporteten System dann auch fraglich. Ganz zu schweigen von „NVME-HBAs“, wenn’s die überhaupt inzwischen gibt. HighPoint und Broadcom hatten da mal was angekündigt:
RAID-Hostadapter für PCIe-NVMe-SSDs | heise online

Ist halt die Frage, ob man das wirklich braucht? Solange Du „nur“ über 2x NVME im RAID1 nachdenkst, würde ich eher in Richtung onboard m.2 Slot plus Adapter PCIE auf m.2 und das Ganze dann als Software-RAID nachdenken. Das funzt dann wenigstens mit 08/15 Hardware. Als Boot-Device und Grundstorage 2 kleine SATA-SSDs mit Powerloss Protection, zB. die Samsung sm863 mit 120GB im Raid1 mit den Standard Chipsatz-Funktionalitäten für „pseudo-Hardware RAID“ - kannste dann auch problemloser von Booten.

Da drauf dann Hyper-V installiert und die NMVE als Software RAID einrichten. Mit ESXi wird’s glaub etwas fummeliger, da ESXi selbst kein RAID kann? Daher sind dann viele mit ESXi (so auch ich) bei einer Storage-VM, die das dann übernimmt und an die du die SSDs dann durchreichst.

Willst Du doch was mehr auf der Hardware-Seite, würde ich bei Deinem Budget aber wohl mal einen Supermicro-Reseller anschreiben und nett fragen, was da möglich und vor allem kompatibel ist. Würde da vielleicht mal bei Sona oder Jacob anfangen, die haben SM im Programm und bei mir waren die im Kontakt immer sehr freundlich.

EDIT: nur damit da keine Missverständnisse aufkommen - ich hab weder mit Supermicro noch sona, Jacob oder sonstwem irgendwas zu tun. Nenne die Marke bzw. Shops nur aus eigener Erfahrung als ganz normaler Consumer-Kunde.

EDIT2: schiete. Bin angefixt. Für etwas über 100 Euro der HBA (https://www.supermicro.nl/products/accessories/addon/AOC-SLG3-4E4T.cfm), der angeblich mit allen X11er Boards vom SM funzen soll, also ja auch mit meinem X11SPi... nur wie bekommt man eine m2 SSD an OCuLink Ports?

 

[Kosta]

Vom Highpoint/Broadcom habe ich schon gelesen, die Sache ist aber bereits aus 2016. Glaube nicht dass das was aktuelles ist, bzw. finde ich dazu im Geizhals nichts.

Meinst du als Software-RAID die Konfiguration in Win2012R2, wo man die zwei einzelne Platten in der Computerverwaltung zum RAID-1 macht? Oder meinst die Software-RAIDs die auf Basis von Chipsets, also von Mainboards unterstützt werden? Ich glaube nämlich beides heißt Software-RAID. Einzig Hardware-RAID sind die Controller-Karten und die o.g. Highpoint/Broadcom-Karte.

NVME-HBAs gibt's, auch bei SM:
Super Micro Computer, Inc. - Products | Accessories | Add-on Cards | AOC-SLG3-2E4
Wenn ich es richtig verstehe, kombiniert damit:
Supermicro® Accessories for Application-Optimized Solutions | Products - Super Micro Computer, Inc.
Soll man die NVMEs direkt an PCIe anbinden können.

Das mit 2x SSDs und 2x m.2 bin ich eh beim überlegen.

Mit Storage-VM meinst du ne virtualisierte NAS?

Bei Sona wurde mir empfohlen auf SSD zu bleiben, also vermutlich SAS. Das Angebot bekomme ich noch.
NVME Server sind sehr teuer, man beginnt bei €1800 ohne CPU, RAM und Storage. Das schießt ziemlich sicher über mein Budget weit hinaus.

Ich könnte natürlich überlegen wie du sagst auf ein gutes Consumer-Board oder halt SM, wo man zwei NVME hat, die dann in 2012R2/2016 in Software-RAID binden. Ich würde HV eigentlich aufgrund der Kompatibilität bevorzugen, da ESXi ja ziemlich meckert, wenn man nicht die zertifizierte HW nimmt.

Einer den ich kenne baut Server auf Basis von Asus-Boards, i7-CPU, und NVMEs die man dann irgendwie doch in BIOS zum RAID-1 macht - wie auch immer. Und die Hardware kostet nicht mehr €1900, inkl. Gehäuse von SM und 2x Netzteil:
ASUS Z270-K PRIME
i7-7700
32GB RAM
2x 500GB NVME, RAID-1 -> 2012R2 HV + VMs
SM 19zoll 2HE Gehäuse, 1x Netzteil

Scheint zu funktionieren, ich würde jedoch HV vom SSD-Verbund trennen.

Irgendwie kristalisiert sich für mich die Sache:
Entweder Board mit 2x m.2 drauf, dann im OS zu RAID-1
oder
SATA/SAS-SSDs (2-4) im pseudo-RAID am Mainboard

4 SSDs sollen so schnell wie 1x m.2 NVME sein. Dafür ist man beim Mainboard günstiger, angeblich.

Ich muss da noch viel forschen...

 

[besterino]

Jo, ich meinte eine Kombo aus „reinem“ Software-RAID auf den PCIE-SSDs über das OS und einem „pseudo Hardware-RAID“ mit dem Chipsatz (in der Tat eigentlich auch eine Art Software-RAID) für die SATA-SSDs.

Intel- oder SM-Boards laufen nach meiner Erfahrung problemlos mit ESXi, sofern da keine allzu exotische Hardware drauf sitzt. Mein recht neues X11SPi-TF läuft z.B. anstandslos mit dem ESXi-Standardiso.

ASUS ist im Consumer-Bereich meine „Hausmarke“ für Mainboards. Bei Servern aber eher nicht.

Nur mal so: da wo Hyper-V in Sachen Hardware-Kompatibilität vielleicht weiter als ESXi ist, gibt es dafür dann Probleme mit dem ein oder anderen Gast-OS (z.B. Solarish). Auch Cluster lassen sich schon mit den kostenlosen Varianten bauen (Für Live-Migration braucht man aber eine AD). In Sachen „Gastvielfalt“ ist dafür ESXi m.E. echt ungeschlagen, hat dafür an anderer Stelle eben Schwächen.

4SSDs sind m.E. auch kein idealer Ersatz für eine PCIe-SSD. Ich hab ja sowas mit 4 256GB ADATA SATA-SSDs im RAID0, die kommen aber schon an meine 1TB PM961 bei weitem nicht ran. Und zwei 1TB 960 Pro spielen nochmal in einer ganz anderen Liga.

 

[Kosta]

Okay, und warum wären Supermicro zB. Asus eher überlegen? Sofern ich sagen würde ich bleibe bei einer CPU, non-ECC RAM, dann gäbe es auch keinen Grund auf SM zu gehen, oder? Es ist denke ich nicht so dass Asus eher schneller kaputt wird, als SM, sofern die Kühlung passt? Was bietet SM an Mehrwert?

 

[besterino]

Mal anders gefragt: was sparst Du?

Selbst wenn Du nur einen Sockel willst und auf ECC verzichten magst (würde ich nicht), haben Consumer-CPUs nur 16 PCIe-Lanes. Das ist mir jedenfalls zu wenig: 10Gbit NICs fressen idR 8 Lanes, dazu dann 2x PCIE-SSDs mir je x4 und Du bist am Ende. Dann noch das Limit bei den Kernen 4 mit Z270 bzw. 6 mit z370), RAM Max 64GB ohne Luft nach oben. Gerade bei einem Virtualisierungs-Host muss man schon sehr genau wissen, dass man mehr nicht braucht. Hab das hier irgendwo glaub im 2017er Hardware Thread schonmal zusammen gestellt und überschlagen gerechnet. Du kannst selbst mit dem neuen Sockel 3647 und Silver-Xeons was Preiswertes bauen.

EDIT: hier war das Plus einige Postings im Anschluss, hat am Ende dazu geführt, dass ich mir mein aktuelles System gebaut habe:

Nur meine eigenen Überlegungen: Wenns um einen Server mit ernsthaften Virtualisierungsambitionen geht, würde ich heute keinen Sockel 1151 mehr kaufen. Insbesondere nicht, wenn das Vieh auch Storage als all-in-one liefern soll. Zu wenig Kerne (Passmark hin oder her), zu wenig PCIe-Lanes.

Nur mal zum Thema PCIe-Lanes (Xeon E3 hat nur 16! - immerhin 3.0 aber trotzdem):

1x Storage HBA/Controller = 8 Lanes (meistens 2.0)
1x 10Gbit = 4-8 Lanes (auch meistens 2.0)

Schaut man sich die Platinen-Layouts an, hilft einem auch nicht, dass die Karten nur 2.0 wollen und theoretisch noch Bandbreite über wäre. Steckste zwei, max. 3 Karten rein, ist meistens Ende.

Besser wird's erst mit den Xeon E5ern (40) bzw. zukünftig Bronce/Silver (48), also Sockel 2011-3 bzw. 3647. Da kann man dann endlich zur Grundausstattung auch vernünftig Graka/PCIe/NVME-SSDs dazustecken.

Zum Thema Kerne: die Last auf solchen Kisten benötigt selten hohe Single-Thread Performance, sondern wegen der vielen VMs primär parallele Leistung. Also Kerne. 'nen E5-2620v3 (6x2,4GHz mit 12 Threads, knapp 10000 passmark Punkte) bekommste auch schon ab 360 Euro.

Board dafür: ab ca. 250 Euro. Und was dir an m.2-Slots fehlt, rüstest Du mit einem 10-Euro Adapter easy nach.

Ach und der Speicher (registered ECC) ist sogar etwas billiger: 16GB DDR4 rECC Modul zu ca. 140 Euro gegen 16GB unbuffered ECC Modul ab 147 Euro. =) Na gut. Sind keine Welten.

D.h. aber mal überschlagen, bei Dir wärst Du bei CPU+Board+RAM (2x16) bei Euro 815,16. Mit der andren Plattform und "vergleichbarem Speicherausbau" (dann z.B. 4x8GB, also 50% bestückt) bei ca. 199 RAM + 360 CPU + 250 SM-Board mit IPMI bei Euro 809. Gut, noch einen m.2 Adapter drauf für'n 10er: 819. Also im Prinzip kein Unterschied.

Und sollte das mal irgendwann nicht mehr reichen, kannst Du vermutlich bald aus einer Vielzahl gebrauchter E5-v3 CPUs wählen, die in Zukunft auf den Zweit-Markt (ebay) kommen. Bei 1151 gibt's einfach keine Kernwunder, da kommt auch nix mehr.

Nur mal als Überlegung.

 

[AliManali]

Hi

Ich habe da selber keine Erfahrung mit echter Serverhardware. Aber ich habe seit 2011 einen ESXi auf Consumerhardware am laufen. Würd ich nie wieder machen. ECC ist in dem Bereich Pflicht, IPMI oder vergleichbares fehlt auch, was heisst, ich kann im laufendem Betrieb keine Sensordaten auslesen. Und ich brauch eine extra GPU nur für die Hardwarekonsole. VT-d brauchst Du auch, um PCIe Karten oder z.T. auch Mainboard Controller (bei Supermicro) durchzureichen.

Ich würde heute nur noch Serverhardware kaufen.

Ich würde ich mich da auch nicht versteifen auf NVME RAID, und was weiss ich. Ich nehme an, das möchtest Du wegen der Performance? Bei ESXi mit nativem Storage hast Du glaub ich kein Trimm, und so(?)... Also brauchst Du meines Wissens da Server SSD.

Ich habe seit neuem einen Storagecontroller, da dran hängen eine 2 TB SSD und 2 Platten. Da kann ich auch die smart Werte auslesen. Die Consumer SSD ist unglaublich, die bringt genug Dampf für über 15 VM's.

Weil wenn Du Dein Storage nativ an den ESXi hängst, musst Du halt auch Backup und vSphere lizenzieren. Ich würd daher den VM Storage per NFS zur Verfügung stellen.

 

[Kosta]

Aufgrund einiger Recherchen und Diskussionen habe ich entschieden keinen Selbstbau zu tätigen. Das Budget wurde erhöht, und wir sind bei etwa €6000, da dürfte sich was gutes ausgehen.
Und jetzt wird's lustig...

Welcher Server oder Marke wird mit einer 3rd-party SSD auskommen? Gibt's da irgendwelche Tests, oder ist grundsätzlich nur das Caddy das Problem und die Platte kann wohl irgendeine sein?? Ich denke der Server kann ja gar nicht wissen wirklich was ihm gefuttert wird, oder? SSD ist doch SSD...?

Habe mich ein wenig umgeschaut, und an etwas wie ein Lenovo SR630, Modell 7X02A049EA, ca. €3700, 32GB rein, und dann die Platten/SSDs. Von NVME habe ich mich so gut wie verabschiedet, da die Anforderungen im (echten) Server-Bereich viel zu hoch sind (die Dinger kosten schweineviel, und wollen dann noch meistens 2. CPU, warum auch immer).

Weiß wer wie das Thema mit Server und Fremplatten ist? Gibt's da Sperren, so dass die Platte nicht erkannt wird, auch wenn Caddy natürlich passt?

 

[Digi-Quick]

Bei einigen Herstellern bekommst du die Trays nur mit HDD oder SSD - oder nur mit viel Mühe bei ebay. Des weiteren haben die HDDs/SSDs zum Teil angepasste Firmware - genauso die Controller.
Fremdhardware läuft entweder gar nicht oder es wird protokolliert, daß diese eingebaut ist. Die Folge ist, daß der Herstellersupport u.U. raus ist (vor Ort Service etc.), da die SLAs gebrochen sind. (z.B. HP, Lenovo usw.)

Andere Hersteller sind da nicht ganz so restriktiv, da diese nur Standardhardware zusammenbauen. (Happyware, ICO etc.)
Da bekommst du aber nicht unbedingt gleichwertige SLAs.

 

[Kosta]

Käse. Vor allem das Protokollieren. Hätte ohne Protokollieren damit leben können... (ausbauen, da wie gesagt, Server nicht kritisch ist, es gibt auch noch den alten Server)

Wie sieht es mit Fujitsu aus? Die neuen M4 sehen recht attraktiv mit mehreren PCIe Slots aus.

Bspw. eine solche Kombination:
Fujitsu Primergy RX2530 M4, Xeon Silver 4110 Preisvergleich sterreich
Crucial DIMM Kit 64GB, DDR4-2666, CL19, reg ECC (CT4K16G4RFD4266) Preisvergleich geizhals.eu EU
2x Intel SSD 750 1.2TB, PCIe 3.0 x4 Preisvergleich sterreich

Die Intels in RAID1, wahrscheinlich als Storage Space in 2012R2.

Booten von 2 SSDs im RAID1.

PS: Oder Supermicro halt? Die bauen ja auch auf Standardhardware, oder?

 

[Sightus]

[...]Fremdhardware läuft entweder gar nicht oder es wird protokolliert, daß diese eingebaut ist. Die Folge ist, daß der Herstellersupport u.U. raus ist (vor Ort Service etc.), da die SLAs gebrochen sind. (z.B. HP, Lenovo usw.)[...]

Gibts da irgendwo ne Übersicht? Ist diese Aussage "in Stein gemeißelt"? Hatte bisher nämlich bei Lenovo keine Probleme, wenn andere HDDs verbaut waren, was die Techniker definitiv gesehen haben müssen.

 

[Kosta]

Welche Lenovo wenn man fragen darf?

 

[Sightus]

Müssten Lenovo x3500 m4 bzw. die "IBM" x3500 m3 gewesen sein, sind aber nicht mehr in Betrieb. Bin mir aber relativ sicher, dass da 3rd-Party Platten verbaut waren, weil die orig. Options damals unbezahlbar waren.

 

[danielmayer]

Bei vorhandenem Geld und der SSD Fiktion:
http://www.tyan.com/Barebones=TN70AB8026=B8026T70AV16E8HR=description=EN

edit: sorry falsches Modell. hier das richtige:
http://www.tyan.com/Barebones_TN70AB8026_B8026T70AE24HR

 

[Kosta]

Was heißt "SSD Fiktion"?

Die Seite geht nicht auf.

 

[jdl]

PS: Oder Supermicro halt? Die bauen ja auch auf Standardhardware, oder?

Supermicro verwendet konsequent eigene Hardware, aber i.d.R. nicht bei Netzwerkkarten, SAS-HBAs … Es gibt auch spezielle Supermicro Versionen bei einigen Server, musst halt vorher das Modell genau anschauen und was der Händler einem verbauen will. Der Vorteil bei Supermicro ist, dass man die Wahl hat. Aber generell sollte man bei SAS Backplanes, HBAs und vor allem RAIDs aufpassen. Die Hersteller (Broadcom, Adaptec, …) führen Listen welche SSDs und HDDs mit den Controllern kompatibel sind. Wenn man ein Hardware betreiben will, sollte man sich daran unbedingt halten. Z.B. Consumer SATA Geräte weisen zum Teil merkwürdiges Antwortverhalten auf, so dass die RAID-Controller aus dem RAID-Verbund werfen. Dann hat man viel Ärger. Mit SoftRAIDs gibt es dass Problem meistens nicht.

- - - Updated - - -

EDIT2: schiete. Bin angefixt. Für etwas über 100 Euro der HBA (Super Micro Computer, Inc. - Products | Accessories | Add-on Cards | AOC-SLG3-2E4), der angeblich mit allen X11er Boards vom SM funzen soll, also ja auch mit meinem X11SPi... nur wie bekommt man eine m2 SSD an OCuLink Ports?

Es gibt spezielle U.2 Einsätze für M.2 SSDs.

- - - Updated - - -

Vom Highpoint/Broadcom habe ich schon gelesen, die Sache ist aber bereits aus 2016. Glaube nicht dass das was aktuelles ist, bzw. finde ich dazu im Geizhals nichts.

Preise für solche Hardware musst Du üblicherweise erfragen.

4 SSDs sollen so schnell wie 1x m.2 NVME sein. Dafür ist man beim Mainboard günstiger, angeblich.

Das hängt von den SSDs ab. SAS gibt es als 6G und 12G, dazu können viele SAS SSDs Wide verkabelt werden, was den Durchsatz verdoppelt. D.h. mit zwei SAS SSDs lassen sich die gleichen linearen Datenraten erreichen. Allerdings sind die IOPS Werte von größerem Interesse. Der Punkt ist, was hast Du da überhaupt vor?

 

[danielmayer]

http://www.tyan.com/Barebones_TN70AB8026_B8026T70AE24HR
Bei mir geht der Link...
Tyan Epyc Barebone mit 24x NVME-based SSD Hotswap.
Das andere Barebone mit 8xNVME und 16xSata.
Mit SSD-Fiktion ist ganz lieb gemeint, dass du mehr als nur ein vm-hosting-Pärchen haben willst. NVME braucht unmittelbare PCIe-Lanes. Der Epyc hat 128 davon und Tyan setzt auf einen NVME-specialized Server. Also evtl. Genau dein Ding...?

- - - Updated - - -

Zu den SAS-SSDs: wir haben in der Firma auf Intel SAS umgerüstet und sind ziemlich enttäuscht. Das NVME-Prtokoll ist m.E. besser.
edit: sorry für den Schreibstil. Mobile...

 

[Kosta]

Das hängt von den SSDs ab. SAS gibt es als 6G und 12G, dazu können viele SAS SSDs Wide verkabelt werden, was den Durchsatz verdoppelt. D.h. mit zwei SAS SSDs lassen sich die gleichen linearen Datenraten erreichen. Allerdings sind die IOPS Werte von größerem Interesse. Der Punkt ist, was hast Du da überhaupt vor?

Was ich vorhabe: ein wirklich performantes Teil zu bauen, was weit darüber hinausgeht, was wir aktuell wirklich *laufend* brauchen, da ich weiß was in den nächsten Jahren kommen könnte.
Die Sache ist, ich habe gestern ein wirklich üppiges Budget bekommen, bis Jahresende ordentliche Sachen anzuschaffen soll, nicht nur Server. Und das ist für mich die Ansage: 1-2 CPUs, vorerst 64GB RAM und viele IOPS. Dazu kommt auch noch ne Firewall...

Warum IOPS. Wir testen und installieren viel. Und die Sache ist, diese Installation-Tests müssen ruck-zuck gehen. Ich habe fertige Windows-Images die ich via WDS draufklatsche, und dann unsere Software mit SQL-SE, das dauert schon mal ne Weile, ganz gerne über 2 Stunden auf einem "Normalsystem", und das geht nicht. Ich habe schon gesehen wie die Installationen auf einer NVMe laufen, und das ist mal was ganz anderes.
Weiterhin läuft drauf ein RDS, dass bis zu 10 Nutzer lizenziert ist, dieser ist für Schulungen und Foren die wir im Haus halten, da darf es nicht an Leistung fehlen. Aber, zT habe ich ja das oben auch geschrieben...

Ich habe gestern Thomas Krenn "entdeckt". Sie haben so einen netten Konfigurator wo man sich die eigene Konfiguration zusammenstellen kann:

Eventuell würde ich noch auf 10GB NIC erweitern (€120), mal sehen.

Ich hätte ursprunglich etwas in Bereich von €4000 erwartet. Aber es hat mich überrascht dass ich dann in der Besprechung was anderes erfahren habe. Die GL will definitiv was ordentliches, wo keine Leistung fehlt... Und das wäre glaube ich etwas was ich suchen würde. Passt sich in das Budget für alles, TK bietet offensichtlich gutes Service, bis zu 5 Jahre, Garantie vorhanden, grundsätzliche finde ich da alles gut. Auch die Meldungen von anderen Foren sind OK. Wird empfohlen soweit ich sehen kann. Und, ist kein Selbstbau, was die GL definitiv abgewiesen hat.

Ja, es hat sich einiges geändert, aber ich wurde "beauftragt" sozusagen.

On-Top soll dann noch eine Firewall kommen, Sophos oder Watchguard, so die Vorstellung. Die Racks sollen getauscht werden, Sicherungssoftware gekauft usw.

Aber was nochmals zu erwähnen ist: auch wenn alle Server abbrennen, und nichts mehr da ist, ist das KEINE Tragödie. AD lässt sich nachbauen, mühsam, aber ja, alles können inzwischen lokal arbeiten, da unsere Hauptserver in DE sind (wird sind in AT) und unsere Produktivumgebung ist in DE auf einem WTS. Ich kann alle lokal anmelden, als Admin, und sie können arbeiten. Das ist wichtig. AD, SQL, Test-Umgebungen, ja, sehr mühsam wieder aufzubauen, aber möglich. Kein Wertverlust. Zeitverlust ja. OK, Zeit ist Geld, aber ihr wisst was ich meine...

TK hat in AT kein vor-Ort Service, ist klar, aber ich glaube damit kann ich leben, da ich bei HP/Lenovo/Fujitsu sowieso Probleme hätte, würde ich Fremdhardware einbauen (und die o.g. Komponenten direkt von Herstellern zu beziehen ist unbezahlbar).

Grundlegende Frage: bin ich mit TK in so einer Konstellation gut unterwegs?

 

[Trambahner]

Marvell-LAN? Hmmm, keine Erfahrung damit, aber überzeugt mich aus dem Bauch raus nicht wirklich.

 

[Kosta]

Man kann auf 10GBit "upgraden", ist dann Intel Controller. Kann genauso auf mein 1GBit Netzwerk anschließen. Es gibt aktuelle kein akutes Bedarf nach 10GBit, aber wird sicher früher oder später sein...
Übrigens, habe auf dem Angebot 4x 400GB SSC drauf, aber ich würde eher 2x 800GB bevorzugen, also ein einfaches RAID1. Ich weiß nicht ob sinnvoll, aber erscheint mir so, um mehrere PCIe frei zu haben. Ich glaube von Performance her, wird da kein Unterschied merkbar sein. Oder ich bleibe bei 4x 400GB, baue damit 2 Software-RAID1-Arrays in Windows. Damit hätte ich 2x 400GB.

 

[jdl]

Wirf mal einen Blick auf diese Seite SuperMicro Ultra Server, die Ultra Systeme haben einen konfigurierbaren Netzwerkriser.

 

[Federmaus]

Tu dir selbst den Gefallen und geier nicht beim RAM rum > 128GB.

 

[Kosta]

Ich geier nicht. Ist eine Vorab-Konfiguration. Die "Option" auf 128GB nehme ich beim finalen Angebot sowieso mit. Ich klatsche nicht gleich €20,000 auf den Tisch. Man muss wissen wie man die Sache verkauft ;-)

Nun hier die zwei aktuelle Konfigurationen:

2HE Intel Dual-CPU RI2208 Scalable *
Supermicro Mainboard X11DPi-N
14x SATA-3 (6 Gb/s) SW-Raid Controller on Board C621 (0,1,5,10)
2x 1GBit/s on Board LAN (Marvell 88E1512)
2x Intel Xeon Silver 4110 (2,10GHz, 8-Core, 11MB)
64 GB (4x 16GB) ECC Reg DDR4 2400 RAM 1 Rank (Bestprice)
2x 150 GB SATA III Intel SSD MLC 2,5 (DC S3520) Serie (inkl. 3,5" Einbaukit)
4x 400 GB Intel SSD MLC NVMe PCI-E 3.0 (DC P3700 Serie)
2x 740 Watt redundantes Hot Swap Netzteil (80plus Platinum)

Oder:

2HE Intel Dual-CPU RI2208 Server *
X10DRI: 10x SATA, 2x LAN on Board
8x SATA-3 (6 Gb/s) SW-Raid Controller on Board C612 PCH (0,1,5,10), 2x SATA-3 DOM-Ports
Intel i350 Dual Port on Board LAN
2x Intel Xeon E5-2620v4 8-Core 2,1GHz 20MB 8GT/s
64 GB (4x 16GB) ECC Reg DDR4 2400 RAM 1 Rank (Bestprice)
2x 150 GB SATA III Intel SSD MLC 2,5 (DC S3520) Serie (inkl. 3,5" Einbaukit)
4x 400 GB Intel SSD MLC NVMe PCI-E 3.0 (DC P3700 Serie)
2x 740 Watt redundantes Hot Swap Netzteil (80plus Platinum)

Ich hoffe dass TK statt 4x 400GB auch 2x 800GB hat.

Deren Service ist auch etwas was mir entspricht, haben auch vor-Ort wenn man ja zahlen will. Ist gut.

Die zweite Konfig ist etwa €500 günstiger. Was soll ich lieber nehmen? Ich finde nämlich keine direkten Vergleiche 4110 vs E5-2620v4 (außer die CPUBoss usw., die sind nicht wirklich ausschlaggebend).

 

[fdsonne]

Wat sollen die Dinger kosten!?
Denn dein Beitrag da weiter oben ließt sich wie, ich hab den Auftrag ... Geld spielt fast keine Rolle ... Rocken muss es. NVMe Raid in Größenordung, viel CPU, massig RAM und wenn ich mir die Konfig nun ansehe, sorry, aber das ist doch ne Gurke!?


Nich übel nehmen, aber du willst anständig virtualisieren, so entnehme ich der Anfrage eingangs, dann drück da RAM ein und nicht CPU! Problem dabei ist, RAM ist aktuell teuer. Ich habe die Tage zwei meiner Bleche auf 768GB aufgerüstet (+256GB) -> kostet fast 10k. OK, ist Marke, also vom Server Hersteller, aber im freien Markt ist das so ultra viel billiger auch nicht!
Auch sparst du dir am Besten das NVMe Zeug, überbewertet aus meiner Sicht in der Virtualisierung, einfach aus dem Grund, du brauchst idR absolut keine massiven sequenziellen Datenraten, sondern erzeugst massiv hohen Random IO Workload. In deinem Fall sogar recht viel Write IO Last durch das Einspielen der WDS-Images. Hier sind so viele wie möglich "normale" SAS SSDs einfach mehr wert als ne Hand voll NVMe SSDs.
Spare aber nicht am Modell. Einfache Consumer SSDs brechen dir möglicherweise gnadenlos zusammen bei hoher IO Dauerlast!

Weiter mit der RAM Menge -> Exchange (welcher? bei 2016 brauchst du min. 12GB, besser 16, bei größer auch mehr!), SQL (welcher? Verträgt auch viel RAM), WDS (säuft RAM fürs Cachen der Images von Disk), Terminal Server (säuft RAM nach Anzahl der User und je nach Anwendungen -> 10 User und angenommen 10 aktives Firefox = 10-15GB RAM Bedarf)
Da kommste mit 64GB hinten und vorne nicht hin.

Ne Windows Installation KANN man zwar via WDS auch mit 4GB runter reißen, aber das Ding wird dir wohl swappen -> mehr RAM = mehr HDD Cache = weniger IO Load am Storage = schneller.
Die Aussage zu den 2h Installzeit kann ich auch nicht teilen. Bei mir dauert das vllt 15-20min für meine preconfigured Images. Auf HDD direkt mit nem 0815 Fujitsu Standard Notebook der Lifebook E7xx Reihe. Auf SSD wirds schneller, aber nicht so ultra viel, aber es wird. Die Windows Installation ist mittlerweile Image basiert (seit Vista)... Es wird einfach nur das Image ausgepackt und bisschen Anpassung danach durchgeführt. Hier ist auch CPU Rechenpower pro Thread/Core gefragt.
Mal im Vergleich, ne horn alte AMD Phenom I CPU (2GHz K10 based von 2009) benötigt für ein Windows 10 Update (7 als Basis) auf ner Samsung Pro 830er SSD gute 2h. Aktuelles Intel/AMD Clientsystem auf der gleichen SSD mit ebenso 8GB RAM macht das in nichtmal ner halben Stunde... Die 2,1GHz CPUs in viele Cores sind also für das was ihr da vor habt, auch irgendwie vllt nicht die richtige Wahl!? Eher ein HighClock Modell mit weniger Cores.


Was mir hier noch völlig fehlt ist das Thema Lizenzen...
Um wie viele Windows VMs sprechen wir denn hier? Weil Single Host, pro Standard Edition gute 600€ = 2x VMs pro Lizenz. Ne Datecenter kostet dich um die 5k. Dafür unlimited VMs.
Theoretisch! müsstest du ne Datacenter nutzen, denn du darfst die Lizenzen offiziell nur alle 90 Tage transferieren... Ggf. könnte man das aber Verargumentieren in Sachen Testversionen -> für die Windows Client Tests!
SQL kostet dich nicht nur nen hunderter. Exchange ebenso. CALs für Win Srv. und RDS sind auch noch ein paar Euros oben drauf.

Weiß wer wie das Thema mit Server und Fremplatten ist? Gibt's da Sperren, so dass die Platte nicht erkannt wird, auch wenn Caddy natürlich passt?

Ich verwendet Fujitsu Raidcontroller (gelabelte LSI Controller) mit Cosumer SSDs. Geht ohne Mucken... Aber nicht in jeder Lebenslage. Wie schon angemerkt wurde, es gibt auch Systeme, da gehts nicht... Fujitsu DX80 S2 bspw. frisst nur Disks/SSDs mit angepasster Sektorgröße (nicht 512Byte!)

Wie sieht es mit Fujitsu aus? Die neuen M4 sehen recht attraktiv mit mehreren PCIe Slots aus.

Kann man machen...
Ich würde an deiner Stelle aber, anstatt hier selbst Preise zu suchen einfach mal mit einem zertifizierten Händler in Kontakt treten... Du hattest Thomas Krenn erwähnt, ähnliche Preise schießt dir auch ein Händler mit Fujitsu. Das ist gut und gerne mal 30-50% unter Liste. Bei größeren Summen auch mal 50+% unter Liste, wenn die daraus Projekte machen. Lass dich nicht von den vermeindlich hohen Preisen blenden. Die zahlt so oder so Keiner! Ohne nen Händler kommst du da für gewöhnlich aber nicht an anständige Konditionen
Wenn ihr Cisco Partner seit, könnte sogar Cisco Hardware interessant sein, die sind Liste nochmal ne ganz andere Hausnummer, aber je nach Partnerlevel und Kondition ist das durchaus günstig. Vor allem wenn man durch mehr Umsatz auch im Partnerstatus steigt



Xeon 4110 vs. 2620v4 ist quasi gleich. Nimmt sich also nicht viel. Der 4110er ist neuer, eine Generation um genau zu sein, kann ein paar Sachen mehr, AVX ist bspw. eine Generation neuer. Dürfte dir aber wenig bis nichts bringen für 0815 Standard Zeug. Ggf. lässt sich von der alten v4 Gen. noch ein Schnäppchen machen Wegen Restbeständen...

 

[Kosta]

Wat sollen die Dinger kosten!?
Denn dein Beitrag da weiter oben ließt sich wie, ich hab den Auftrag ... Geld spielt fast keine Rolle ... Rocken muss es. NVMe Raid in Größenordung, viel CPU, massig RAM und wenn ich mir die Konfig nun ansehe, sorry, aber das ist doch ne Gurke!?

Ursprünglich war von mir €4000 angedacht. Das wurde aufgrund der Anforderungen hochgeschraubt, und zwar auf €6000, und jetzt bin ich schon bei €8000 und möchte es nicht mehr strecken. Geld ja, fast keine Rolle, trotzdem ist ein Budget vorhanden, und für mehrere Sachen als nur der Server. Daher muss ich ja das beste zusammenstellen, was für das gegebene Budget möglich ist. Ja, damit wurde ich beauftragt. Zuerst stelle ich mal was so zusammen, aufgrund von mehreren Diskussionen, und dann wenn ich mal selber ne Idee habe, beauftrage ich einen IT-Dienstleister (kenne ich bereits eh mehrere). Mit dem bequatsche ich die Sachen, hoffentlich mit einer Idee wovon wir sprechen.
Rocken ist dehnbarer Begriff. Was für einen rockt, ist für den anderen ne Gurke. Du musst verstehen dass wir von einem 4 10k-Platter HP G7 kommen. Da ist ein aktueller System mit mehrfachen SSD oder NVMe einfach weit voraus.

dann drück da RAM ein und nicht CPU!

Da gebe ich dir Recht. 64GB sind wahrscheinlich unterdimensioniert. Ich werde eh wahrscheinlich auf 128GB gehen, sofern sich das vom Budget ausgeht.

Ohne genau zu sagen welche Firma und welche Software wir nutzen, ist für dich sich schwer vorzustellen, was wir nutzen. Aber die üblichen VMs, also Exchange bspw, da hast du recht. Wir werden aber auch keine 25 Postfächer drauf haben, da dieser Server *nicht* unsere Produktivumgebung ist.
In der Produktivumgebung haben wir ja ein Exchange, alles für unsere täglich Arbeit, und dass wir von unseren Mutterkonzern verwaltet. Da können wir auch nicht eingreifen, keine zusätzliche Software installieren usw.

Exchange lokal wird eher für paar einfache Postfächer verwendet, derzeit mehr für Lernzwecke als was anderes, da wir zukünftig gewisse Dienstleistungen unseren Kunden bieten sollen, und diese Umgebung soll uns ermöglichen paar lokale VMs zu tragen (tlw. produktiv, tlw. Test, tlw. Lernzwecke).

Derzeit haben wir:
1x VM DC
1x VM SQL (2 Instanzen, keine hohe Last), WDS, WSUS
1x Win10 mit weiteren SQL (soll zukünftig auf ein SRV gezogen werden)
2x Win10 Test-VM, unsere Software (auch je mit SQL) -> die kann man nicht kombinieren
Ausgelagert in RZ:
1x DC
1x SQL
1x RDS

Weiterhin haben wir unseren RDSH ausgelagert, und die ausgelagerte VM ist jetzt auch nicht der Oberhammer. Bspw. hat RDS nur 8GB RAM. (wird aber noch auf 16GB erweitert).

Es soll dann zukünftig alles lokal sein.

Auf den RDSH verbinden sich BIS ZU 10 User (10 RDS CALs für SRV2016 sind bereits vorhanden), also meistens wesentlich weniger, im laufenden Betrieb 2. Also glaube ich dass die neue "Gurke" das gut fressen wird, egal ob ich jetzt auf mehrere SSDs oder NVMe gehe. Es soll auf den neuen Server 2016 draufkommen, ggf. auf den alten auch. Mal sehen.

Dazu kommen dann noch die kommende und gehende Test-VMs. Die werden weder lizenziert/aktiviert, da sie nach den Tests meistens gelöscht werden.

Die Aussage zu den 2h Installzeit kann ich auch nicht teilen.

Ich spreche von der Installation unserer Software, nicht Windows (obwohl das alles zusammengehört). Diese ist grundlegend sehr lange, auf unserem aktuellen Server, mit Windows, kommt man locker über 2 Stunden heraus. Eher Richtung 3 Stunden.
Und da genau denke ich sind die NVMe vom Vorteil. Ich hatte bereits auf einem 8-Platter-15k System installiert - war recht schnell, dann aber auch auf 4x-SSD System - ja war auch spürbar schneller, aber zuletzt auf einem NVMe RAID1-Verbund, und das war dann schon ganz anders. Da konnten sich die SSD leicht verstecken. Aber gut, das ist lediglich meine Erfahrung. Möglicherweise wären 8 SSDs im RAID schnelle - k.A.
Sollen nicht die NVMe die größte Write IO bieten? (wir reden ja hier von IOPS, ja?)

Das ist aber genau das Thema wo ich unsicher bin. Preislich wäre ich mit 12 SSDs in etwa im gleichen Preisbereich. Und ja, mir ist bewusst, dass die IOPS steigen. Wieviel, bin ich noch am forschen bzw. warte noch auf eine gscheite Beratung.

Thema Lizenzen ist separat, da wird auch besorgt das was notwendig ist. Hier geht es lediglich um das Thema Server.

Ich würde an deiner Stelle aber, anstatt hier selbst Preise zu suchen einfach mal mit einem zertifizierten Händler in Kontakt treten...

Ist sowieso schon im Laufen.

 

[besterino]

Gibt ja auch „professionelle, zertifizierte“ Supermicro Händler, also solche, die keine Endkonsumenten bedienen. Da bekommst deinen Dual v4 mit 2x 1TB NVME Samsung 960 Pro, Raidcontroller, 128GB RAM und Boot SSD locker für 8000 Euro.