First Time EPYC

Ich hab ein Tyan S8030 und nen 7F52 als Bundle aus China importiert via eBay. Versand via FedEx, Zollabwicklung kein Problem. Händler sollte sich einfach finden lassen. Funktioniert tadellos, CPU war aufs Board montiert, nur WLP und Kühler drauf und ab geht's. Was ich Anfangs unterschätzt habe, was vll trivial klingt, weil man es eigentlich voraussetzt: Zumindest das Tyan-Board hat nur 2 USB-Ports. Ohne USB-Hub oder zusätzliche PCIe-Karte geht da nix. Kommt doch ein bisschen was zusammen, außer Maus und Tastatur.

10G ist, wenn man nicht gerade mit riesigen Datenmengen hantiert, Spielerei. Da sollte man ganz ehrlich mit sich selbst ins Gebet gehen und sich das vorher überlegen. Bei meinem NAS wollte ich unbedingt 10G onboard, im Nachgang wäre ich ohne vermutlich besser gefahren. Ich fordere die Geschwindigkeit ganz selten ab, verbrauche im Idle aber sehr viel mehr Strom. MIR hätten auch 1G gereicht. Bei der Epyc-Kiste habe ich dann ganz bewusst auf 10G verzichtet. Sollte ich das irgendwann mal benötigen, rüste iches über eine billige PCIe-Karte nach und gut ist.

Zum eigentlichen Thema zurück: beruflich habe ich Zugang zu mehreren H11SSL-xy und privat eben ein Tyan S8030, habe da also den direkten Vergleich. Von der Stabilität nehmen sich beide nichts, BIOS-Support ist bei Tyan (überraschender Weise) besser, die schieben öfter was nach. Bei Supermicro hatte man zumindest bei der H11-Serie das Gefühl, dass sie relativ schnell zum alten Eisen gehörte. Was mich beim Tyan störte, ich aber nicht weiß, ob das beim H11 bzw H12 auch so ist, war die Nutzung einer zusätzlichen GPU. Ich muss auf Gedeih und Verderb via VGA einen Bildschirm anschließen, um ins BIOS zu kommen und die integrierte GPU auszuschalten. Das Board wurde mit einer festen IP für IPMI geliefert, die nirgends vermerkt war, also ging es per Remotezugriff nicht. Jumper für Reset des IPMI gibt es auf dem Board nicht, also erstmal etwas finden, was noch VGA kann. 😅 Wenn man die IP für IPMI weiß, ergibt sich das Problem natürlich nicht. Die Oberfläche an sich ist bei Supermicro besser, auch die Firmware lässt sich einfacher aktualisieren. Da war das Tyan sehr wählerisch. Ich habe es bisher nicht geschafft, die IPMI-Firmware auf dem Tyan zu aktualisieren. Sobald ich die 4er-Firmware flashe, die sich ohne Probleme flashen lässt, ist IPMI kaputt. Zurückflashen auf die 3.xx ist möglich und danch geht alles wieder, aber die 4.xx bekomme ich nicht drauf. Solche Probelem hatte ich mit Supermicro bisher nicht.

Wenn ich die Wahl hätte, würde ich schauen, welches Bundle günstiger ist und dann meine Kaufentscheidung fällen. Trotz der Schwierigkeiten würde ich auch jederzeit wieder ein Tyan-Board kaufen.

Die Gigabyte-Professional-Boards kenne ich nicht aus persönlicher Erfahrung, aber die Consumer-Boards hinterlassen bei mir auch nur gemischte Gefühle. Gigabyte wäre bei mir nicht in der engeren Wahl.

€dit: als Ergänzung, falls du deine Speicherkapazität nicht aus alten Systemem übernehmen willst, sprich, du sowieso neu kaufen willst: lass das mit den HDDs sein, verzichte auf SATA-SSDs und mach alles per M2-SSDs. Bequemer geht's nicht. Kein Kabelsalat wegen SATA-Kabel oder Stromkabel, schneller und vermutlich auch nicht viel teurer. Die Boards könne PCIe-Bifurcation, da kann man wunderbar mit 2er oder 4er Adapterkarten arbeiten.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Habe da die negativen Bewertungen auch gelesen dazu. Bei uns läuft/lief alles super. Meist schreiben ja die was dazu, welche Probleme hatten.

Edit: habe mir die Bewertungen auf Geizhals nochmals angesehen. Wir haben weder Probleme mit dem BMC/IPMI, PCIe noch Oculink. Das läuft alles wunderprächtig.
 
Zuletzt bearbeitet:
ASRock Rack hinterlässt auch gemischte Gefühle. Die BIOSe sind auf jeden Fall nicht fehlerfrei, bzw fehlerbehafteter als zB Supermicro. Ich habe ein X470D4U2-2T für's NAS, nicht ganz vergleichbar mit einer Epyc-Platine, aber eben ASRock Rack. IPMI zerstört sich mitunter selbst, wenn das Log voll ist, bestimmte Energieoptionen erst gar nicht, dann fehlerhaft implementiert. Weitere BIOS-Bugs, die andere so schlimm nicht haben. Dann lieber Supermicro oder Tyan.

Wenn's läuft, läuft es stabil, habe bei meinem NAS auch keine Probleme (mehr). Aber der Weg dahin war schwieriger als man erwarten würde.

€dit: In diesem Thread kann man die Leidensgeschichte der betroffenen Personen nachlesen:

 
Ja, das X470D4U Board wollten wir zuerst nehmen für den Server. Kumpel war sich aber noch unsicher, ob er noch eine Gaming VM mit einer durchgereichten 1080Ti machen möchte. Wir sind dann aufgrund der Flexibilität auf Epyc gegangen, war glaube ich eine gute Entscheidung.

Wobei für ein baremetal NAS mit überschaubarer Kapazität wie es der @TE haben möchte, finde ich einen 16 Core Epyc mit 128 GB RAM - oder gerne auch mehr - gnadenlos übertrieben. Aber hey, wir sind im Luxx, gönne jedem sein Monster.
 
Edit: Bei den Supermicro-Hauptplatinen gibt es unten rechts noch solche orangen SATA-Buchsen. Das sind wahrscheinlich dann sogenannte Management-Buchsen. Weiß einer was genau damit verwaltet werden kann?
Das sind keine Management Buchsen, das sind Sata Ports mit integriertem Stromanschluss für sogenannte SATA-DOMs. Kleine SSDs direkt auf einem SATA Stecker für z.B. Boot-Laufwerke. Kann man aber auch als ganz normale SATA Anschlüsse nutzen (dann sollte man allerdings per Jumper den Stromanschluss deaktivieren).
 
Das sind keine Management Buchsen, das sind Sata Ports mit integriertem Stromanschluss für sogenannte SATA-DOMs. Kleine SSDs direkt auf einem SATA Stecker für z.B. Boot-Laufwerke. Kann man aber auch als ganz normale SATA Anschlüsse nutzen (dann sollte man allerdings per Jumper den Stromanschluss deaktivieren).
Super vielen Dank. Wieder was gelernt. :)
Beitrag automatisch zusammengeführt:

Dir ebenfalls vielen Dank. Genauso was habe ich gesucht.
 
Cache-SSD mit ZFS ist größtenteils Schwachsinn. Für bestimmte Dinge kann man das machen, dann muss man aber VIEL Geld investieren (Stichwort Optane). Entweder nimmt man eine Caching-SSD als L2ARC - da bringt erst dann was wenn der Ram komplett und dauerhaft dicht ist - read: Datenbanken oder ähnliches - und der RAM sollte das einfach nicht sein im Homelab. Oder man nimmt die SSD als ZIL, dann muss sie redundant und RATTENschnell sein. Beides bringt außerhalb Hochlastszenarien einfach verdammt wenig, dafür das es zusätzliche Komplexität rein bringt. @gea kann dir das bis in beliebige Tiefe runterbeten ;)
Was ich an dem Board nicht mag ist: Entweder NVMe oder Mini-SAS. Hier kommt es also darauf an was für und wie viele Platten du anhängen willst.
Wenn du 10G gehen willst brauchst du eh eine NIC.
Vergiss das mit dem Low Power, ZFS und proxmox. Das wird nichts. Ein EPYC ist kein "Spielzeug". Ja, man kann ihn zu medium bringen, aber: ZFS schläft nicht. Container schlafen selten. Versprich dir hier nicht zu viel. Prinzipiell gilt natürlich, in allen Belangen: SSD > HDD - außer PReis und Platz ;) Container und VMs würde ich immer auf einen NVMe-Mirror mit guten NVMes packen - also irgendwas mit (e)PLP - genauso das Betriebssystem selber, obwohl es da weniger wichtig ist als bei den VMs/Containern.
Kühler: Ich fahre das Vorgängerboard mit einem Dark Rock SP4 - geht also ;)
RAM: MEHR! RAM! NOCH MEHR RAM! Und dann, wenn das erledigt ist: NOCH MEHR RAM DAZU! Seriously: Ram kann man nie genug haben.
ok also angenommen ich entscheide mich für die onboard 10G Mainboard Variante und will über den onboard Controller SAS/nvme SSDs betreiben.
Was wäre da zu empfehlen?
 
Das kommt natürlich auf den Einsatzzweck und die Tiefe des Geldbeutels an. Viele nehmen einfach schnelle gute Consumerware, andere schwören auf Enterprisegedöns mit allem PiPaPo. Ich hab mir mein Backupkonzept überlegt (damit sollte man btw immer anfangen, keine Backups = keine Daten = kein Mitleid) und von da an aufbauend meine Platten überlegt.
Mein Szenario sieht so aus: proxmox ist auf einer kleinen Enterprise-SSD mit PLP installiert. Darauf liegen außerdem meine ISOs für VMs. VMs habe ich auf 2 verschiedenen Mirror-Pools installiert, einer liegt auf 2 Samsung PM9A3 NVMe "Disks", der zweite auf 2 Samsung 970 evo 2 "Disks". Die notwendigen m.2 Slots stelle ich über eine Asus Hyper M2 Card bereit. Auf dem ersten Mirror liegt Zeugs das einen Stromanschluss überleben muss (mein Arch mirror, meine "Ablagen" für die Clients via NFS, so Zeugs), auf dem zweiten Mirror liegt Zeugs das unproblematisch aus dem nächtlichen/wöchentlichen/monatlichen Backup restored werden kann.
Meinen onboard SAS-Controller hab ich an eine TrueNAS VM durchgereicht (da landet auch einer der 2 10G Anschlüsse, eine USB-Karte und einer der beiden 1G onboard ports) und daran hängt dann ein Raid-Z2 Pool mit 6 EXOS X16 Platten. Bei Platten würde ich immer zu etwas entsprechendem aka Enterprise greifen - was man da nimmt ist eigentlich egal. Und ja, die ziehen Saft. SSDs sind da überlegen, aber ich hätte 30TB+ via SSD bereitstellen müssen, da hätte eine (von mindestens drei) mehr gekostet als die 6 Platten zusammen, bis sich das über Strom rentiert hab ich die Platten drei mal ausgetauscht).

Das ist nur mein Beispiel, gibt bestimmt tausend andere/bessere/schlechtere Wege, und den einen "richtigen" gibt es nicht.
 
Weiß einer wie diese Prozessorkühler heißen? Die sehen auch interessant aus, da man diese dynamisch verstellen kann, also auch immer drehen kann.

1695560941030.png


Von hier abgebildet:

 
@myBerg: bitte beachten, dass die 72x2 Epycs nur vier Speicherkanäle haben.
Als Preis-Leistungsempfehlung bei ebay den Epyc 7302 und das Gigabyte mz32.
Die muss man als Server erst einmal ausreizen. Kombi <600€, RAM gibts gerade sehr günstig als ddr4 reg 3200.
Für SAS und 10G empfehle ich immer separate Karten, da man die einfach in den Nachfolger mitnehmen oder bei Konstellationsänderungen entsprechend versetzt. SAS 6G beispielsweise ist uralt und heute noch sinnvoll bei HDDs in backplane.
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh