[Kaufberatung] Heimserver-Hardware für NAS und Virtualisierung?

[Trambahner]

Tut der C24x ja. Der arbeitet auch mit i5/i7, nur dann halt ohne ECC. Diese i3/i5/i7/ Xeon E sind im Prinzip alles nur Derivate des gleichen Chipdesigns mit unterschiedlicher Kernzahl und unterschiedlichen freigeschalteten oder gesperrten Features.

Im Prinzip ist das Ding nicht viel was anderes als ein Q-Chipsatz, der halt nicht für Xeons gesperrt ist. Diese Sperrerei in der 115x-Welt hat Intel ja letztlich auch nur durchgeführt, damit auf den Consumerchipsätzen seinerheit keine Xeons mehr laufen, sondern man teurere i7 kaufen musste. Das war mit der Haswell-Generation nämlich durchaus preislich interessant, einen 12xxV3 auf nem Consumerboard einzusetzen.

Letztlich kommt es aufs Board-Bios und ggf. Blacklists/Whitelists (sofern vorhanden) an.
So gibt es z.B. durchaus kleine Lenovo SFF PCs, die nen C-Chipsatz am Board haben aber mit i5/i7 verkauft werden.

 

[hominidae]

im Zweifel den Support bei Supermicro fragen....wird vom BIOS abhängen.
Ich würde für ein Board mit IPMI aber dann den i3 ohne IGP empfehlen, zB I3-9100F

 

[Gelöschtes Mitglied 295938]

Ich brauche die GPU aber fürs Video-Transcoding.

Inwiefern hängt die iGPU mit dem IPMI zusammen?
Für das IPMI ist ja noch der Aspeed AST2500 drauf so wie ich das verstanden habe.
Die iGPU wollte ich dann an die Emby/Plex VM/LXC durchreichen.

 

[Trambahner]

Das muss mit der iGPU nicht unbedingt funktionieren.

 

[hominidae]

Jepp...IGP durchreichen muss nicht funktionieren...bei Server Boards, die i.d.R. CPUs ohne Graka nutzen kann die sogar stören, siehe auch: Supermicro X11SSH-F und X11SSH-LN4F Mainboard – Thomas-Krenn-Wiki

 

[Gelöschtes Mitglied 295938]

Jepp...IGP durchreichen muss nicht funktionieren...bei Server Boards, die i.d.R. CPUs ohne Graka nutzen kann die sogar stören, siehe auch: Supermicro X11SSH-F und X11SSH-LN4F Mainboard – Thomas-Krenn-Wiki

Dass es keine Garantie gibt, dass das funktionieren wird ist mir bewusst.
Ich weiß nur dass das durchreichen der iGPU grundsätzlich nicht unmöglich ist.
Siehe z.B. HIER

Im von dir verlinkten Artikel finde ich nichts dazu, dass die iGPU stören würde o.Ä.
Was wolltest du mir mit dem Artikel sagen?

 

[hominidae]

Ein SM Board mit IPMI und IGP Suport ist zB das X11-SCA ... aber ob IGP durchreichen klappt, ist offen....und ob der I3 unterstützt wird, den SM Support fragen (die haben oft ein "Beta-Bios" parat...erst fragen, dann kaufen)

- - - Updated - - -

...und mit welchem Board, CPU und BIOS wurde das gemacht?

Im Artikel, ganz unten: Problem X11SSH-F und X11SSH-TF mit Intel Pentium G4400 unter Ubuntu beheben – Thomas-Krenn-Wiki ... ist nicht das X11SCH, sondern X11SSH aber es gilt analog....frag den SM-Support, die sind schnell.

 

[Gelöschtes Mitglied 295938]

Den Support werde ich auf jeden Fall mal diesbezüglich anschreiben, danke für den Tipp.

das X11SCA-F ist das einzige X11SCA.. mit IPMI, hat aber leider nur einen LAN Port.
HDMI, DP und Audio, oder gar USB3.1 brauche ich alles nicht.
Oder hat ein Board welches die iGPU unterstützt zwangsläufig auch einen HDMI, .. Anschluss?

Bzw. wie kommst du darauf, dass genau die Boards X11-SCA die iGPU unterstützen, und gehst davon aus, dass es mein X11SCH-LN4F nicht tut, bzw. bist dir dessen unsicher?
Wegen eben dem HDMI-Anschluss?
Okay, ich vermute mal deshalb:
Grafik: GP (via CPU/APU), Aspeed AST2500

Nagut, ich mache einfach mal eine Pause und warte darauf was der Support sagt.
Vielen Dank!

 

[hominidae]

...und Dein Artikel ist kein "passthrough" , also nicht im eigentlichen SInne an eine VM...nur sichtbarmachen in einem Container (LXC oder Docker)....das ist nicht dasselbe, die IGP läuft dabei immer noch unter dem Haupt-OS.

 

[Gelöschtes Mitglied 295938]

das ist nicht dasselbe, die IGP läuft dabei immer noch unter dem Haupt-OS.

Aber solange die VM oder der Container davon profitiert ist mir das relativ egal.
Oder sollte es das lieber nicht sein?

 

[hominidae]

Oder hat ein Board welches die iGPU unterstützt zwangsläufig auch einen HDMI, .. Anschluss?
[...]
Bzw. wie kommst du darauf, dass genau die Boards X11-SCA die iGPU unterstützen, und gehst davon aus, dass es mein X11SCH-LN4F nicht tut, bzw. bist dir dessen unsicher?
Wegen eben dem HDMI-Anschluss?
Okay, ich vermute mal deshalb:
Grafik: GP (via CPU/APU), Aspeed AST2500

...ganz genau...die IGP braucht ja auch nen OutPut-Anschluss...Normaluser will da einen Monitor anschliessen und ein Bild haben...die IPMI Graka ist eher bescheiden, reicht fürs BIOS update oder Notfälle.

- - - Updated - - -

Aber solange die VM oder der Container davon profitiert ist mir das relativ egal.
Oder sollte es das lieber nicht sein?

Die Technik ist ne gaaaanz andere.
Für ne VM wird vt-d genutzt Support in Chipsatz und CPU genutzt....für nen Container braucht es das nicht....da wird nur das Device in das Filesystem des Containers gemountet, damit es für die Prozesse da drin sichtbar und nutzbar wird..

Edit: sollte Dir das egal sein? Nicht wenn es die Software, die Du auf die IGP ansetzen willst nur für ein anderes OS als das Haupt-OS gibt (zB Haupt-OS unter Linux, Software in VM unter WIN).
Dann brauchst Du echtes passthrough.

- - - Updated - - -

...hier noch was Lektüre: Intel IGD (integrated graphics) Pass Through Support - March 2016 Update - VM Engine (KVM) - Unraid ...aber eben für VMs
Edit: und wohl nur bis 5th Generation soweit ich das überfliege

 

[Gelöschtes Mitglied 295938]

Vielleicht hab ich mir da bei meinem ersten Projekt auch einfach zu viel vorgenommen.

 

[Stueckchen]

Ach eigentlich ist das doch kein Problem: Mainboard mit C236/246 die iGPU, kann bzw. sollte für das durchreichen nutzbar sein. Sobald die iGPU als Device erscheit lässt sich diese auch durchreichen / für transkoding nutzen. Ab Broadwell geht bei Intel auch vGt (oder so), also eine iGPU an mehrere VM's durchreichen. Das habe ich aber nochnicht selber testen können.

 

[hominidae]

...das erste Projekt ist immer schwer und irgendwie muss jeder seine Fehler mal selbst machen ;-)
Das Problem bei diesen eierlegenden Wollmichsaukisten ist, dass irgendetwas immer zu kurz kommt....Leistung, Effizienz, Geräusch, Flexibilität, Erweiterbarkeit,....

Nach vielen Projekten bin ich inzwischen auf einem Setup, das aus drei Kisten besteht und nur die Kleinste, mit dem was man wirklich 24/7 braucht ist ständig an (läuft auf unRAID mit nem i3-8100 und 10W im idle)...der Rest schläft und wird nur geweckt, wenn was ansteht.
Das ist für mich das Flexibelste und Effizienteste, aber braucht auch am meisten Platz (und Anschaffungskosten).

 

[netresident]

Supermicro X11SCH-LN4F und Intel Xeon E-2146G
Das ist mir dann allerdings doch schon etwas zu teuer für meinen ersten Server.

Da Du in Deinen ersten beiden Posts ältere Komponenten für einen ähnlichen Preis (-30€) aufgeführt hast, habe ich mich daran orientiert.
Wenn Du mit dem i3-8100 startest, hast Du bei der CPU 200€ gespart und kannst später immer noch aufrüsten. Machst also aus meiner Sicht nichts falsch.

Hier im Marktplatz gibt es auch immer mal wieder günstige Gelegenheiten, vielleicht wäre das für den Anfang auch einen Blick wert?

 

[Gelöschtes Mitglied 295938]

Ein Fan von gebrauchter Hardware war ich noch nie.

Aber aktuell favorisiere ich den i3-8300, bzw, i3-8100. Einziger nennenswerter Unterschied scheinen ja 100 MHz, 3W TPD und 27€ Preisunterschied zu sein.
Aber erst mal sehen was der Support bzgl. Mainboard, i3 und iGPU sagt.

Nochmal eine andere Frage:
Ich brauche noch einen HBA zum durch reichen an die NAS VM. (Aktueller Stand FreeNAS)
SATA reicht mir da, SAS brauche ich noch nicht.
Am besten als PCIe 3.0x8 mit internen Anschlüssen.
So, jetzt hab ich schon oft gelesen dass es sowas gebraucht für 50€ gibt.
Neu... naja
224€ Adaptec HBA 1100 1100-8i ab Preisvergleich Geizhals Deutschland
144€ Broadcom SAS 9207-8i ab Preisvergleich Geizhals Deutschland

Ist jetzt so das einzige was ich gefunden habe. Karten mit SATA Anschlüssen direkt scheint es nicht wirklich zu geben?
Aber soll mir recht sein, gibt ja diese schönen 1 zu 4 Adapterkabel.

Hier spiele ich aber echt mit dem Gedanken etwas gebrauchtes zu nehmen, hat da jemand ein empfehlenswertes Modell im Kopf?

 

[Trambahner]

Na dann schau Dir mal genau an, wo die Dinger für 144,- herkommen....

Im Ernst: Für FreeBSD (=Xigmanas, FreeNAS) & Co sind HBA mit SAS2008, SAS2308 und SAS3008 Chipsatz der Goldstandard, die dann auf IT-Firmware geflasht werden.

Btw, wenn Du eh neukaufen willst, dann schau mal bei Supermicro, Asrock Rack & Co. Dort gibt es Boards mit diesen Controllern onboard für kleines Zusatzgeld.
Allerdings nicht für jede Sockelvariante.

 

[hominidae]

...gibt es viele, von Dell, IBM, LSI...welche aktuell sind weiss ich garnicht mehr....habe IBM M1015 (muss man zum LSI 9211-8i umflashen).
Aber Achtung, auch da gibt/gab es Fälschungen in der Bucht.

Was auch gebraucht gut geht, sind Intel-Quad NICs mit I350 o.ä für etwa 50 Steine (zB, als LowProfile die Fujitsu D3045)

 

[Trambahner]

Generell aufpassen bei den i350, da sind Plagiate im Markt.

 

[gea]

Man Kann bei ESXi Sata PLatten per physical RDM einzeln durchreichen. Das ist aber offiziell nicht supported und kann Probleme bereiten. Viel besser wäre eine M.2 NVMe zum Booten und als datastore für die Storage VM um den onboard Sata/AHCI Controller per pass-through durchzureichen.

Besonders flexibel ist ein SAS HBA. Den kann man komplett durchreichen oder aber nur einzelne Sata/SAS Platten. Das ist bei ESXCi eine supported Option.

Von Adaptec würde ich bei Unix (BSD, Solaris) die Finger lassen.
Eigentlich würde ich ausschließlich auf einen LSI/Broadcom HBA oder deren OEM setzen (Chipsatz 2008, 2307 oder 3008), idealerweise raidfreie IT Firmware, IR Firmware ist aber auch ok, LSI RAID Controller and HBA Complete Listing Plus OEM Models | ServeTheHome and ServeThe.Biz Forums

 

[Gelöschtes Mitglied 295938]

Ich habe heute folgende Antwort vom Supermicro Support erhalten:

Yes, the X11SCH-LN4F can support Intel's QSV transcoding with Intel E-2100G series CPU:

FYI:
We have tested it in Windows Environment:

Sogar mit Screenshots. So lobe ich mir das.

Ich kenne sonst nur Support-Antworten von Mitarbeitern die wahrscheinlich gar nicht wissen was ein Mainboard überhaupt ist und auf irgendeine belanglose Hilfe-Seite verweisen, ohne die Frage auch nur Ansatzweise aufzugreifen.

Bleibt nur noch die Frage, ob das durch reichen klappt, oder nicht.
Naja, neben der generellen Frage die mich seit Monaten beschäftigt, ob ich mir nun überhaupt einen Server zulegen soll, oder nicht.

 

[Gelöschtes Mitglied 295938]

Muss man beim Netzteil eigentlich darauf achten, dass es für 24/7 Betrieb ausgelegt ist?
Hatte ein BeQuiet Dark Power Pro 11 im Sinn...

Was den CPU-Kühler angeht - Kann es negative Auswirkungen haben wenn dieser maßlos überdimensioniert ist?
Oder geht es da rein um Kosten/Nutzen?
Hatte einen BeQuiet Dark Rock Pro 4 im Sinn...

edit:
Hier nochmal etwas umgedacht, macht meiner Meinung nach mehr Sinn, was sagt ihr dazu?
Das Supermicro X11SCH-LN4F hat 2x M.2 Slots.
(Auf Geizhals ist zwar nur 1x M.2 angegeben, in der Anleitung und auf den Bildern allerdings 2x)
Dort zwei ~500GB M.2 SSDs rein, darauf Proxmox als Raid1 und auch die ganzen VMs.
Dann könnte ich den onboard SATA controller an die FreeNAS VM durch reichen und spare mir vorerst den HBA.

Wäre das eine Alternative? Für mich hört sich das sogar simpler an.

 

[hominidae]

..onboard Devices durchreichen geht evtl.nur bedingt, da Du nur ganze Gruppen, also alles was im gleichen Haupt-ADressbaum der IOMMU ist durchreichen kannst.
Mit den onboard SATA hat man da - zumindest mein Stanbd - i.d.R. kein Glück.

Hier nochmal mein Tipp, wenn es ein robustes NAS und Virtualsierungsplattform sein soll: unRAID.
Da ist das NAS das Base-OS und Du kannst VMs und DOcker drunter nutzen...musst für das NAS nix durchreichen, kannst die 2xSSDs für VMs und NAS Cache nutzen.
Ist zwar nicht kostenlos, aber ich habe meine v4.x Lizenzen von vor über 10 Jahren erst letztes Jahr wieder ausgegraben (nachdem ich Proxmaox, ZFS, Openfiler, Napp-IT usw durch hatte) und die wurden anstandslos auf die letzte v6.x Version (neue US-Sticks, weil die alten registrierten garnicht mehr zu finden waren) upgegraded. Seither läuft mein grossen Datengrab und ein kleines 24x7 NAS mit Virtualsierer einfach nur ohne mucken.

 

[Gelöschtes Mitglied 295938]

Bevor ich zu ner proprietären Lösung greife, versuche ich es lieber erst mal mit Open Source Software.
Sollte ich damit totunglücklich werden, kann ich es mir ja mal anschauen.
Auf unraid bin ich auch schon gestoßen und schlecht sieht es nicht aus muss ich sagen.
Aber Docker kommt mir schon gleich gar nicht in die Tüte.

Ob die in der gleichen IOMMU Gruppe sind, das kann dann bestimmt im voraus auch nur der Hersteller beantworten...

edit:
Gerade folgendes gelesen:

The X11SCH-F is the high-end Xeon E board from Supermicro. In practice, feature-wise, it is very similar to the X11SSH-F. In fact, the only difference is that the PCIe 3.0 x8 (x4 electrical) slot is exchanged for a second M.2 slot (4x PCIe 3.0).
It is also the first model in the range to expose all eight SATA ports.

Quelle: So, you’ve decided to buy a Supermicro X11 Xeon E (Coffee Lake) board... | iXsystems Community

Es ist auch das erste Modell der Serie, das alle acht SATA Ports freigibt.
Was auch immer damit gemeint ist?

 

[themasterchris]

Servus,
häng mich mal hier ran. Habe im Endeffekt das Allerselbe vor. Wollte auch das X11SCH-F nehmen wegen eben den 2x M2 Slots. Jedoch hab ich mich jetzt dagegen entschieden und habe stattdessen das X11SCL-F genommen. Hat zwar nur einen M2 Slot, jedoch hat es einen PCI Steckplätze mehr wodurch ich flexibler bin.
Platz 1 ist für eine 10Gbit SFP+ Netzwerkkarte
Platz 2 ist aktuell angemacht für einen HBA Controller
Platz 3 Reserve (entweder M2 Steckkarte oder 4Fach Netzwerkkarte)

So meine Gedanken dazu.

Jedoch möchte ich am Anfang auch erst mal auf die Variante gehen System und VM’s auf die M2 Karte und versuchen die SATA durchzureichen.

 

[Gelöschtes Mitglied 295938]

Schön zu sehen dass jemand etwas ähnliches vor hat.

Der Supermicro Support hat geantwortet es wäre nicht möglich, bei dem X11SCH-F Board das OS + VMs als RAID-1 auf 2x M.2 SSDs zu installieren.
Sie meinten dazu: Um NVMe RAID zu unterstützen brauche ich "X11SP enterprise platform with VROC support".

Nun... die meinten vermutlich wenn ich das RAID direkt über das BIOS umsetzen möchte, oder?

Aber wenn ich das Raid als Software Raid über den Proxmox Installer (ZFS Mirror) einrichte, sollte das doch kein Problem sein...
Liege ich da richtig?

 

[themasterchris]

Seh ich auch so. Zumindest entspricht das meinem Wissen

 

[Gelöschtes Mitglied 295938]

Und außerdem habe ich gerade folgendes Bild gefunden:


Dort ist für jeden LAN Port "PCI-E x1 Gen3" zu sehen.
Heißt das ich muss diese Lanes mit einrechnen?

Die CPU kann 16 Lanes. 8 davon brauche ich für 2x M.2 SSDs, wenn jetzt auch noch 4 Stück für die LAN Ports drauf gehen hätte ich nur noch 4 übrig.
Stimmt diese Rechnung oder wird das anders gehandhabt?
Für die integrierte Grafik AST2500 steht dort auch 1x PCI-E...

Damit wäre ja mein kompletter Plan über den Haufen geworfen.

Allerdings gehen die abgebildeten Lanes zum Chipsatz und nicht direkt zur CPU...

edit: Moment... die M.2 SSD Lanes gehen auch zum Chipsatz... jetzt bin ich komplett verwirrt.
Nur die Lanes der PCIe Slots (2x8) gehen direkt zur CPU. Heißt dass selbst wenn ich alle LAN-Ports und beide M.2 Slots nutze, kann ich noch 2 Stück PCIE x8 Karten in den Slots betreiben, da nur diese Lanes direkt zur CPU gehen und meine CPU 16 Lanes unterstützt?

PS: Und unter anderem genau deshalb lege ich mir nun einen Eigenbau-Server zu. Da kann ich noch so extrem viel lernen. Ich habe noch nicht einmal angefangen, und alleine bei der Planung schon so viele neue Sachen entdeckt/gelernt.
Unter anderem natürlich auch durch eure Hilfe, vielen Dank hierfür nochmal!

 

[Happy Hepo]

Genau so siehts aus. Wobei die CPU 20(?) Lanes hat, 2x8 für die PCIe-Slots und 4 für die Chipsatzanbinding. Heißt aber auch im Umkehrschluss, alles was am Chipsatz hängt, ist gemeinsam auf ~4GB/s (bidirektional) gedeckelt.

 

[Gelöschtes Mitglied 295938]

Genau so siehts aus. Wobei die CPU 20(?) Lanes hat, 2x8 für die PCIe-Slots und 4 für die Chipsatzanbinding.

Also im "Datenblatt" (wenn man ark.intel so bezeichnen kann) der CPU steht "Maximale Anzahl der PCI-Express-Lanes: 16"
Ich nehme an die 4 für die Chipsatzanbindung werden dazu addiert und sind dort nur nicht aufgelistet.