[Sammelthread] Dell EMC PowerEdge T40

[morph027]

Falls jemand unter Linux die SOL Geschichte vom AMT nutzen mag: https://github.com/Openwsman/wsmancli/issues/10#issuecomment-751253133

KVM (nutze dafür den meshcommander) scheint an sich zu gehen, die GPU schaltet sich allerdings ab, wenn kein Bildschirm dran steckt. Ich hab mir mal so einen Dummy DP geholt und werde berichten, ob das dann geht. Ich nutze es eh kaum, da ich mein LUKS Passwort über SOL eingeben kann beim booten, aber für BIOS oder ähnliches greift das nicht.

Temperaturtests mit den Platten unten und dem Frontlüfter

Die Mainboardsteuerung ist wirklich sehr niedrig.

 

[morph027]

Sehr geil, man kann den meshcommander direkt in die AMT Firmware laden, dann brauchts lokal gar nichts außer den Browser. Das Standard AMT Web Interface kann recht wenig (zum Beispiel kein KVM, SOL).

Entweder per https://www.meshcommander.com/meshcommander/meshcmd oder per https://www.meshcommander.com/meshcommander/firmware

 

[ClearEyetemAA55]

Das klingt wirklich gut. Danke für die Info

 

[Bayaro]

Leider weigert sich mein Dell T40 zu booten, sobald ich eine Emulex OCE11102 in den PCIe Slot stecke Ich kann dann nicht mal mehr ins BIOS, bleibt für immer bei "Preparing BIOS" (oder was da steht) hängen.

Ich antworte mir mal selbst

Lösung: Will man diese Netzwerkkarte verwenden, dann muss man Secure Boot im BIOS deaktivieren und "Legacy ROMs" erlauben. Danach bootet der T40 und die Netzwerkkarte funktioniert. UEFI funktioniert trotzdem - nur wird halt ohne Secure Boot gestartet.

Beitrag automatisch zusammengeführt: 27.12.2020

Zur Ergänzung von Post #1:

Der folgende Arbeitsspeicher funktioniert einwandfrei: KSM26ED8/32ME (Kingston Server Premier 32GB DDR4-2666 ECC UDIMM CL19)

 

[p4n0]

Samsung 32GB DDR4 2666 ECC M391A4G43MB1-CTD funktionieren auch.
Habe 2 Stueck veraut, komme damit auf das Max. von 64GB.

 

[Randel Burton]

Wird auch bereits an eine Sophos UTM VM weitergereicht.

Endlich mal jemand der mir die SSL decryption Performance sagen kann!
Läuft durchgereicht viel besser oder willst du es nur auf hardwarebasis getrennt haben?
Warum keine XG?

 

[p4n0]

Ich wills auf HW Ebene getrennt haben. Soll moeglichst wenig komplexitaet haben das Netz. An eine Seite kommt das Modem, an die andere der Switch, fertig.

Mit der XG habe ich keine Erfahrungnen.
Die UTM habe ich vor einigen Jahren beim Arbeitgeber kennengelernt, seit 4 Jahren nun privat eine im Einsatz und nun halt die 2. Kenne das Produkt mittlerweile ganz gut und fuehle mich mit dem Ding wohl. Never change a winning Team quasi.

 

[DerOeli]

Hallo zusammen,

habe mich gerade mal durch die 8 Seiten gearbeitet.
Plane momentan die Anschaffung eines Servers für ein paar kleine VMs, bin mir aber nicht wirklich sicher ob der verbaute 4-Kerner ausreicht.

Geplant sind in VMs (Tendenz geht zu Proxmox): Home Assistant, pfsense, pihole, DHCP und DNS, vielleicht noch etwas Luft für andere Spielereien.

Wäre der T40 (vermutlich mit erweitertem RAM) hierfür ausreichend? Welche zusätzliche Hardware wäre sinnvoll/notwendig für den Betrieb?

Danke und viele Grüße

PS: Wäre eine NAS/Cloud Lösung kombinierbar?

 

[morph027]

Ich nutze den ziemlich genau dafür, nehme aber eigentlich für das meiste die LXC Container statt VMS....

 

[DerOeli]

Das klingt super! Dann kann ich den Kaufen-Button ja doch zeitnah betätigen

Wie hast Du die Platten denn strukturiert?
Ich habe hier gelesen, dass der interne Raid nicht funktioniert, wenn eine M2 Platte per Adapter eingebunden wird. Sind alle Platten über den IBM M1015 angebunden?

 

[morph027]

M2 geht mit dem T40 BIOS leider gar nicht. @Debianer hat da mal was mit Crossflashing getestet, aber nicht den M2.

Ich hab 4 Platten am M1015 und 2 Platten (den Boot SSD Mirror) am internen SATA als reinen AHCI. Den Rest macht Proxmox mit ZFS, also kein Hardware RAID.

 

[DerOeli]

Super, vielen Dank! Das klingt sinnvoll!

 

[p4n0]

Ich hatte in meinem Beitrag beschrieben wie man den SATA Controller per ESXi an eine Storage VM weiterreichen kann.
Das funktioniert auch soweit i.O.

Boot Drive geht ueber ne PCIe Karte, welche nen m.2 Slot bereitstellt. Klappt auch.

@DerOeli:

Da ich den Speicher schon auf die Max. Ausbaustufe gepackt habe liegt mein originaler 8GB Riegel hier herum.
Wenn du was mit dem Ding fuer n schmalen Taler anfangen kannst sag bescheid dann kann ich ihn dir in den MP stellen.

 

[DerOeli]

@p4n0 D.h. Du hast eine M2 als Bootplatte und zusätzlich den SATA vom Board an die VM weitergereicht, richtig?
Wie oben beschrieben tendiere ich zu Proxmox, ich gehe mal davon aus, dass es da wohl auch funktionieren wird, wenn auch der Weg ein anderer sein könnte.

Bzgl. dem Ram: Ich werde denke ich direkt auf 32GB (wahrscheinlich) oder gar 64 GB gehen

 

[ompi]

Hallo zusammen,
ich will mir den T40 heute bestellen und noch etwas RAM dazu ordern, dass ich auf 32GB komme.
Was macht mehr Sinn?
- 1x 8GB neu + 1x 16GB neu + 1x 8GB vorhanden
oder
- 2x 16GB neu und den vorhandenen verkaufen, oder kann ich den vorhandenen auch zu den zwei 16GB dazu stecken und habe dann 40GB? Macht wahrscheinlich wenig Sinn?!
Welchen RAM (ECC) würdet ihr empfehlen?
Mit den Kingston KSM26ED8/XXME kann man wohl nicht viel falsch machen oder lieber die Samsung z.B. M391A2K43BB1-CTD?

Gruß ompi

 

[p4n0]

@p4n0 D.h. Du hast eine M2 als Bootplatte und zusätzlich den SATA vom Board an die VM weitergereicht, richtig?
Wie oben beschrieben tendiere ich zu Proxmox, ich gehe mal davon aus, dass es da wohl auch funktionieren wird, wenn auch der Weg ein anderer sein könnte.

Bzgl. dem Ram: Ich werde denke ich direkt auf 32GB (wahrscheinlich) oder gar 64 GB gehen

Exakt!
Bootplatte = PCIe x4 Slot vom Chipset per m.2 Adapter.
Im anderen x4 Slot steckt ne 10Gig X550 Intel NIC.

Der x16 Slot ist frei.

Die 4Sata Ports vom Board gehen per Passthrough an eine FreeNas VM.

Wenn du auf 64GB gehen willst wuerde ich 32er Sticks holen. Fuer den Fall der Faelle dass sich DELL erbarmt das 64GB Limit zu entfernen.
Denn Die CPU + Chipsatz koennen mit 128GB umgehen. Das BIOS hat DELL leider auf 64GB kastriert.

Grueße

 

[WrongPlanet]

Ich habe hier gelesen, dass der interne Raid nicht funktioniert, wenn eine M2 Platte per Adapter eingebunden wird.

Dir ist schon klar, dass bei Proxmox von Hardware-RAIDs mit integrierten Kontrollern abrät, oder habe ich da etwas falsch verstanden?

 

[DerOeli]

@WrongPlanet Jein, danke aber für den Hinweis.
Tatsächlich hat sich bei mir ein Verständnisproblem eingeschlichen mit den Begriffen RAID und dem ZFS RAID. Das sind zwei verschiedene paar Schuhe, wenn ich das mittlerweile richtig verstanden habe.

Der Plan wäre folgender: M.2 per PCIE-Adapter als Bootplatte, zwei weitere Platten an den internen Anschluss (nicht auf RAID eingestellt) und dann an Proxmox weiterreichen und zu einem ZFS-RAID für eine Freenas-VM bereitstellen.

Eine dritte Platte am internen Controller könnte man dann ja noch ggf. für die VMs in Proxmox zur Verfügung stellen, unabhängig vom RAID. Schön wäre natürlich diese auch zu spiegeln per ZFS um die Verfügbarkeit zu gewährleisten, sodass die 4 Anschlüsse passen sollten, nur für die Montage der vierten Platte (für die Spiegelung der Platte auf der die VMs liegen) müsste man sich etwas überlegen.

Oder mache ich hier grobe Denkfehler?

 

[p4n0]

Du machst einen Denkfehler.

Wenn du den SATA Controller weiterreichst, dann nicht an Proxmox sondern direkt an die VM.

Du baust quasi physikalisch den SATA Controller aus dem Host und schraubst ihn in die VM.
Dadurch kann Proxmox nichtmehr auf das Gerät zugreifen.
Damit faellt dein Plan mit der 3. Platte aus.

 

[DerOeli]

Oh, alles klar. Ich dachte man könne auch nur die einzelnen Ports weitergeben und das damit aufsplitten.
D.h. die Aufteilung in

• Boot-Platte
• SSDs (ZFS-Spiegelung) zum Abspeichern der VM
• HDDs (für FreeNAS-VM)

würde einen weiteren Controller/HBA voraussetzen. Ein Slot wäre jedoch für den M.2-Adapter belegt, der interne zum Weiterreichen an FreeNAS.
D.h. mir würde noch ein Slot bleiben für einen weiteren Controller und ich müsste mich entscheiden zwischen zusätzliche NICs und zusätlichem Controller, richtig?

Oder ich speichere die VMs auf der Proxmox-Boot-Platte, wobei hier keine ZFS Spiegelung möglich wäre, da sie ja über den M.2-Adapter läuft und die fehlende Bifurcation keine zwei M.2-Platten auf einem Adapter erlaubt.

 

[p4n0]

Du hast doch 3 PCI-E Slots.
2 Stueck x4
1 Stueck x16

Der HBA müsste in den 16er weil x8.
Die andern Beiden kannst du fuer die m.2 und ggf ne 10G Nic verwenden.

 

[DerOeli]

Okay, ich glaube langsam wirklich, ich lese gerade zu viel über die ganze Materie. Da kommt man echt mal durcheinander.
Muss wirklich mal Danke sagen für diese Top Unterstützung!!

Eine letzte Frage hätte ich zu der ganzen Sache noch: Gibt es eine HW-Empfehlung bzgl. HBA der gut mit dem T40 zusammenspielt? Im Optimalfall ohne IT-Mode flashen?

 

[morph027]

Irgendwas LSI 9220 basierendes ist immer gut. IBM M1015, Dell Perc H200 mit internem Anschluss. Und dann ganz besonders im IT Mode flashen, dann kriegt das OS die volle Kontrolle über die Platten.

ZB:

DELL - 047MCV - PERC H200 6Gb/s SAS SATA Controller günstig kaufen | eBay

Finden Sie Top-Angebote für DELL - 047MCV - PERC H200 6Gb/s SAS SATA Controller bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

 

[Sleazy-]

Es ist ja nur ein Festplattenrahmen dabei, wo kann ich denn zwei zusätzliche kaufen? Nur bei Dell? Was kostet einer?

Oder ist ein Einbau auch ohne Rahmen möglich?

 

[morph027]

Einbau ist auch ohne Rahmen möglich, die Metallrahmen haben passende Löcher dafür. Ansonsten gibts die bei Ali Express

8.91€ |NEUE Festplatte HDD Tray Caddy Käfig Halterung Für Dell PowerEdge T40|HDD Enclosure| - AliExpress

Smarter Shopping, Better Living! Aliexpress.com

de.aliexpress.com

 

[Sleazy-]

Danke @morph027!

Ich habe direkt noch eine Frage:

Ich möchte gerne eine PCIe M.2 SSD in eine M.2 PCIe Karte 3.0 x4 (M-Key) einbauen. Jetzt hatte ich gelesen, dass der Lüfter Probleme bereitet, wenn man eine PCIe Karte einsteckt (läuft wohl auf höchster Stufe). Gibt es hier wirklich Probleme?

Welche M.2 PCIe Karte und welche SSD (ab 512 GB) wären empfehlenswert?

 

[p4n0]

Mit den Lueftern passiert gar nichts. Kannst einstecken was du willst.

Der T40 ist auch eher ne Workstation als ein Server.

 

[Festplattenbaer]

Ich suche einen Server für Hyper-V und etwa 4-5 virtuelle Maschinen darauf (meist Windows). Könnt ihr mir, nach Upgrade auf SSD und RAM-Erweiterung, den T40 empfehlen? Da ich alles neu installiere, überlege ich mir, den T40 zu kaufen und meinen T30, der ja recht preisstabil ist, zu verkaufen.

Störend ist halt, dass der T40 erstmal kein Hardware-Raid unterstützt, richtig? Die Frage wäre dann, ob ich die VMs über ein Software-Raid laufen lasse oder ganz auf Raid verzichte. Fällt Euch da ein preislich einigermaßen vergleichbares Produkt ein?

 

[asche77]

den T40 zu kaufen und meinen T30, der ja recht preisstabil ist, zu verkaufen

Mit Ausnahme des Formfaktors sehe ich wenig Anlass, den T30 gegen einen T40 auszutauschen.

 

[Randel Burton]

Funktioniert das mit dem Dummy?

...
KVM (nutze dafür den meshcommander) scheint an sich zu gehen, die GPU schaltet sich allerdings ab, wenn kein Bildschirm dran steckt. Ich hab mir mal so einen Dummy DP geholt und werde berichten, ob das dann geht.
...