[Sammelthread] HomeServer Vorstellung - Bilder + Kommentare

o$$!ram schrieb:
Wurde der "kleine" mit der neuen Firmware wirklich leiser? Habe auch noch einen rum stehen - aber selbst als Testserver ist er mir z.Z. zu laut.
Zum Vergrößern anklicken....

Definitiv. Habe den gerade OHNE Update in ESXI Booten lassen, der ist vielleicht so Laut wie meine Workstation. Gleich teste ich mal das SPP.
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hmm ... jetzt ist dann halt die Frage wie laut deine Workstation ist :d
Die Lüfter sind ja bei HP vorallem vom iLO (oder BIOS?) abhängig - welche Versionen hast du den drauf?
 
Guten Abend,
nun endlich Teil 2, der "neue" fileserver:

Gehäuse: XCase RM 316, 16x3,5" Hotswap mit SAS-Backplane. Für den Preis kann man ja eigentlich nicht meckern, aber die Quali ist schon deutlich unterhalb Chenbro, mehr dazu auf den Bildern unten.
Mainboard: Supermicro X11SSA-F, C236 Chipsatz, 3xPCIe (x8,x8,x4) und 4xPCI. War mal für andere Aufgabe gedacht, aber das Board hat keinen Grafik-Ausgang... Also kann die integrierte GPU nicht für Desktop genutzt werden. Aber: nachher mehr.
CPU: i3-7100 (2K+HT)
RAM: 4x8GB ECC RAM
NIC: 2x Intel i218 onboard, 1x IPMI dedicated onboard, dual 100Gbit Mellanox CX4-456-ECAT.
SAS: Perc H310 -> LSI_P20IT.

Setup:
Proxmox 5.2 Hypervisor,
VM1: filer, Passthrough des SAS-Controllers. Ärgerlich: nur der PCH-PCIe-Slot bekommt eigene IOMMU-Gruppe, die anderen beiden Slots müssten zusammen an eine VM durchgereicht werden... :/ Daher der SAS-Controller aktuell mit PCIe x4 angebunden. 4x8TB@RaidZ1, 4x6TB@RaidZ1, 1x2TB@ZFS, 2x8TB@ZFSmirrot, alles per SMB ins Netz bereitgestellt.
VM2: tvserver; aktuell als IP-Client vom anderen TVH-Server mit der DVB-Max-S8 (Celeron 3455); Passthrough der integrierten GPU mit i915/vaapi-Treibern. TVH master trunk installiert, außerdem emby server beta mit Emby Premiere (für die HW-Transcodierung). Zugriff auf die SMB-Shares für Emby-Services bzw. TV-Aufnahmen.
Container1: pi-hole

Setup läuft nun tadellos, wobei mir der IOMMU-Fehler echt genervt hat. Als ob das eine Hexerei für Supermicro wäre, ein vernünftiges Bios bereit zu stellen. Immerhin sind die beiden CPU-Slots (x8/x8) jeweils mit eigenem PCIe-root ausgestattet und somit überhaupt kein Problem für eine eigene IOMMU-Gruppe. Einen ACS-Patch habe ich nicht ausprobiert, da ich im Proxmox-Kernel nicht rumspielen will.

Die 100G-Karte ist ja Spielerei, bei x8 kommt ohnehin max. 63Gbit über die Leitung. Dazu gibts im 100G-Thread immer wieder Infos.

Vorher war der Server ein Atom C3758, der leider weder VT-d noch AVX beherrscht. Die Verschlüsselungsleistung entsprechend bescheiden und taugt nicht als VM-Server, trotz der 8 Kerne. Zumindest nicht für mich, ich war da ziemlich enttäuscht.

Der SAS-Controller wird per Expander auf die 4x8087-Buchsen erweitert, als Expander nutze ich den Intel G27402-152 (=RES2CV240 ohne PCI-Slot) für ca 80€ gebraucht zu bekommen.

edit: Zum Gehäuse: Wie auf den Bildern unschwer zu erkennen, musste ich einen Lüfter entfernen um die Kabel zur Backplane zu führen bzw. die Front-Kabel zum Mainboard. Es gibt links und rechts neben den Lüftern MINIMINIMINI-Schlitze, durch die dünne Kabel gezogen werden können - aber dann darf kein Stecker größer als die Frontpanel-Stecker sein. Falls doch - theoretisch z.b. die SAS-Kabel, müsste man das Lüfter-Blech abschrauben und mit recht viel Gewalt wegbiegen. Hatte bei mir auch keinen Sinn, da meine Kabel dafür zu kurz sind (SAS-Anschlüsse sind mittig an der Backplane...) und ich keinen Bock hatte, neue lange SAS-Kabel zu kaufen... Sieht daher etwas mäßig aus.

Hier ein paar wenige Bilder: IMG_20190409_205155.jpgIMG_20190409_205352.jpgIMG_20190409_205404.jpgIMG_20190409_205434.jpg
 
Zuletzt bearbeitet:
Jau, in 3U gibt’s wenig Luft - bei 4U kann man die Kabel ja meist noch unter den 120er Lüftern durchziehen. Was sind das denn bei Dir für Lüfter? 80, 90/92 oder gar 120?

Ich hatte seinerzeit den Expander auf der anderen Seite der Lüfterbank neben dem Mainboard, wollte den Luftzug zu den Platten möglichst wenig behindern. Hatte aber auch in der Tat längere SAS-Kabel.
 
Intel Boxed-Kühler ? Den Intel Expander und die 100G Melli (auch wenn sie durch die PCIe-Anbindung zugeschnürt wird) find ich geil :fresse2:
100G dann per QSFP28 DAC direkt zu einer zweiten Melli oder gar auf ein Switch ?
 
@ o$$!ram Schwer zu beschreiben :fresse: Sofern Windows Server an ist kann man da aber nebensitzen ohne das sich das irgendwie laut anhört, also definitiv Bürotauglich :d
 
danielmayer schrieb:
... Ärgerlich: nur der PCH-PCIe-Slot bekommt eigene IOMMU-Gruppe, die anderen beiden Slots müssten zusammen an eine VM durchgereicht werden...

Setup läuft nun tadellos, wobei mir der IOMMU-Fehler echt genervt hat. Als ob das eine Hexerei für Supermicro wäre, ein vernünftiges Bios bereit zu stellen. Immerhin sind die beiden CPU-Slots (x8/x8) jeweils mit eigenem PCIe-root ausgestattet und somit überhaupt kein Problem für eine eigene IOMMU-Gruppe. Einen ACS-Patch habe ich nicht ausprobiert, da ich im Proxmox-Kernel nicht rumspielen will.

...
Zum Vergrößern anklicken....

Für die gemeinsame IOMMU-Gruppe an den Prozessor-PCIe Ports kann Supermicro nichts. Das liegt daran, dass der Prozessor PCIe Root-Port bei den E3-Xeons keine ACS capability ausweist. Daran ändert auch der x8/x8-Lane-Split nichts. Allerdings hat der Proxmox-Kernel den ACS-Patch standardmässig bereits einkompiliert, den musst Du auf in der Grub Kernel Command Line nur aktivieren.

danielmayer schrieb:
Passthrough der integrierten GPU mit i915/vaapi-Treibern
Zum Vergrößern anklicken....

Das ist eine interessante Info. Dachte immer, die GPU wird nur dann durchs BIOS aktiviert, wenn das Board auch Grafikausgänge hat.
 
Müsst ihr mich dauernd an den Melli-Deal erinnern? ;-) bestimmt 5x is meine Maus über "sofort kaufen" gestanden und hat auf den finalen Klick gewartet.
 
Trambahner schrieb:
Müsst ihr mich dauernd an den Melli-Deal erinnern? ;-) bestimmt 5x is meine Maus über "sofort kaufen" gestanden und hat auf den finalen Klick gewartet.
Zum Vergrößern anklicken....
Keine Sorge - war ich auch. Aber doch nicht, da nicht einmal bei meinen Firmenkunden (Eher natürlich kleinere Läden) sowass brauchen. Da ist man wenns hochkommt auch erst bei 10G. Privat nice to have zum spielen, aber ich habe zurzeit auch nur meine Server mit 10G angeschlossen am zentralen Switch, und selbst eine 10G Verbindung nutze ich nicht annähernd voll... :(
 
Das hat mit sinnvoll einfach nichts zu tun. Vor allem natürlich nicht wie bei mir im Desktop wassergekühlt. ;)

Aber trotzdem geil. :d Auch wenn Perlen vor die Säue und so (zumindest in meinem Fall)...
 
oelsi schrieb:
Für die gemeinsame IOMMU-Gruppe an den Prozessor-PCIe Ports kann Supermicro nichts. Das liegt daran, dass der Prozessor PCIe Root-Port bei den E3-Xeons keine ACS capability ausweist. Daran ändert auch der x8/x8-Lane-Split nichts. Allerdings hat der Proxmox-Kernel den ACS-Patch standardmässig bereits einkompiliert, den musst Du auf in der Grub Kernel Command Line nur aktivieren.
Zum Vergrößern anklicken....
Ah, Danke für die Info, das werde ich ausprobieren. Vorerst klappt es mit den zwei Karten über den PCH-Slot, aber die TV-Karte soll letztendlich noch rein und auch in eine VM.

Das ist eine interessante Info. Dachte immer, die GPU wird nur dann durchs BIOS aktiviert, wenn das Board auch Grafikausgänge hat.
Zum Vergrößern anklicken....
Ja, war auch meine Befürchtung beim Auspacken des Boards. Hat sich aber nicht bewahrheitet. Emby-Server nutzt VAAPI, das intel-gpu-top zeigt die Nutzung der Hardware und ein h265-UHD-Video live im transcoding läuft ruckelfrei bei 60% GPU-Last. Also tipptopp.

Und ja, der Boxed-Kühler. Reicht für den i3 dicke aus und ist nicht hörbar. ... erst recht nicht aufgrund der 3x120mm Gehäuse-Bläser.
Die CX4 bekommt allerdings etwas wenig Luft und läuft recht warm. Das Bios hat keinerlei Einstellungen für die Lüfterdrehzahlen, ich muss mir da noch eine Softwaresteuerung suchen. Oder... hmm... irgendwo fliegt noch eine Drehzahl-Poti-Platine rum, aus dem Lian Li 354. Ist evtl. die bessere Lösung, für einen kontinuierlichen aber erträglichen Luftstrom.
 
danielmayer schrieb:
...

Ja, war auch meine Befürchtung beim Auspacken des Boards. Hat sich aber nicht bewahrheitet. Emby-Server nutzt VAAPI, das intel-gpu-top zeigt die Nutzung der Hardware und ein h265-UHD-Video live im transcoding läuft ruckelfrei bei 60% GPU-Last. Also tipptopp.

...
Zum Vergrößern anklicken....

Sehr cool. Habe inzwischen in der BDA gesehen, dass sich für die IGP auch Aperture Size und GTT Memory einstellen lasssen. Damit ist das Board eigentlich prädestiniert für GTV-g. Einfach Aperture Size auf 1024MB und GTT Memory auf 8MB, und Du kannst bis zu sieben virtuelle Instanzen der IGP erzeugen. Assignment der vGPUs geht in Proxmox inzwischen sogar direkt durch die GUI, musst nur noch vorher GVT-g im i915-Treiber aktivieren ("i915.enable_gvt=1"). Wäre ne Alternative zum Passthrough der kompletten GPU, da Du so mehrere VMs gleichzeitig mit 3D-Beschleunigung versorgen kannst.
 
Man lernt nicht aus. Danke für den Tipp, für eine zusätzliche virtuelle Desktop-Maschine ist das tatsächlich sehr interessant.
 
Bei AMD heißt das MxGPU und man braucht dafür leider auch eine teure Workstation-Karte (FirePro / Radeon Pro).
 
Woozy schrieb:
@ o$$!ram Schwer zu beschreiben :fresse: Sofern Windows Server an ist kann man da aber nebensitzen ohne das sich das irgendwie laut anhört, also definitiv Bürotauglich :d
Zum Vergrößern anklicken....

Aber auch nur solange er nix macht oder? :fresse:
Ich muss meinen mal ausgraben und das neuste SPP installieren, mal schauen ob sich was ändert :) Danke!
 
@oelsi
Das mit dem GVT-g stellt sich etwas komplizierter als erwartet. Im Bios kann ich theoretisch von 256-4096MB auswählen, aber oberhalb 1024 funktioniert die Eingabe nicht.
8MB/1024MB ausgewählt, wie Du schriebst, und GVT-Treiberzeugs eingerichtet.
Code: 
 root@filer:/# ls /sys/bus/pci/devices/0000:00:02.0/mdev_supported_types
i915-GVTg_V5_4  i915-GVTg_V5_8

Dann mit
Code: 
qm set 101 -hostpci0 00:02.0,mdev=i915-GVTg_V5_4
eine Instanz zur VM hinzugefügt (btw, eine zweite Instanz wird abgelehnt wegen "no space left"?!).
Im Gast erscheint beim Booten aber eine Fehlermeldung:

Code: 
[    1.171250] [drm] Virtual GPU for Intel GVT-g detected.
[    1.171832] i915 0000:06:10.0: old vGPU host found, support for HWSP emulation required
[    1.171906] i915 0000:06:10.0: Please file a bug at https://bugs.freedesktop.org/enter_bug.cgi?product=DRI against DRM/Intel providing the dmesg log by booting with drm.debug=0xf
[    1.228144] i915 0000:06:10.0: Device initialization failed (-6)

Einfacher Fehler? Wenn nicht, mache ich einen anderen Thread dazu auf. Die Technik ist spannend und scheint bei NVidia und AMD ja den Profi-Karten vorbehalten zu sein. Das macht einen Desktop-Virtualisierer ja richtig spannend, wenn 2-8 VMs mit der Intel-GPU grundsätzlich gut laufen und zusätzlich eine Gaming-VM mit PT was besseres durchgereicht bekommt.

Edit3: Proxmox 5.3, kernel 4.15.18-12-pve
 
Zuletzt bearbeitet:
Die Fehlermeldung sagt mir unmittelbar nichts, muss mich mal schlaugoogeln. Wäre an der Stelle sicher angebracht, das Thema in einen eigenen Thread auszugliedern, interessiert ja vielleich auch noch andere. Als Troubleshooting-Direktmassnahme würde ich erstmal alle Grafik-Settings im BIOS zurück auf Default setzten und dann nochmal versuchen. In meinen VMs benutze ich q35 und reiche die vGPUs zusätzlich mit Parameter pcie=1 durch, vielleicht macht das ja einen Unterschied? Im Gegensatz zu Deinem Supermicro-Board ist bei meinem allerdings die Aperture-Size fix auf 256MB limitiert, somit kann ich auch nur maximal zwei Typ-8 oder eine Typ-4 vGPU erzeugen.
 
o$$!ram schrieb:
Aber auch nur solange er nix macht oder? :fresse:
Ich muss meinen mal ausgraben und das neuste SPP installieren, mal schauen ob sich was ändert :) Danke!
Zum Vergrößern anklicken....

So neuste FW drauf - Lüfter leise :d
Allerdings hab ich die drei 15k SAS Platten vergessen ... die schäppern halt einiges weg da vorne drin :fresse2:
 
Meine Rumpelkammer für nextcloud, SMB shares und Backupstrategie :fresse:
Über einen alten Schornstein 2 Cat7 Leitungen aus dem 1.OG in den Keller gelegt.

server2wk47.jpg


Core i3 4130
Fujitsu D3222-B
16GB DDR3 Ram
beQuiet PurePower 350Watt
Fujitsu D2607 Crossflashed LSI 9211-8i IT
Crucial MX500 VM Storage
2 x WD Purple 4 TB Raid1
Seagate Exos 4TB Backuplaufwerk
ESXi 6.7 U1 Fujitsu Custom
VMs:OMV, SRV2016, Nextcloud, Win10
Hängt alles an einer kleinen APC USV

Im idle nimmt sich der Host rund 40 Watt.
 
Zuletzt bearbeitet:
Tatsächlich reichen die 16GB :d
Die CPU darf aber gerne mehr Dampf haben

Gesendet von meinem F5121 mit Tapatalk
 
Ich komme ja ohne VMs gerade s mit 24GB aus. Mein reiner VM-Server mit win 8.1 und ein Server 2016 r2 auf proxmox kommt mit 12GB auch schon arg an sie Grenzen.
 
Da mich "taeddyyy" mit seinem Post mit dem "alten Kamin" gleich mal an mich erinnert hat , stell ich mein Rack jetzt auch mal vor :)

Ebenfalls gehen bei mir fast alle Cat 7 Leitungen durch den Kamin xD

Mein Rack:

HPe Proliant DL360e Gen8
Intel Xeon E5 2450L V2 20x 1,7Ghz
3x32GB 1600Mhz DDR3 Ecc
3x SSD Intel DC S3500
USB3.0 Karte für die Backup-HDD

Läuft mit Windows Server 2016 Hyper-V
VM:Microsoft Exchange 2016, Server 2016 Active Directory, Sophos VM

Dell T20
Xeon E3 1225 V3
8 GB DDR3 ECC Ram
Adaptec 6405 WD RED 8TB im Raid 5
Läuft mit Windows Server 2019 Standart

Backup Vollautomatisch jeden 2 Tag


Netzwerk DVR 8 Kanal für die Kameras Rund ums Haus
Unify Switch 24 GBE
Unify AP Pro
APC UPS 750 für die beiden Server und den DVR

Der Proliant braucht im idle 49 Watt
der T20 gute 30

Last an der APC 100-110 Watt
 

Anhänge

  • M+Kp%F%HTDqyTPESbmJWCw.jpg
    M+Kp%F%HTDqyTPESbmJWCw.jpg
    363,9 KB · Aufrufe: 412
  • vkh83nUHRD6AoQ4pbj1DPA.jpg
    vkh83nUHRD6AoQ4pbj1DPA.jpg
    493,4 KB · Aufrufe: 321
  • vC%T2pSWSOiyq4IYrZhdCg.jpg
    vC%T2pSWSOiyq4IYrZhdCg.jpg
    329,9 KB · Aufrufe: 339
  • 0adz+gINSKqedrywe4%B4g.jpg
    0adz+gINSKqedrywe4%B4g.jpg
    330,7 KB · Aufrufe: 304
Zuletzt bearbeitet:
was machst du mit dem G8? Viel CPU-Power, aber kaum Speicher bedeutet wohl, dass es nicht um Plex geht :fresse2:

Was ich aktuell für mich entdeckt habe: RemoteApp. Hab einen WinServer 2012 R2 (2016 ist ein pain-in-the-ass um es mit RDP einzurichten) in einer Proxmox-VM und da kann ich dann mittels RemoteApp-Tool einzelne Programme von jedem PC im Netzwerk so ausführen, als ob es lokal auf dem Rechner laufen würde. So z.B. Firefox, Word, Excel, Powerpoint, Originlab, XMedia-Recode, Scilab usw. Das ist schon echt genial und kann dank tsclient auch auf den Clienten zugreifen, aber auch auf dem Server. Nur grafikintensive Anwendungen wie Photoshop usw funktionieren natürlich nicht so gut. Aber damit kann ich ganz gut leben.

Was ich nur ausprobieren muss: ob das auch mit rdesktop von einem Linux-Clienten aus funktioniert. Wenn ja, dann habe ich auf jedenfall einen Grund mehr auf Linux umzusteigen, da ich so auch Windows-Only Programme ausführen kann.
Nachteil: mein VM-Server (i5-2500) braucht dann mehr RAM :fresse:
 
Zuletzt bearbeitet:
Welche Software nutzt ihr für Backups? Und wie sieht der Ablauf aus?
Jemand eine Idee welche CPU meinen 4130 ersetzen könnte? Möchte gerne mehr Leistung, allerdings soll der Verbrauch nicht unnötig steigen.
Gekühlt wird von einem EKL Ben Nevis.
 
Zuletzt bearbeitet:
ZFS, rsync und netcat :fresse2:
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh