OS-Architektur auf Homeserver

Bezüglich Platten kann ich meinen letzten Coup empfehlen: Bei Amazon.co.uk gibt es die WD Duo 28TB für umgerechnet ca 670€, also je 14TB Red 335€, das ziemlich gute externe USB-Gehäuse dann gratis dabei. Ich kopiere gerade auf meine nagelneuen 6x14TB um ;)
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hallo,
Bezüglich Platten kann ich meinen letzten Coup empfehlen: Bei Amazon.co.uk gibt es die WD Duo 28TB für umgerechnet ca 670€, also je 14TB Red 335€, das ziemlich gute externe USB-Gehäuse dann gratis dabei. Ich kopiere gerade auf meine nagelneuen 6x14TB um ;)

danke für den Tipp. Ich warte mit den Platten noch etwas - erstmal schaue ich, ob das, was ich vorhabe, grundsätzlich läuft und nehme die alte WD Green für erste Tests. Demnächst kann das dann aber interessant werden.

Beim Netzteil bin ich jetzt zur Sicherheit doch mal von 300W auf 350W gegangen - das Yakkaro-Gehäuse bringt ja einige Lüfter mit, und vielleicht will ich ja nen Lüfter im 19"-Schrankdeckel auch einfach über den Server versorgen. Vermutlich ist es dennoch total überdimensioniert.
 
Hallo,

das Wochenende habe ich für erste Versuche mit verschiedenen Betriebssystemen genutzt.

FreeNAS:
Das System ist wirklich kinderleicht einzurichten und schlüssig zu konfigurieren. Ich habe in kurzer Zeit Pools angelegt, autom. Snapshots, die wiederum als Schattenlaufwerk auf einer SMB-Freigabe zu sehen waren. Auch ein NFS zur Versorgung der VMs war schnell angelegt. Einziges Manko: bei einer Festplatte (uralte WD Green) läuft die Temperaturanzeige im GUI nicht.
Die Nextcloud im Jail hat einige Probleme gemacht, erst im dritten Versuch war die Konfiguration lauffähig.

VMs machen dagegen nicht so viel Spaß: bis ich die richtigen Parameter für den VNC an eine Debian-Maschine hatte, ist viel Zeit vergangen. Ebensolang hat es gedauert, bis ich rausgefunden habe, dass die falschen Tastaturlayouts nicht durch Debian, sondern ebenfalls durch VNC verursacht werden (ich musste letztendlich auf meinem Client im Browser die Tastatur auf EN stellen, damit ich auf der VNC-Konsole eine DE-Tastatur habe). Oder bis ich den Trick raus hatte, das EFI von Debian durch verschieben einer Datei lauffähig zu bekommen.

Die Performance war top: bei einer 10GB-Datei: gecachte 120 MB/s lesend/schreibend brechen ein auf 80 MB/s. Bei 3000x 1,5MB-Dateien wurden immernoch rund 60 MB/s erzielt.

ProxMox:
Ebenfalls schnell eingerichtet, allerdings ganz klar eben ein Hypervisor und kein NAS-System. VMs waren relativ problemlos einzurichten, die Debian-Installation lief ebenso problemfrei. Auch ein LXC-Container mit einer separaten Samba-Instanz war schnell konfiguriert.

Etwas nervig ist, dass Storages für NAS etc. eigentlich nur sinnvoll auf der Kommandozeile einzurichten und dann teilweise nicht im Storage-Bereich des GUIs zu sehen sind. Ebenso die Snapshots: ich kann mit zfs-auto-snapshot sehr schnell eine entsprechende auf der Kommandozeile erzeugen, die Snapshots sind dann aber nicht in der GUI bei den VMs zu sehen.
Auch NFS war etwas umständlicher, hier sind halt mehr Parameter und Tools wie rpcbind händisch einzurichten.

Die Performance war nicht ganz so toll wie bei FreeNAS, wenigstens bei den kleineren Dateien ging es schreibend auf 50 MB/s runter, lesend sogar auf 20 MB/s. Der SMB-Server lag dabei in einem LXC.

EXSI:
Als Hypervisor sieht es super aus, deutlich übersichtlicher als Proxmox. Leider scheidet die Nutzung bei mir mangels separatem HBA aus.

Andere:
Unter Proxmox habe ich verschiedene VMs mit OMV, centOS, unRAID und Debian+Webmin ausprobiert, richtig glücklich bin ich mit keinem davon geworden.


So, damit stehe ich vor folgenden Alternativen:

1)
  • Proxmox als Basis und Storage Host
  • darauf eine VM mit Samba, Nextcloud (plus Apache/MariaDB), Emby (Storage per NFS durchreichen)
  • plus eine VM mit allem Smarthome-Zeugs
Alternativ könnte ich die erstgenannten Dinge auch als LXC einrichten, und nur Smarthome als VM.
VorteilNachteil
scheinbar etwas bessere Nutzung der Hardwarerelativ viel Aufwand auf der CLI, die GUI zeigt halt nur den Hypervisor-Teil und damit die halbe Wahrheit. Ich wäre versucht, fürs Monitoring und Alerting noch ein Webmin daneben zu setzen.

2)
  • FreeNAS als Basis und Storage Host, auch direkt für NFS und SMB verantwortlich
  • darauf eine VM mit Nextcloud (plus Apache/MariaDB), Emby (Storage per NFS durchreichen)
  • plus eine VM mit allem Smarthome-Zeugs
Alternativ könnte ich die erstgenannten Dinge als Jail einrichten, aber das schmeckt mir nicht so, weil hier FreeBSD dann auch die Basis ist.
VorteilNachteil
gute Performance, klarer Überblick übers Storage.VMs deutlich umständlicher einzurichten. Wenn die erstmal stabil laufen, wohl kein großes Thema mehr.
Eventuell ist der Speicherbedarf etwas größer – ich weiß nicht, ob meine 16 GB wirklich reichen, bzw. ob eine VM für die Storage-Dienste geschickt ist.

3)
Exsi als Hypervisor einrichten, einen HBA kaufen.
  • darauf eine VM mit FreeNAS inkl. NFS und SMB
  • plus eine VM mit Nextcloud (plus Apache/MariaDB), Emby
  • plus eine VM mit allem Smarthome-Zeugs
VorteilNachteil
für jede Komponente kann ich das einsetzen, was dafür am besten geeignet scheint:
- EXsi als Hypervisor
- FreeNAS für den Storage
- VMs für den Rest
Vermutlich werden die 16GB hier aber auch nicht reichen, was letztendlich dann mit dem HBA ein ganz schönes Invest werden wird.


Übersehe ich Argumente?
 
Als HBA einfach nach gebrauchten Dell PERC H310/ IBM M1015 im IT-Mode schauen, im Marktplatz hier ist derzeit ein Angebot drin (glaube nen PERC H200), ich hätte hier auch noch zwei H310 im IT-Mode rumliegen.

Folglich würde ich Option 3.) mit ESXi wählen. Darauf dann eine Storage VM mit durchgereichtem HBA (z.B. Solarish mit napp-it oder FreeNAS, was dir besser gefällt).
 
Hallo!

Einige Wochen sind vergangen, und ich hab viel experimentiert.
Ich bin schonmal zur einer ersten Entscheidung gekommen: ich möchte gerne FreeNAS als Storage-Anbieter verwenden. Da ich damit aber nicht anständig virtualisieren kann, soll es auf Basis Proxmox oder ESXi laufen.

Da aber FreeNAS ja Zugriff auf den HDD-Controller haben sollte, habe ich einen SATA-USB-Adapter genommen und damit die SSD angebunden. Damit hingen an den Mainboard-SATA-Anschlüssen nur noch die HDDs, welche ich dann per Passthru an FreeNAS durchreichen konnte. FreeNAS gibt dann per NFS Storage für die anderen VMs zurück an den Host, teilweise greifen auch die VMs direkt per NFS zu.

Als Host habe ich dann einige Male ESXi und Proxmox ausprobiert. In beiden Systemen war das Passthru recht unkompliziert (in ESXi eine Datei editieren und dann in der GUI freischalten, in Proxmox einige CLI-Befehle und zwei Dateien). Stabil schien es auch in beiden zu laufen. Ich habe als Test jeweils ein spezielles Backup (200.000 Files) auf ein SMB-Share laufen lassen (jeweils mit 12 GB RAM und 2 vCPU). Beim letzten Durchlauf hatte ich folgende Werte:
FreeNAS unter ProxmoxFreeNAS unter ESXi
26,2 MB/s bzw. 26,8 MB/s26,3 MB/s bzw. 27,5 MB/s

Die vorherigen Läufe hatten vergleichbare Werte. Immer war FreeNAS unter ESXi ein bisschen schneller. Habt Ihr eine Idee, woran das liegen könnte? Interessanterweise haben sich die Werte kaum verändert, als die zweite HDD im Mirror dazu kam.

Von den Werten und der Bedienung her gefällt mir ESXi etwas besser, von den Möglichkeiten her Proxmox.

ESXi hat für mich einen sehr entscheidenden Nachteil: es ist nicht für Consumer-Grade-Hardware wie meine mit dem Fujitsu D3644B gedacht, auch wenn das ein Server-Board ist. So wird beispielsweise keine Möglichkeit geboten, Fan-RPM oder Temperaturen einzusehen oder zu überwachen - dafür müsste BMC mit IPMI unterstützt werden und ich müsste noch einen vSphere danebenstellen. In Proxmox habe ich mit lm-sensors (nach Einrichtung von ftsteutates) kein Problem. Die HDDs sind in beiden Fällen unkritisch: darauf achtet FreeNAS und alertet ggf. auch. Aber da der Server zukünftig im Rack im Nebenraum steht, fände ich es schon gut, wenn ich online nach der Lage sehen könnte.

Ich vermute, ich werde daher auf Proxmox aufsetzen. Die Konfiguration der VMs kann ich unkompliziert sichern, die Daten selber liegen im ZFS-Pool von FreeNAS. Dessen Konfiguration kann ich wiederum auch sehr leicht sichern, und zwar inklusive aller Cron-Jobs, User, Share-Definitionen etc. Im Zweifel muss ich nach einem Ausfall der Boot-SSD also nur Proxmox und FreeNAS roh neu aufsetzen, die VM-Config bzw. das Tar von FreeNAS wieder einrichten, und bin wieder "live".

Was denkt Ihr darüber?
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh