Welches OS für neues System?

[Retrogamer]

Da mein Problem doch etwas komplexer wird, wollte ich dafür doch mal einen neue Thread machen statt andere zu highjacken.

Also System aktuell HP N54L 2x2Ghz mit 8GB Ram und FreeNAS mit 4x3TB sowie ein Laptop mit zwei SSDs mit ESXi für 5 VMs.
System bald: 2x Xeon, 48GB Ram und die Laufwerke von oben

Frage: Welches OS?

Unraid: War eigentlich mein Plan, dann hörte ich aber ist eher slow (aktuell hab ich 100MB/s) und die Festplatten werden nicht gleichmäßig genutzt. Virtualisierung dafür hier top.
FreeNAS: Alles super, aber keine tolle Virtualisierung. Könnte zB kein Ubuntu 18.4 nutzen und Sachen in FreeNAS Jails mit FreeBSD Ports einzurichten ist eine Qual und zum Teil sind die Ports veraltet.
ESXi mit FreeNAS als VM: Hier wäre wohl eine zusätzliche HBA nötig (50€) über den ich dann die Festplatten direkt an FreeNAS durchreichen könnte was einmal wieder kosten sind und zudem auch den Stromvebrauch noch ein paar W hochtreibt.

Habt ihr hier eventuell noch andere Ideen und Vorschläge. Schön wäre wie gesagt eine NAS-System Instanz als Datengrab und mehrer Linux VMs für andere Dienste.

Grüße

 

[asche77]

Omnios auf dem Blech + LX zones + bhyve? Musst du aber über CLI machen.
Unraid Virtualisierung ist nicht top (KVM), aber einfach.

 

[Ceiber3]

Und was ist an KVM schlecht ? 🙄
Ich finde die Virtualisierung von Unraid auch sehr gut. Bei Controller oder Grafikkarten, macht es weniger Probleme als ESXI.
Jedenfalls war das noch vor ein paar Jahren so.

 

[Retrogamer]

Also meine VMs sind nicht so fett. Das ist nen piHole, PLEX, MotionOS Server und sowas. Nur wenn ich zB wie in FreeNAS erst gar kein Ubuntu 18 virtualisieren könnte wäre es doof.

 

[v3nom]

Wofür brauchst du die Transfergeschw. denn?
unRAID ist im lesen so schnell wie die HDD von der gelesen wird. Schreiben geht mit einem SSD Cache zackig, hier limitiert die SSD. VMs kann man auf den Cache legen.
Plex braucht keine VM, das läuft per Docker.

 

[Retrogamer]

Mit Docker habe ich mich leider nie beschäftigt. Kann ich eventuell mal tun. Transfer ist dann vermutlich kein Problem, da sollten die HDDs die 100MB/s ja locker schaffen.

 

[Ceiber3]

Für Plex und Pihole vielleicht auch MotionOS, brauchst du nicht unbedingt VM, docker reicht locker und frist wenig Ressourcen.

 

[v3nom]

Ich hab nen Intel Atom NAS mit unRAID und lasse alles in Dockern laufen (auch PLEX). Falls das Video umgewandelt werden muss steckt eine kleine Quadro P400 drin.
VMs laufen auch, aber meine Win10 VM macht nur einfache Dinge.

 

[GammaRAID]

Ich habe mir gestern erst einen neuen Server zusammengeschraubt und werde Unraid verwenden. Hatte das Projekt schon recht lange vor und habe schon bei einem Freund einen Server auf Unraid aufgesetzt. Bin damit sehr zufrieden. Auch die Geschwindigkeit ist für meine Zwecke vollkommen ausreichend.
Wie wichtig ist dir denn >130mb write speed?

 

[Retrogamer]

100MB/s write/read reicht mir wie gesagt vollkommen, da mein Netzwerk eh nicht mehr kann. Ich war jetzt 6 Jahre auf FreeNAS unterwegs und habe es lieben und hassen gelernt. Daher hätte ich es gerne zumindest als reine Datenverwaltung behalten, was aber ohne zusätzliche HBA Karte nicht so einfach ist, wenn ich es nicht gerade als Haupt OS nutze. Statt mir allerdings die Unraid Lizenz zu kaufen, könnte es auch die HBA Karte sein und ich nutze ESXi und FreeNAS, was ich auf jeden Fall präferieren würde.

Ich denke also aktuell stehe ich wohl doch vor der Entscheidung FreeNAS only und ich sehe mir mal Docker an oder die ESXi Lösung mit HBA Karte um die vier HDDs direkt an FreeNAS durchzureichen.

 

[tcg]

Den HBA kannst du evtl sparen wenn du den onboard Controller an die VM durchreichen kannst. Bei einem Xeon sollte das gehen

 

[miccgn]

Den HBA kannst du evtl sparen wenn du den onboard Controller an die VM durchreichen kannst. Bei einem Xeon sollte das gehen

Als ahnungsloser Theoretiker (bislang wenigstens) habe ich mir schon ein paar Mal die Frage gestellt: wovon hängt das denn genau ab, ob das geht?

 

[tcg]

Von der CPU... bei mir ging das erst nach dem Tausch zum Xeon... Nennt sich bei Intel VT-irgendwas (VT-d ?)

Beitrag automatisch zusammengeführt: 16.03.2020

ahnungsloser Theoretiker

Ich bin auch schon seit vielen Jahren nur am Lernen. Learning by doing. Inzwischen bin ich schon ahnungsloser Praktiker !
Seit kurzen auch mit FreeNAS unter ESXi... Klappt richtig gut inzwischen (das Lernen und auch die Installation ;- )
Nur nicht aufgeben, und vor allem nicht mit heißen (wichtigen) Daten spielen !

 

[miccgn]

Keine Sorge. Der erste Teil der Hardware ist heute angekommen, sobald das Case da ist (und der Urlaub nächste Woche) werde ich mal verschiedene Varianten ausprobieren - Versuch macht kluch. unRAID, FreeNAS, Proxmox jeweils bare, und dann VMs darauf. ESXi plus eine Storage VM wollte ich mir genau aus dem genannten Grund verkneifen.
Aber das sprengt jetzt den Thread hier.

 

[tcg]

Aber das sprengt jetzt den Thread hier.

Das ist doch das Thema hier: "Welches OS für neues System?"

Ich kann ESXi als Unterbau nur empfehlen, das ist recht schlank, schluckt kaum Ressourcen, ist USB-Stick-fähig (wenn gebootet läuft es komplett im RAM, erzeugt also keinen Wear)...
Und wenn du bald ein 2*Xeon-System hast ist das Durchreichen auch kein Thema mehr.
Ist natürlich auch eine Frage des Geschmacks.

Proxmox mag ich nicht so richtig, das ist einfach "zu dick" und bringt (für mich) zu viel mit.
Ist halt kein Type-1 Hypervisor mehr, sondern ein "richtiges" Linux.

unRAID kenn ich gar nicht, aber ich bin von ZFS inzwischen so überzeugt, das schau ich mir nicht mal mehr an.
Evtl. mal irgendwann in ner kleinen VM.

 

[Ceiber3]

Das ist doch das Thema hier: "Welches OS für neues System?"

Ich kann ESXi als Unterbau nur empfehlen, das ist recht schlank, schluckt kaum Ressourcen, ist USB-Stick-fähig (wenn gebootet läuft es komplett im RAM, erzeugt also keinen Wear)...
Und wenn du bald ein 2*Xeon-System hast ist das Durchreichen auch kein Thema mehr.
Ist natürlich auch eine Frage des Geschmacks.

Proxmox mag ich nicht so richtig, das ist einfach "zu dick" und bringt (für mich) zu viel mit.
Ist halt kein Type-1 Hypervisor mehr, sondern ein "richtiges" Linux.

unRAID kenn ich gar nicht, aber ich bin von ZFS inzwischen so überzeugt, das schau ich mir nicht mal mehr an.
Evtl. mal irgendwann in ner kleinen VM.

unRAID die bessere Alternative zu FreeNAS? - Techtest

Wenn es um ein Betriebssystem für einen Datenserver „NAS“ geht ist FreeNAS oftmals die erste Wahl. Dieses gilt als sehr zuverlässig und sicher. Aber was für alternativen gibt es zu FreeNAS, abgesehen von Fertigen NAS Systemen von Synology oder QNAP? Für meinen neues NAS System habe ich einige...

techtest.org

UnRaid hat halt wirklich den Vorteil das eine Datei wirklich nur auf eine Festplatte gespeichert wird und im Notfall wenn das Raid abkacken sollte, man die Daten aus den anderen Festplatten noch lesen kann und nicht alles verliert. Dafür ist es halt nicht das schnelleste OS mit Read und Write. Beim Lesen hast du halt immer nur Max eine Festplatte vom Speed her, beim schreiben hast du weniger. Deswegen finde ich, das bei UnRaid eine SSD als Schreib Cache Plicht ist. Auch bei UnRaid kannst du wie bei ESXI Controller und Grafikkarten durchreichen. Also die VM's stehen meiner Meinung nach den in ESXI in nichts nach. Auch die Leistung der VM's ist sehr gut.

 

[tcg]

Wie gesagt, evtl. mal in ner test-VM.
Nach 1 Minute lesen frage ich mich schon warum unRAID kein ECC-RAM braucht ? Was ist da so magisch dass es Speicherfehler nicht erkennen muss ?
Ich bleibe erstmal bei ZFS ;-)

Beitrag automatisch zusammengeführt: 17.03.2020

Das scheint ein alter FreeNAS Stand zu sein (2017).
Mit meinem 11.3-u1 habe ich die "Beschränkungen" und "Probleme" nicht, bis auf das Mixen verschiedener HD Größen, sowas hab ich aber nicht.
Wie gesagt: jeder hat seinen Geschmack und muss für sich selbst entscheiden.

 

[Ceiber3]

ECC-Ram wer auch da gut, damit es erst garnicht zu Speicherfehler kommt. Eine Erkennung hat es nicht, aber mit ECC hast du ja sogesehen eh keine Probleme mehr mit Bitflip. Nur auf der HDD selber könnten noch die Bit wechseln, deswegen sollte man auch Festplatten mit größeren UBER einsetzen. Bei einen Nas werden ja hauptsächlich Daten abgelegt und bei den meisten nie wieder verändert. Frag mich wie wir früher ohne ZFS und co überleben konnte. Ich hatte auch schon früher mit ECC und Hardware-Raid keine Probleme mit korrupten Dateien. ZFS ist halt sehr Perfomant und hat Checksummen und Snapshots. Dafür kannst du da halt das Raid nicht erweitern, das noch immer mein größter Kritikpunkt bei ZFS. Wenn du da das Raid erweiter magst, musst du entweder alle Festplatten gegen größere tauschen oder ein zweites Raid erstellen und und das zum Pool hinzufügen. Dabei verlierst du halt wieder min 1 Festplatte was ich halt nicht so Cool finde.

Obwohl Speicherfehler Erkennung auf den Festplatten kann vielleicht UnRaid auch, kann ja angeblich BTRFS. Habe ich aber nie ausgetstet.

 

[Retrogamer]

Habe festgestellt, dass mein Board meine Festplatten gar nicht nativ verwalten kann da 3TB. Bruche also eh die HBA und dann kann ich auch schön die ESXi - FreeNAS Variante nutzen. Habe mich also soweit entschieden. Vielen Dank an alle. Unser lieber asche77 hier bietet ja zufällig eine gute an.

Vorteile dann für mich vor allem dass ich weder meinen zpool neu anlegen muss, keine Daten kopieren und auch meine ganzen ESXi VMs einfach übernehmen kann.

 

[tcg]

Nur auf der HDD selber könnte noch die Bit wechseln

genau das kann ZFS ja erkennen und selbst fixen ("Selbstheilung") ! Das ist der riesige Vorteil den ich sehe und für mich nutzen will.
Und sowas wie: Familienfotos (einfach mit copies=2) werden mehrfach (unsichtbar) gespeichert...
Ich hab auch seit 30 Jahren RAID im Einsatz und nie Probleme gehabt ("Promise FastTrak Tx" hies der glaube ich damals, ein IDE Raid mit 2MB Cache glaube ich ;-)
ZFS habe ich auch nur auf dem Storage Server im Einsatz, sonst immer noch Raid... Geht immer noch gut.
Platten hinzufügen kann ich nicht, mein MicroServer hat nur 4 Slots und die sind voll... (Die Slots, nicht die HDs)

Beitrag automatisch zusammengeführt: 17.03.2020

Habe festgestellt, dass mein Board meine Festplatten gar nicht nativ verwalten kann da 3TB

Sicher ?
Die 2TB Grenze ist doch nur beim Booten relevant ?
Wenn die HDs per AHCI angesprochen werden sollte das gehen mit >2TB, oder ?

 

[miccgn]

Hallo,

ich habe in einem anderen Thread teilweise schon die Diskussion gestartet, daher wollte ich den Thread hier nicht kapern - ich bin nicht der Threadstarter hier!
Bei der genannten Hardware ist das in der Tat kein Thema und klingt plausibel und wäre einen Versuch wert.

Ich kann ESXi als Unterbau nur empfehlen, das ist recht schlank, schluckt kaum Ressourcen, ist USB-Stick-fähig (wenn gebootet läuft es komplett im RAM, erzeugt also keinen Wear)...
Und wenn du bald ein 2*Xeon-System hast ist das Durchreichen auch kein Thema mehr.

 

[Trambahner]

Ob man einen Onboard-Sata-Controller bei ESXI durchreichen kann, hängt ab vom Controller, dem Bios, der Implementation/Aufteilung der IOMMU-Gruppen, Hardwareadressen, etc.
Manchmal klappts per GUI, manchmal per manuellem Editieren der passthru.map und manchmal gehts auch gar nicht oder evtl. nur im Verbund untrennbar mit anderen Geräten.
Muss man ausprobieren und dann natürlich testen, ob das stabil läuft und auch Reboots überlebt.

 

[Retrogamer]

Ob man einen Onboard-Sata-Controller bei ESXI durchreichen kann, hängt ab vom Controller, dem Bios, der Implementation/Aufteilung der IOMMU-Gruppen, Hardwareadressen, etc.
Manchmal klappts per GUI, manchmal per manuellem Editieren der passthru.map und manchmal gehts auch gar nicht oder evtl. nur im Verbund untrennbar mit anderen Geräten.
Muss man ausprobieren und dann natürlich testen, ob das stabil läuft und auch Reboots überlebt.

Problem ist allerdings, dass ich ESXi-Daten (boot vom USB Stick) auf alten SSDs laufen habe. Eine aktiv für VMs und eine für Backups der VMs und als ISO Ablage. Die müsste ESXi ja erreiche können. Von daher könnt eich nicht den ganzen Controller an FreeNAS durchreichen. Dachte in meinem Leichtsinn, dass ich 1:1 einzelne HDDs an VMs durchreiche kann. Mit der HBA Karte ist das glaube ich ganz gut geregelt, dann hat FreeNAS direkt seine vier HDDs für sich und der On Board Controller kann gemütlich auf seinen SSDs oder was immer noch rein kommt rumschreiben. Sollte so die sauberste Lösung sein.

Sicher ?
Die 2TB Grenze ist doch nur beim Booten relevant ?
Wenn die HDs per AHCI angesprochen werden sollte das gehen mit >2TB, oder ?

Bezüglich der 2TB Grenze sagte mir das der Verkäufer. Das Board ist ein Supermicro X8DT3-F mit einem Intel ICH10R SATA 3.0Gbps Controller. Ist ja auch nicht unbedingt das neuste.

 

[jonofe]

Die müsste ESXi ja erreiche können. Von daher könnt eich nicht den ganzen Controller an FreeNAS durchreichen.

Das wäre nur die Herausforderung für die Storage VM, die muss natürlich außerhalb des durchgereichten Controllers laufen.

Ich habe dies bei mir initial mit einer kleinen NVMe auf einer PCIe-NVMe-Adapterkarte gemacht. Darauf liegt die Storage VM, ESXi bootet von USB, startet die Storage VM von der NVMe und die Storage VM stellt dann per NFS Share weitere Datastores für VMs, VM-Backup und ISOs bereit. Funktioniert wirklich super, ohne manuellen EIngriff beim Restart des gesamten Hosts, d.h. auch der Autostart der VMs, die auf dem NFS Storage der Storage VM liegen, werden problemlos gestartet, nachdem die Storage VM gebootet hat.

 

[eldiabolo18]

Bezüglich der 2TB Grenze sagte mir das der Verkäufer. Das Board ist ein Supermicro X8DT3-F mit einem Intel ICH10R SATA 3.0Gbps Controller. Ist ja auch nicht unbedingt das neuste.

Hier der Verkaeufer. Das war missverstaendlich ausgedrueckt. Bezieht sich nur auf den internen SAS-Controller. die normalen SATA-anschluesse kannste soviele TB dranhaengen wie du willst.

 

[Retrogamer]

Um so besser, dann brauche ich mir ja keine Gedanken zu machen wenn ich Mal mehr Platz in ESXi brauche.

 

[miccgn]

Hallo,

Ob man einen Onboard-Sata-Controller bei ESXI durchreichen kann, hängt ab vom Controller, dem Bios, der Implementation/Aufteilung der IOMMU-Gruppen, Hardwareadressen, etc.
Manchmal klappts per GUI, manchmal per manuellem Editieren der passthru.map und manchmal gehts auch gar nicht oder evtl. nur im Verbund untrennbar mit anderen Geräten.
Muss man ausprobieren und dann natürlich testen, ob das stabil läuft und auch Reboots überlebt.

ich hab's ausprobiert: nachdem ich den SATA-Controller manuell in die passthru.map eingetragen habe, war er mappable.

Nur möchte EXSi, das zu dem Zweck auf einen USB-Stick gezogen ist, auf diesem oder anderen Sticks keine VMs ablegen. Mit anderen Worten: ich hab dann keinen Datenspeicher. Wäre ja auch zu einfach gewesen: ein 32 GB Stick, darauf 7 GB belegt mit EXsi, und 20 GB mit FreeNAS, was dann alles andere bereitstellt....

 

[Trambahner]

Doch, das geht wenn Du auf den USB-Stick nach der ESXI-Installation über dessen Shell manuell eine Datastore-Partition erzeugst und diese auch in der Shell mit VMFS formatierst. Dann taucht sie als Datastore auf und Du kannst VMs drauf ablegen.
Du musst im Prinzip die Volume-ID ausfindig machen (ls /dev/disks/ -al) , die Partitionmap anzeigen (partedUtil getptbl /dev/disks/vml.xxxxxxxxxxxxxxx) damit Du siehst, wieviel Blöcke von wo bis wo belegt sind und ab wo wieviel frei ist.
Dann mit partedUtil add /dev/disks/vml.xxxxxxxxxxxxxxxx gpt "2 startblock anzahlblöcke AA31E02A400F11DB9590000C2911D1B8 0" eine Partition anlegen und dann mit
vmkfstools -C vmfs6 -S BootDS /dev/disks/vml.xxxxxxxxxx:2 formatieren.

Da stehts drinne:
https://darkglade.com/2019/07/05/building-a-datastore-on-your-esxi-boot-usb/

Aber, Warnung, Du willst da auf dem Stick keine VMs drauf haben die ständig zugreifen. Das wird zäh ohne Ende. Für eine schlanke Xigmanas-Installation und damit zur ZFS-Verwaltung reicht es hingegeben, weil dort nach dem Booten sehr wenig zugegriffen wird. Hab ich selber im Einsatz mit nem 128er Stick auf 6.7 U3. Die Vdisk muss dann aber als Sata der VM präsentiert werden, nicht als SCSI/SAS. Das bombt Dich sonst mit USAP-Fehlermeldungen aus.
Oder Du nimmst eine USB-SSD (Samsung T5? oder Sandisk Extreme Pro 128 pder 256GB Stick) . Dat geht dann von der Performance auch für ne Windows VM.

=> Damit hab ich auf dem X10SL7-F z.B. sämtliche 14 Ports (8 Sas, 6 Sata) und auf dem X11SSH-CTF 16 Ports (je 8 SAS und Sata) für ZFS.
Nachteil: Könnte ggf. Probleme machen wenn man ESXI updaten will.

 

[miccgn]

Hallo,

danke! Genau das habe ich parallel in der Zwischenzeit auch entdeckt. Letztendlich hilft es mir auch wenig: statt eines HBAs muss ich dann eben eine M.2-SSD einbauen in den Rechner, oder in merkwürdige USB-Konstrukte investieren. Dann lieber nen HBA

Aber: es läuft mit dieser Krücke

 

[andrer250282]

Nachteil: Könnte ggf. Probleme machen wenn man ESXI updaten will.

Macht es ;-)
Ich muss nach jedem Update den VMFS6 Datastore neu mounten, danach klappt es auch rebootsicher. Aber der erste Start nach dem Update ist jedes Mal ein Schock, so viele Fehler