Finde leider nicht oft die Zeit hier reinzuschauen, aber falls es noch offene Fragen zu meinem Setup gibt, werde ich in den kommenden Tagen wieder ein paar mal nachsehen.
Kurzes Update:
Mittlerweile laufen 26 VMs/LXCs, weiterhin alles komplett problemlos und stabil. Leider wurde meine Uptime vor 32 Tagen durch einen Stromausfall resettet, ansonsten hätte es bisher keinen crash oder Grund zum Reboot gegeben. Dank power-state Einstellung im BIOS ist das Teil gleich nachdem der Strom wieder da war von selbst wieder hochgefahren und alle Dienste waren nach ein paar Minuten wieder up.
Positiv überrascht bin ich davon, dass sich das IO-Delay trotz gestiegener Zugriffe nicht verschlechtert hat und außer in Ausnahmefällen bei Nutzung der Win11 VM unmerklich ist. Die Empfehlung ist dennoch ganz klar, wie bereits in meinem OP ausgeführt, Enterprise-SSDs für den Hypervisor vorzusehen!
und alle Logs und einiges weitere Files des Hypervisors liegen auf einer RAM-Disk um die SSD zu schonen. Einzig das IO-Delay ist mir zu hoch, weil ich den Fehler gemacht habe für die Proxmox Installation normale consumer SSDs (ZFS1) zu verwenden. Diese werden sobald es Probleme gibt gegen enterprise-SSDs getauscht, nachdem die 500 GB die ich dafür brauche mittlerweile wirklich erschwinglich sind.
Obwohl meine Recherche ergeben hatte, dass der gewählte M.2->SATA Controller problemlos unter Proxmox/TrueNAS laufen sollte, gab es einige kritische Stimmen, doch auch hier kann ich bisher nichts Negatives berichten. Vor kurzem hatte ich die Härteprobe, bei der ich eine der NAS Platten ersetzen musste und auch 24h Resilver + Normalbetrieb + Backupplatte hat das Teil anstandslos mitgemacht. Trotzdem nochmal:
(Angesichts der HDD Preise, speziell am Gebrauchtmarkt würde ich mich heute für SAS controller und SAS Backplane entscheiden)
Meine Empfehlung zu servershop24 muss ich allerdings aufgrund nicht vorhandener Qualitätskontrolle zurück nehmen:
Ich hatte ursprünglich 5 Platten bestellt, wobei 2 direkt defekt angekommen sind. Diese wurden auch völlig anstandslos und zügig ersetzt. Nach 3 Monaten ist eine weitere Platte im Betrieb verstorben, was nunmal bei gebrauchtem Kauf vorkommen kann. Diese Platte wurde dann nochmal auf Gewährleistung getauscht, auch hier eigentlich ein Lob für die reibungslose Abwicklung! Zur Ersatzplatte hatte ich dann nochmal eine weitere Platte dazu bestellt und es waren allen ernstes beide Festplatten bei Ankunft defekt. Eine davon hatte sogar einen gebrochenen SATA Stecker....
Da ich nicht noch mehr Zeit auf das Verschiffen von Elektroschrott verschwenden möchte, habe ich um eine Rückerstattung gebeten, die abermals problemlos verlaufen ist.
Der Support ist dort wirklich klasse und ich finde es einfach schade, dass man sich durch das völlige Fehlen jeder Qualitätskontrolle selbst disqualifiziert. Eine kurze Sichtkontrolle und ein SMART Kurztest an einer Teststation, bevor die Platten verschickt werden, dauert mit etwas Übung 3 Minuten, die garantiert weniger Kosten als die Rücksendung und Rückabwicklung! Einfach unverständlich....
Aktuelles:
Wie sieht dein aktuelles Konzept aus? Du hast folgende Festplatten / NVMe / SSD:
Proxmox:
- 1x NVMe und 1x SSD (gespiegelt)
5 x Bay 3.5" Slot:
- 2x 12 TB HDD (gespiegelt) + 1x 12 TB HDD (spare) - Passthrough für TureNAS
- 2x (?)
Proxmox läuft auf der NVMe (Cache im RAM ausgelagert) und die LXR / Docker auch?
Wo laufen deine VMs wie z.B. TrueNAS VM?
Grüße
Ganz genau,
NVMe und SATA SSD sind als
ZFS mirror konfiguriert, worauf der
Hypervisor (Proxmox)
und die
VM/LXC laufen. Zwar hilft das Auslagern diverser Dateien, mit häufigem Zugriff auf eine RAM-Disk Verschleiß und IO-Delay zu reduzieren, trotzdem ist es dringend anzuraten Enterprise-SSDs zu verwenden.
Bisher hatte ich in der Backplane nur die zwei gespiegelten Platten inkl. Spare und einer alten Platte ohne Redundanz laufen, ich habe allerdings erst kürzlich auf RAIDz1 mit 3 HDDs und einer Spare umgestellt.
Grundsätzlich wäre es möglich die VMs auf den NAS Platten laufen zu lassen aber nachdem das ganze Zeug sehr überschaubare Zugriffe hat, hält sich das IO-Delay sogar mit meinen billig SSDs in Grenzen. Bezüglich der Lebensdauer sollte man sich natürlich keine Illusionen machen und ich rechne jederzeit mit dem Ausfall einer SSD, was dann als Anlass zum Wechsel auf etwas vernünftiges genommen wird!