fallenguru
Neuling
- Mitglied seit
- 25.09.2024
- Beiträge
- 57
(Nicht sicher, ob das hierher gehört oder in den ZFS-Faden.)
Habe 2x Exos X18 16 GB und 2x PM883/893 480 GB (+ MC12-LE0, 5600X, 64 GB ECC, sollt aber egal sein). Daraus soll ein Backupserver auf Proxmox-Basis werden. Proxmox hauptsächlich deshalb, weil's im Gegensatz zu einem nackerten Debian stable gleich mit ZFS daherkommt, und ohne jedes Theater davon bootet. Ganz abgesehen davon hasse ich bare metal backup / restore, VMs sind da einfach komfortabler. Und wenn's einmal sein muss kann ich auch die ein oder andere VM (container), die nichts mit Backup zu tun hat, auf dem Ding laufen lassen, bis das primäre System wieder funzt.
Die Kiste soll ZFS backups von den (File-)Servern via zfs receive, BTRFS backups von den Desktops via btrfs receive (notgedrungen via BTRFS-on-ZVOL), PVE backups via PBS (in einer VM), und mehr oder minder konventionelle Dateibackups (schaut momentan nach restic aus) annehmen, das wichtigste Zeug auch noch zu Hetzner verfrachten (schaut auch nach restic aus), und die Daten ansonsten sicher begraben, bis ich sie hoffentlich nie brauch.
Das Ding fährt in der Nacht hoch, pullt Backups von allem was wach ist, und schläft wieder ein (oder fährt ganz runter).
Frage 1 – Pool-Setup
N.B. Alle vdevs mirrored.
Jegliche Anregungen willkommen.
Also ich weiß nicht. Die Seagate Exos (günstigste ordentliche HDD lt. GH) gibt's ab ~€15/TB, SSDs fangen bei €95/TB an, wobei wir da von €700–800/Disk reden. Die Samsung PM883 1 TB liegt bei €114. Also immer noch gut das 7-fache. Natürlich kann man auch Consumer-SSDs nehmen, bei denen darf man dann wie ein Haftelmacher aufpassen, dass man nicht zu viel schreibt, und bei jeglichen sync writes steht das Ding dann. Und wehe es ist voll. Nein, HDDs haben durchaus noch eine Daseinsberechtigung, und nicht nur als Datengrab.
Tell me more. Hat OPNsense eingebaute HA-Unterstützung, oder wie? Wenn das günstig realisierbar ist, wärs ein Grund, meine Eigenbaulösung aufzugeben.
Das sagen alle, also wird es schon stimmen, aber verstehen tu ich's nicht. So ein Backup im laufenden Betrieb ist auch nicht schlimmer als wenn der Kübel den Strom verliert. Sind halt die letzten paar Transaktionen nicht mehr drin, aber konsistent sollte die DB immer sein. Oder verwenden die Leut heutzutage nur noch non-ACID-Datenbanken?
Habe 2x Exos X18 16 GB und 2x PM883/893 480 GB (+ MC12-LE0, 5600X, 64 GB ECC, sollt aber egal sein). Daraus soll ein Backupserver auf Proxmox-Basis werden. Proxmox hauptsächlich deshalb, weil's im Gegensatz zu einem nackerten Debian stable gleich mit ZFS daherkommt, und ohne jedes Theater davon bootet. Ganz abgesehen davon hasse ich bare metal backup / restore, VMs sind da einfach komfortabler. Und wenn's einmal sein muss kann ich auch die ein oder andere VM (container), die nichts mit Backup zu tun hat, auf dem Ding laufen lassen, bis das primäre System wieder funzt.
Die Kiste soll ZFS backups von den (File-)Servern via zfs receive, BTRFS backups von den Desktops via btrfs receive (notgedrungen via BTRFS-on-ZVOL), PVE backups via PBS (in einer VM), und mehr oder minder konventionelle Dateibackups (schaut momentan nach restic aus) annehmen, das wichtigste Zeug auch noch zu Hetzner verfrachten (schaut auch nach restic aus), und die Daten ansonsten sicher begraben, bis ich sie hoffentlich nie brauch.
Das Ding fährt in der Nacht hoch, pullt Backups von allem was wach ist, und schläft wieder ein (oder fährt ganz runter).
Frage 1 – Pool-Setup
N.B. Alle vdevs mirrored.
- Dem Proxmox-Installer den Großteil der zwei SSDs für den RPOOL lassen, Rest special vdev für einen Pool aus den beiden Platten.
Contra: Lange hieß es, dass auf dem root pool wirklich nur das System liegen sollte, u. a. weil der gerade unter Linux Einschränkungen unterliege. Abgesehen davon möchte ich den Platz auf den SSDs nicht nur für Proxmox und seine VMs nutzen; k. A., ob man auf einem pool, den Proxmox als "seinen" Systempool ansieht, gefahrlos andere Datasets/ZVOLs anlegen kann.
oder - Noch kleinerer RPOOL (per Installer), dahinter ein kleiner, manuell angelegter SSD-Pool, dahinter special vdev für den HDD-Pool. Kann ja immer noch ein Dataset auf dem SSD-Pool anlegen und in Proxmox als Datastore einbinden.
Contra: Komplexer, und man müsste es schaffen, den Platzbedarf der drei Partitionen richtig abzuschätzen.
- Mir ist klar, dass das weit jenseits von ideal ist – irgendwelche Tipps, wie man den Schaden zumindest minimieren kann? So schnell muss es ja nicht sein, ist ja nur für Backups, aber einserseits möcht ich keine Performance liegen lassen, andererseits ist die write amplification für die SSDs auch nicht gerade lebensverlängernd.
- Das Einzige, was mir ausser Filesystemtuning auf ZFS- und BTRFS-Seite eingefallen ist, ist die Anzahl der Snapshots klein zu halten und "alte" Snapshots in ein restic repo zu verfrachten. So ist die Versionierung noch etwas länger möglich ohne BTRFS mit hunderten Snapshots zu belasten (was es schon bare metal gar nicht mag).
- Was nimmt man heutzutage als Frontend für zfs send/receive? PBS selbst kommt für PVE-fremde Datasets ja wohl nicht in Frage. Gut, ich hab meine alten Skripte, aber wenn's was bewährtes Fertiges gibt, nehm ich das gerne.
- Für den PBS wird ja dringend empfohlen, ihn auf SSDs laufen zu lassen – gilt das auch dann, wenn er nur von einem remote pullt? Hab nämlich Zweifel, dass der Platz auf den SSDs reicht, und für ruhende Daten isser mir auch zu schade.
- Kann man da irgendwas optimieren? Z. B. Metadaten (der PBS-Backups) auf den SSD-Pool, Chunks auf den HDD-Pool?
- Grundsätzlich sollte systemctl suspend normal funktionieren, gibt's irgendetwas zu beachten?
- Würdet ihr in dem Fall das, was es halt sonst noch so braucht (btrfs-tools, btrbk, restic, ...) auf dem Host installieren oder in Container? (PBS kommt fix in eine VM.)
Jegliche Anregungen willkommen.
Beitrag automatisch zusammengeführt:
Also ich weiß nicht. Die Seagate Exos (günstigste ordentliche HDD lt. GH) gibt's ab ~€15/TB, SSDs fangen bei €95/TB an, wobei wir da von €700–800/Disk reden. Die Samsung PM883 1 TB liegt bei €114. Also immer noch gut das 7-fache. Natürlich kann man auch Consumer-SSDs nehmen, bei denen darf man dann wie ein Haftelmacher aufpassen, dass man nicht zu viel schreibt, und bei jeglichen sync writes steht das Ding dann. Und wehe es ist voll. Nein, HDDs haben durchaus noch eine Daseinsberechtigung, und nicht nur als Datengrab.
Tell me more. Hat OPNsense eingebaute HA-Unterstützung, oder wie? Wenn das günstig realisierbar ist, wärs ein Grund, meine Eigenbaulösung aufzugeben.
Das sagen alle, also wird es schon stimmen, aber verstehen tu ich's nicht. So ein Backup im laufenden Betrieb ist auch nicht schlimmer als wenn der Kübel den Strom verliert. Sind halt die letzten paar Transaktionen nicht mehr drin, aber konsistent sollte die DB immer sein. Oder verwenden die Leut heutzutage nur noch non-ACID-Datenbanken?
Zuletzt bearbeitet:
