[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen

[gea]

Small update of the remote_cs_server software as replication from any to any server requires more work

https://www.napp-it.org/doc/downloads/remote_cs_server.zip

This howto requires server software up from Mar 16. 2024
########################################################

Client /server web-gui for (m)any ZFS Server

is a client server configuration with a frontend web-gui (currently Windows web application on Apache) and a
server backend that can run on nearly any ZFS server or appliance (BSD, Linux, Illumos, OSX, Solaris or Windows)

This folder "remote_cs_server" contains the server backend with the startup script "start_server_as_admin.pl" and "cs_backend.pl" with the server part and server.auth with the authorisation key.

cs_backend.pl is a background task that runs with admin permissions to process and return data ex for zfs and zpool commands

client.pl
this script is an example to request data from the server if you want to add your own addition or menu

Client/server setup should work on any server or appliance with Perl installed and access to a root console
based on *BSD, *Linux (Debian/Proxmox), OSX, Solaris/Illumos and Windows 10/11/Server

Server Setup
Upload folder remote_cs_server to any location of a ZFS server
(ex /pool/filesystem or desktop or a system folder like /var/web-gui)
via wget, SMB, WinSCP or any other method

Optionally
edit cs_backend.pl (WinSCP, midnight commander or other editor) and
adjust allowed_ip (restrict clients), timeout (client timeout), max_connections (concurrent number of clients)

Start server backend from console as root or admin
perl /path_to_this_folder/start_server_as_admin.pl or with a Windows ZFS server
/xampp/perl/bin/perl.exe /path_to_this_folder/start_server_as_admin.pl

If you use a Putty remote console to start the server:
When Putty disconnects the server stopps, use only for tests.

 

[gea]

Im gestrigen ZFS on Windows 2.2.3 gab es ein Problem mit der CPUID Erkennung das den Rechner während der Installation abstürzen lassen konnte.

Redo cpuid feature detection, part 2 · openzfsonwindows/openzfs@ad3d9f7

Turns out using GCC cpuid() clobbers registers with first symptoms dying in tunables. MS has intrinsic cpuid() so we might as well use it. Also make sure the tnable get functions use static memory...

github.com

Es gibt eine aktualisierte Version das dieses Problem behebt.

Releases · openzfsonwindows/openzfs

OpenZFS on Linux and FreeBSD. Contribute to openzfsonwindows/openzfs development by creating an account on GitHub.

github.com

 

[gea]

Das Portieren einer lokalen ZFS web-gui in eine OS und plattformunabhängige Client Server Lösung bringt jeden Tag neue Herausforderungen. Am Anfang ist mir der Server bei einem 40k snap list oder ZFS get all ausgestiegen, jetzt sollten auch MB große Listings gehen. Auch die Gui Peformance finde ich langsam richtig gut. Das jedes OS eine andere Softwareumgebung mit anderen installierten Modulen hat, habe ich langsam im Griff indem ich alles beilege was benötigt wird.

Aktueller Stand (20.3.)
Client Software/ Web Frontend unter Windows: Copy and Run
Server Backend Software für BSD, Linux, OSX, Solaris/Illumos und Windows: Copy and Run (beliebiger Ort wie /var/web-gui, Desktop oder tank/data)
Kann große Datenmengen (zfs list, zfs get all) verarbeiten
Jobs wie autosnap und Scrub laufen remote, Replikation von any to any wird noch Arbeit machen.
GUI Performance empfinde ich super, insbesondere da alle Dsten bei jedem Menüaufruf mieingelesen werden Eine Datenbank für ZFS will ich vermeiden da man dann nichts mehr auf der Console machen sollte. (So wie bei FreeNAS)

 

[besterino]

Klingt super! ich selbst hab allerdings wohl erst einen echten Anwendungsbereich, wenn ich irgendwann wirklich zfs auf Windows-Clients einsetze. Bis dahin besteht meine zfs-Landschaft aus genau zwei Rechnern, von denen nur einer mehr als ein paar Tage im Jahr läuft (der andere macht Backup so ca. 1x im Quartal). Das ging mit Deiner bisherigen Struktur auch schon prima.

 

[gea]

Sun hatte soviele geniale Sachen in Solaris eingebaut die ich in meiner normalen Version auch für den Solarisfork Illumos nutze. Die werden in diesem Umfang nie in einem OS unabhängigen napp--it cs landen. Die Funktionen in cs wie ganz allgemein einfaches ZFS Management mit überaus detailliertem Behalte Regeln für Snaps aus Replikationen oder Autosnap Jobs, Snap oder SMB Share Management, appliance maps (Ansicht eines Jbod mit Plattenbelegung zum Audrucken) sollten auch unter Illumos/Solaris die meisten Anwengsfälle abdecken. Vielleicht sogar ganz angenehm im Vergleich zu der Fülle der Funktionen in der normalen Version oder anderen GUIs

Mein erstes Ziel sind natürlich ZFS Plattforman für die es bisher keine vernünftige ZFS GUI gibt wie diverse BSD und Linux Optionen oder OSX und Windows oder Installationen mit mehreren/vielen ZFS Servern oder NAS appliances die man einfach zentral managen möchte. Wer unterschiedliche Plattforman nutzt oder testet freut sich sicher über ein einheitliches Look and Feel. Prinzipiell ist neben ZFS auch ganz allgemein zentrale Server Steuerung und Überwachung mit weiteren Menüs denkbar.

Daher natürlich die Nutzer, die eigene Management Funktionen planen. Ein privater Menüpunkt in napp-it cs ist lediglich ein Ordner mit eine action.pl Perldatei darin für die Interaktion mit dem Nutzer. Ein Remote Abruf von Informationen eines angewählten Servers wie ein Dateilisting übers Netz bedeutet lediglich z.B. ein $t=&exe("ls -a");

Das geht jetzt auch bei einem großen Server mit $t=&exe("zfs get all"); bei denen auch mehrere MB übertragen.

 

[gea]

Es gibt neue release candidates von Open-ZFS 2.2.3 für OSX und Windows

OpenZFS on OS X • View topic - zfs-macOS-2.2.3rc4 release

Releases · openzfsonwindows/openzfs

OpenZFS on Linux and FreeBSD. Contribute to openzfsonwindows/openzfs development by creating an account on GitHub.

github.com

 

[besterino]

Da kommt man ja gar nicht hinterher... bin gerade noch dabei die Hardware neu zu sortieren, erst dann geht's wieder weiter mit Software-Testen...

 

[gea]

Da sich in Open-ZFS erst mit 2.2.4+ wieder was ändert, betrifft das nur Treiber und Installer Stabilität.
ZFS on OSX und ZFS on Windows sind ansonst nahezu identisch zu Open-ZFS 2.2.3

Jorgen Lundman
Announcing the release of zfs-2.2.3, it is fairly close to upstream OpenZFS-2.2.3

ps
Je mehr Leute ZFS on OSX und ZFS on Windows testen und Probleme berichten,
desto schneller werden letzte Installer und Integrationsprobleme auf verschiedenen OS Versionen oder Hardware gelöst.
Auf ZFS Ebene selber sollte man bereits mit der Sicherheit oder Unsicherheit von ZoL rechnen können.

Issues · openzfsonosx/openzfs

OpenZFS on Linux and FreeBSD, and, macOS. This is where development for macOS happens. - Issues · openzfsonosx/openzfs

github.com

Issues · openzfsonwindows/openzfs

OpenZFS on Linux and FreeBSD. Contribute to openzfsonwindows/openzfs development by creating an account on GitHub.

github.com

Auf jeden Fall sind die Issues überschaubar wenig.
Teils sind es auch Windows Probleme, wie mein Issue mit Replikation.
Da stellte sich heraus dass man mit der Powershell kein zfs send | zfs receive machen kann (geht mit cmd).

 

[besterino]

Joah, CMD und Powershell sind definitiv zwei verschiedene Paar Schuhe.

Ich hoffe ja mal, dass irgendwann eine Integration dahingehend kommt, dass ein Pool im Bootvorgang eingebunden werden kann (quasi wie nativ NTFS, ReFS). Aktuell stehen die Volumes für manche Einsatzzwecke zu spät zur Verfügung.

 

[gea]

Automount aller Pools kommt sicher noch.
Im Moment sollte ein geplanter task via taskschd.msc zum Systemstart eigentlich funktionieren:
zpool import -f poolname

 

[gea]

Ich gewöhne mich gerade daran, meine USB Sticks und externen USB Platten mit ZFS zu nutzen.
Die werden im Gegensatz zu *FAT* nicht automatisch gemounted, ist aber kein Problem da ich die Pools darauf immer usb nenne.

Nach dem Einstecken brauchts dann nur ein "zpool import -f usb" und ich kann die auf BSD, Linux, OSX, Solaris/Illumos und Windows öffnen.
Damit bin ich endlich weg von *FAT* wo man insbesondere auf unsicheren Datenträgern wie USB Sticks wegen der fehlenden Prüfsummen nie sicher sein konnte ob die Daten noch ok sind.

zpool export vor dem Abstecken nicht vergessen.

 

[besterino]

Und du hast auch ohne Verschlüsselung einen de-facto Zugriffsschutz bei Verlust.

Wenn einer den Stick findet dürfte wohl kaum einer mal ZFS testweise ausprobieren.

Nur zum Datenaustausch mit anderen taugt das dann weniger…

 

[gea]

Erfordert halt Absprache.
In erster Linie ist das aber für Eigennutzung oder Backup.

ps
Schon lange her, dass ich einen USB Stick zum Datenaustausch erhalten habe. Heute bekomme ich stattdessen einen Cloud/Gdrive Link.

 

[gea]

Um einen TrueNAS Server in die Servergruppe aufzunehmen:

- Enable SSH, allow root (sharing options) or SMB
- Copy napp-it cs_server to a filesystem dataset ex tank/data (/mnt/tank/data)
- open a root shell and enter:
perl /mnt/tank/data/cs_server/start_server_as_admin.pl
Add Truenas to your servergroup (ZFS Servergroup -> add)



Anyone with a Qnap ZFS Box?
Can you verify a similar setup

 

[gea]

napp-it cs beta, aktueller Stand (apr.05)

Server groups mit remote web-management: (BSD, Illumos, Linux, OSX, Windows): ok
ZFS (pool,filesystem,snap management): ok auf allen Platformen
Jobs (snap, scrub, replication mit netcat von any source to any destination): ok außer Windows als source oder destination
(Windows als source geht mit nmap/netcat on Windows, nicht mit netcat Windows 1.1.2)

 

[Pac2]

Hallo,

Ich nutzte Napp It schon ewig ohne Probleme und bin super zufrieden. (Vielen Dank @gea)

ich habe ein kleines Problem mit meiner installation unter Openindiana.
Nach der Aktualisierung des Betriebssystems bekomme ich im Header immer folgende Fehlermeldung.
Napp-It funktioninert allerdings noch ohne Probleme.

 

[gea]

Das "Problem" mit OpenIndiana ist, dass es keine Stable oder long term Stable gibt wie bei OmniOS. Jedes OpenIndiana Update übernimmt sofort neueste Neuheiten In Ilumos. Ist daher oft etwas unberechenbar. Bei OmniOS gibt es neue Sachen nur in neuen Stables und ansonst nur Bug/ Security Fixes.

Welche napp-it Version ist denn installiert.

 

[Pac2]

Danke für die schnelle Antwort.

Aktuell läuft: 21.06a14

 

[gea]

Bitte wenigstens auf 22.03 (ist auch free) updaten.
Läuft bei mir mit OI Hipster/illumos-8becd264f0

 

[Pac2]

Hat funktioniert.
Vielen Dank.

Irgendwie hab ich es übersehen dass es eine neue Version gibt.

 

[gea]

Die habe ich freigeschaltet da es keinen Sinn macht die 21.06 free weiter zu pflegen.
22.03 ist jetzt auch die Default für Erstinstallationen und die letzte Version die ausschließlich auf mini_http baut.

In neueren napp-it Versionen ist Apache für https integriert. Ein Update darauf kann man mit einem kostensen Eval Key machen.

 

[gea]

Wie viel RAM benötige ich für napp-it cs?​

RAM für einen ZFS-Filer hat keinen Bezug zur Pool- oder Speichergröße (außer bei aktiviertem dedup!)

Man sollte 1-2 GB für ein 64-Bit-Betriebssystem haben, dazu 1–2 GB für einen Solaris-basierten Filer und 3–4 GB für einen BSD/Linux-basierten Filer für minimales Lese-/Schreib-Caching, sonst kann ZFS sehr langsam sein. Der zusätzliche RAM hängt von der Web-GUI, der Anzahl der Benutzer oder Dateien, der Datenvolatilität oder der gewünschten Speicherleistung ab. Festplattenbasierte Pools brauchen mehr RAM als SSD-Pools, um eine gute Leistung zu erzielen.

Bei napp-it cs empfehle ich 8 GB für den Windows-Rechner, auf dem die Frontend-Web-GUI läuft, 16 GB, wenn man zusätzlich ZFS unter Windows auf diesem Rechner nutzen möchte.

Für die ZFS-Filer, die man mit napp-it cs verwalten möchte, gibt es praktisch keine zusätzlichen RAM-Anforderungen für die Server-App, was bedeutet, dass napp-it cs einen Solaris/Illumos-basierten ZFS-Filer ab 2 GB RAM und Linux/OSX/Windows-Filer ab 4 GB RAM verwalten kann, was die Fernverwaltung sogar eines kleinen ARM-Rechners mit einer Web-GUI ermöglicht (man benötigt nur ZFS und Perl darauf, keine Installation erfrderlich, copy and run).

edit
napp-it cs kann einen Raspberry 4 managen, Odroid mit M.2/Sata oder ähnliche Passiv-Boards ab 4GB RAM ziemlich sicher auch (hab keine zum Testen)

 

[gea]

Disk Maps
noch nicht komplett portiert, aber sicher bereits Hilfreich

Howto

- Member - Server anwählen
- Menü Disk > Map > Add Map anlegen z.B. 24 x 2,5" vertikal bordeaux (SuperMicro)
- Platten den Slots zuweisen
- Map ausdrucken (manchmal ist es besser dazu einen Screenshot zu machen mit Windows Snipping Tool)
und auf den Server legen damit man bei Problemen die Platte schneller findet.

 

[gea]

Raspberry 4 läßt sich out of the box mit napp-it cs managen.

# uname -a raspberry4~192.168.2.89
Linux phoscon 5.10.103-v7l+ #1529 SMP Tue Mar 8 12:24:00 GMT 2022 armv7l GNU/Linux

ps aux
pi 30136 0.0 0.2 16540 10104 pts/0 S 15:23 0:00 perl /tmp/cs_server/server.pl
pi 30138 0.0 0.1 11192 4880 pts/0 S 15:23 0:00 perl /tmp/cs_server/monitor.pl

Die Resourcenbelegung ist der beiden Prozesse von napp-it cs auf dem pi ist vernachlässibar
Nicht gerade der perfekte ultrakompakt ZFS Server mit usb aber die Wahrscheinlichkeit ist hoch dass auch andere Miniboards wie Odroid M1 laufen, der hat M.2/ Sata

 

[gea]

Ich kämpfe gerade mit Free-BSD 14 und anonyme Shares die ich in napp-it cs aktivieren möchte. In Proxmox get das bereits prima, in Windows auch, nur nicht in Free-BSD. Nutzt jemand Free-BSD 14 mit Samba 4.19 und hat das hinbekommen?

Update:
Tut jetzt, mit folgendem Setting (map to guest = bad user hat gefehlt.)

[global]
unix charset = UTF-8
workgroup = WORKGROUP
server string = FreeBSD
guest account = nobody
create mask = 0775
directory mask = 0755
browsable = yes
map to guest = bad user

# zfs:tank/data
[data]
path = /tank/data
guest ok = yes
read only = no
# :zfs

 

[gea]

Ok, in Reddit:BSD kam der richtige Tipp
Es geht jetzt auch unter Free BSD 14 wie beabsichtigt (Linux und Windows ging ja bereits)

-Install Free-BSD 14
- Install SAMBA (no additional settings)
- Download and start the web-gui (copy and run)
- Manage ZFS and Shares via web-gui

Screenshot:
https://forums.servethehome.com/ind...or-any-zfs-or-servergroups.42972/#post-422893

 

[besterino]

Woran lags?

 

[gea]

Anfängerfehler (ich habe schon lange kein SAMBA mehr genutzt)

Im [global] hat folgendes gefehlt:
map to guest = bad user

Unter Linux wird eine ellenlange smb.conf angelegt. Da steht das irgendwo mittendrin.
Unter Free-BSD muss man die smb4.conf selbst anlegen, da habe ich das übersehen.

ps
Was "Setup Einfachheit" angeht, ist der Solaris/Illumos SMB Server um Welten einfacher zu konfgurieren als SAMBA.
Der tut einfach mit NFS4 ACL und nutzt dazu Windows SID direkt statt das Gewürge mit Mappings von Unix UID/GID auf Windows SID.

 

[gea]

Server part von napp-it cs (für beliebige ZFS server) kann man jetzt online herunterladen (console as root)
wget -O - www.napp-it.org/nappitcs | perl

Das kopiert den Ordner cs_server nach /opt/web-gui (default location)
Man kann dann server.auth editieren (identisch zum Memberfile in der web-gui)

Dann Server starten
perl /path_to_cs_server/start_server_as_admin.pl
oder wget downoad nochmal starten. Ab dem zweiten Aufruf wird die Server App automatisch (neu) gestartet.

Das web-gui frontend: (www.napp-it.org/doc/downloads/xampp.zip):
Uncompress xampp.zip unter Windows nach c:\xampp. Starten der web-gui mit
mouse right click auf c:\xampp\web-gui\start_zfs_gui_as_admin.bat (runas admin)

 

[gea]

Nach längeren Diskussionen in der Smartos-Discuss Liste in der mir abgeraten wurde, SMB in der globalen Zone zu unterstützen habe ich jetzt doch SMB so umgesetzt. Damit wäre ein ZFS Server möglich, der nach dem Starten komplett im RAM läuft und bei dem alle Systemfiles auf dem Datenpool liegen. Ein Update ist dann einfach ein neues Bootdevice oder Stick. Für benannte User wäre aber ein AD Server für die Nutzerverwaltung nötig oder größere Anpassungen bzw save/restore der Userfiles on demand. Ein Storageserver in einer VM wäre auch denkbar, mir reicht aber aktuell anonymer Zugriff um Daten hin und her zu kopieren. Das geht auch mit Free-BSD 14 oder Proxmox so out of the box.

Aktuell:
Verbessertes Caching zur Performancesteigerung, erfordert Update der Clients und Server
Ein neuer Ordner cs_server.cfg mit der Datei server.auth. Damit wird das durch Updates nicht überschrieben.

Ich denke dass man cs langsam auch mit Free-BSD 14 oder Proxmox testen kann.

SmartOS

SmartOS If you don't know SmartOS That is the most minimalistic Illumos distribution (Opensource Solaris fork). Similar to ESXi in good old days it runs compeletely in RAM after bootup. Systemfiles and folders are either restored or placed on the datapool like /var or /opt. A reboot and you...

forums.servethehome.com