[Sammelthread] ZFS Stammtisch

[gea]

Ändert sich etwas ohne Bifurkation (nur eine NVMe pro Adapter)?
Mit einem zweiten Adapter könnte man auch zwei NVMe ohne Bifurkation unterstützen.

ps
Ich habe mal testhalber die Bard KI zu pass-through Problemen befragt:

Ja, es gibt bekannte Passthrough-Probleme für die Samsung 980 Pro unter ESXi. Ein häufiges Problem ist, dass die SSD nicht erkannt wird oder nicht richtig funktioniert. Dies kann durch verschiedene Faktoren verursacht werden, darunter:

• Inkompatible BIOS-Einstellungen
• Inkompatible Treiber
• Hardware-Probleme mit der SSD

Bing meint es gäbe Probleme aber keine spezifischen Probleme.

 

[gea]

OmniOS r151048f (2023-12-11)

Release Notes

illumos based server OS with ZFS, DTrace, Crossbow, SMF, Bhyve, KVM and Linux zone support

omnios.org

Weekly release for w/c 11th of December 2023.

This update requires a reboot

Security Fixes

• curl has been updated to version 8.5.0.
• The OpenJDK packages have been upgraded to versions 1.8.392-08, 11.0.21+9and 17.0.9+9.
• perl has been upgraded to version 5.63.3.

Other Changes

• A race condition in ZFS could cause a very recently written file to appear to contain holes if inspected with lseek(SEEK_DATA). This is very hard to hitin practice, although the GNU cp command can trigger it and produce empty target files. The native illumos/OmniOS cp does not use lseek in this way and is unaffected.
  
  
  
• To update from earlier151048, run 'pkg update' + reboot
  To update from former OmniOS, update in steps over LTS versions
  To downgrade, start a former boot environment (automatically created on updates)

 

[pwnbert]

Liebes Forum, ich hab ein Problem.

Ich hab auf TrueNAS jetzt mein erstes RaidZ gemacht, mit 3x 20 TB Ultrastar.
Testweise hab ich jetzt erstmal große Dateien kopiert (so 10 Stück á 5-10 gb), von der SSD im PC über 2.5G aufs NAS hab ich meine 280 mb/s durchgehend.
Vom NAS auf die SSD im PC jetzt aber nur ~85 mb/s. Vorher, als ich nur 1 Stück der 20 TB Ultrastar als Einzelplatte im TrueNAS hatte, hab ich beim Lesen auch so meine >200 mb/s, eher 250 mb/s gemacht.

Woran liegts? ZFS kann ja nicht so lahm sein?
Isn 5750G, B550 Board, 64 gb 3200/cl22 ECC RAM. Die Hardware sollte doch mit Kanonen auf Spatzen schießen sein.

Was hab ich denn falsch gemacht?

 

[gea]

Es gibt zwar Unterschiede zwischen Lesen und Schreiben, aber nicht Faktor 3.
Ich würde systematisch vorgehen:

1. Pool Performance lokal testen (r/w mit dd, Bonnie o.ä.)
2. Netzperformance testen (iperf)
3. R/W SMB Serviceperformance im Vergleich z.B. mit NFS

Dann weiß man besser wo das Problem liegt

 

[pwnbert]

2. Netzperformance testen (iperf)
3. R/W SMB Serviceperformance im Vergleich z.B. mit NFS

Ich hab noch eine 870 evo 4tb im NAS (auch am SATA vom B550) als Einzellaufwerk, die macht in beide Richtungen ~270-280 mb/s auf Anschlag (also eben das, was 2.5GbE kann).
Vorher, wo ich nur eine WD Ultrastar hatte, hat die auch ~250 mb/s gemacht.

=> Das muss irgendwie am ZFS liegen.

Obs am schlechten SATA Kabel liegt? Wie testet man das?
Hab mal die lange SMART Überprüfung gestartet, aber die dauert Tage... was wäre das richtige Vorgehen?


edit:
Jetzt hab ich 20 gb ca. 1,25 mb große Fotos hin und her geschoben (am Win-PC auf einer schnellen M.2 SSD), das war in beide Richtungen irgendwo bei 125 mb/s.

Wenn ich aber die großen Daten kopiere, 50gb mit je ca. 6 gb/File, dann hab ich den Effekt, dass ich mit 280 mb/s schreibe und nur mit 80 mb/s lese. Ob das evtl. an der LZ4 Komprimierung liegt?

 

[gea]

Der Unterschied read/write ist seltsam.

Im Raid bestimmt aber die schlechteste Platte die Performance.
Man kann jetzt mit iostat überprüfen ob alle 3 Platten gleiche Last haben,

alternativ auf jeder Platte einen basic Pool anlegen und prüfen ob die drei Pools gleich schnell sind,

 

[pwnbert]

Hab nen Nachtrag geschrieben eben.

Wie wende ich Isostat an? Lesen kann ich eh selbst, aber google hat mir nicht wirklich was sinnvolles gegeben, hast ein Keyword für mich?

alternativ auf jeder Platte einen basic Pool anlegen und prüfen ob die drei Pools gleich schnell sind,

Fleißaufgabe, aber nicht blöd.

Wenn ich aber die großen Daten kopiere, 50gb mit je ca. 6 gb/File, dann hab ich den Effekt, dass ich mit 280 mb/s schreibe und nur mit 80 mb/s lese. Ob das evtl. an der LZ4 Komprimierung liegt?

Möglich, dass er die großen Dateien erstmal irgendwie cachen muss, bis sie ganz da sind, um dann zu prüfen, ob man sie komprimieren kann? Evtl. rührts daher?

 

[pwnbert]

Ich hab jetzt mal die Kompression beim Pool abgeschaltet (aber das Pool nicht zerstört und neu gebaut), da ändert sich erstmal nix...

Jetzt hab ich nen Haufen Dateien zwischen 5 und 15 mb vom NAS auf den PC kopiert, >200 mb/s immerhin.

 

[asche77]

Neues OmniOS update (aber Achtung - bei mir hängt OmniOS unter ESXi 8.0u2 dann in einer bootloop fest!):

Beim zweiten Versuch war alles prima, kein boot loop und OmniOS hat normal gebootet.

omnios-build/doc/ReleaseNotes.md at r151048 · omniosorg/omnios-build

Build system for OmniOS. Contribute to omniosorg/omnios-build development by creating an account on GitHub.

github.com

r151048i (2024-01-08)​

Weekly release for w/c 1st of January 2024.

This update requires a reboot

Security Fixes​

• AMD CPU microcode has been updated to 20231205.
• OpenSSH has been updated to version 9.6p1, containing mitigations forCVE-2023-48795,CVE-2023-46445,CVE-2023-46446,collectively known as the Terrapin attack.

Other Changes​

• A problem that could result inTCP data being lostduring connection shutdown has been resolved.
• Timezone data has been updated to 2023d.
• A problem that could result in the unnecessary recompilation of pythonobjects has been addressed. Updated python-311 and cloud-init packageshave been published.

 

[gea]

Hab nen Nachtrag geschrieben eben.

Wie wende ich Isostat an? Lesen kann ich eh selbst, aber google hat mir nicht wirklich was sinnvolles gegeben, hast ein Keyword für mich?

z.B.

OpenZFS: Using zpool iostat to monitor pool performance and health

One of the most essential and insightful tools in any ZFS storage admin’s tools, zpool iostat, resembles a lot the iostat command—a core tool on FreeBSD.

klarasystems.com

Möglich, dass er die großen Dateien erstmal irgendwie cachen muss, bis sie ganz da sind, um dann zu prüfen, ob man sie komprimieren kann? Evtl. rührts daher?

ZFS cacht beim Lesen und Schreiben ZFS Datenblöcke z.B. 128k, niemals Dateien.
Komprimierung, Dedup oder Encryption arbeiten auch mit diesen ZFS Datenblöcken.

 

[pwnbert]

Also ich hab mir jetzt die Arbeit gemacht und auf allen 3 Platten einzelne Volumes zu erstellen und zu testen.
Ohne Komprimierung. Hat überall gepasst.
Hab dann die 3. Platte mit LZ4 nochmal erstellt (hatte keine Lust es für alle zu machen), da sind die ersten 10-15gb flott gewesen, dann auf 80 mb/s gefallen.

Hab jetzt ein z-Raid aus den 3 Platten ohne Komprimierung erstellt, und die Sache läuft, wie gewünscht. Ich komm beim Lesen zwar nicht immer an den 2.5GbE Anschlag (280 mb/s), aber bin deutlich >200 bei großen Dateien, bei den 1 mb pngs immerhin auf ca. 150 mb/s....

Ich denke, das ist erstmal okay. Obs nun echt am LZ4 liegt, ich weiss es nicht.

Beitrag automatisch zusammengeführt: 10.01.2024

Vielleicht jetzt noch ne blöde Frage... aber wie mach ich das mit dem zpool iostat... ich müsste doch erstmal sysstat package installieren, wobei apt für den admin gesperrt ist, und... naja... root... wie war das mit root auf scale?

 

[gea]

Es muss nichts installiert werden, zfs und zpool sind die zentralen Verwaltungsprogramme von ZFS.
Einfach unter Last 'zpool iostat -v' aufrufen.

Gibt als Ergebnis sowas in der Art:

root@omnios:~# zpool iostat -v
                             capacity     operations     bandwidth
pool                       alloc   free   read  write   read  write
-------------------------  -----  -----  -----  -----  -----  -----
daten1                     2.38T  1.87T      0     18  2.10K   339K
  mirror                   2.38T  1.87T      0     18  2.10K   339K
    c8t5000CCA0BEC6E197d0      -      -      0      6    734   113K
    c6t5000CCA2732389E9d0      -      -      0      6    680   113K
    c7t5000CCA0BBE3CE1Cd0      -      -      0      6    735   113K
-------------------------  -----  -----  -----  -----  -----  -----
nvme                        155G   117G      0      0     13    242
  c3t1d0                    155G   117G      0      0     13    242
-------------------------  -----  -----  -----  -----  -----  -----
rpool                      11.1G  23.4G      0      5     53  42.6K
  c1t0d0                   11.1G  23.4G      0      5     53  42.6K
-------------------------  -----  -----  -----  -----  -----  -----

Dabei sollten alle Platten eines Pools eine ähnliche Bandbreite zeigen.
Will man genauere Werte eines 5s Intervalls statt aufaddierte Werte nimmt man:

zpool iostat -vly 5 1

root@omnios:~# zpool iostat -vly 5 1

                             capacity     operations     bandwidth    total_wait     disk_wait    syncq_wait    asyncq_wait  scrub   trim
pool                       alloc   free   read  write   read  write   read  write   read  write   read  write   read  write   wait   wait
-------------------------  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----
daten1                     3.38T  3.87T    530     21  6.24M   352K     2s    1ms   11ms  377us      -    2us    6us    1ms     2s      -
  mirror                   3.38T  3.87T    530     21  6.24M   352K     2s    1ms   11ms  377us      -    2us    6us    1ms     2s      -
    c8t5000CCA0BEC6E197d0      -      -    171      7  2.01M   117K     1s    1ms   10ms  382us      -    2us      -    1ms     1s      -
    c6t5000CCA2732389E9d0      -      -    172      7  2.15M   117K     2s    1ms   11ms  291us      -    3us      -    1ms     2s      -
    c7t5000CCA0BBE3CE1Cd0      -      -    185      6  2.08M   117K     2s    2ms   11ms  463us      -  921ns    6us    1ms     2s      -
-------------------------  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----
nvme                        155G   117G      0      0      0      0      -      -      -      -      -      -      -      -      -      -
  c3t1d0                    155G   117G      0      0      0      0      -      -      -      -      -      -      -      -      -      -
-------------------------  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----
rpool                      11.1G  23.4G      0     15      0  84.0K      -  993us      -  148us      -  960ns      -  940us      -      -
  c1t0d0                   11.1G  23.4G      0     15      0  84.0K      -  993us      -  148us      -  960ns      -  940us      -      -
-------------------------  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----  -----

 

[pwnbert]

zsh: command not found: zpool

 

[gea]

Ohne zpool und zfs kein ZFS!
Eventuell Pfad mit angeben z.B. /sbin/zpool

 

[pwnbert]

Ah, whereis war der Trick.
Also müsste ich das dann noch beim Lesen machen. Super, danke dir für deine Hilfe.

Schreiben sieht ja sinnvoll aus... aber ist das nicht irgendwo "geforced", weil ja nicht asynchron geschrieben wird?

Beitrag automatisch zusammengeführt: 11.01.2024

Achja, eine Frage noch, welche SMART Überprüfung sollte man denn regelmäßig einstellen?

Short, Long, Ctonveyance?
Ich nehm mal an, offline nimmt die Platte offline, also ist nicht so geeignet für zwischendurch.

Was tut denn der lange SMART Test? Der braucht nämlich echt lange...

 

[gea]

Stimmt schon, Werte sind als aufaddierte Summe zu sehen.

Besser ist es aber Details der letzten z.B. 5s anzuzeigen
zpool iostat -vly 5 1

Ich kontrolliere aber bei Problemen meist %busy und %wait des iostat Befehls
Das sind Informationen über Auslastung und Wartezeiten der Platten.

root@omnios:~# iostat -xn 1 2
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.0    0.0    0.3    0.2  0.0  0.0    0.0    0.1   0   0 c3t1d0
    1.2   19.0  501.3  339.2  0.5  0.0   22.6    0.7   0   1 daten1
    0.0    0.0    0.0    0.2  0.0  0.0    0.3    0.1   0   0 nvme
    0.0    5.3    0.1   42.8  0.0  0.0    2.4    0.2   0   0 rpool
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d0
    0.0    5.4    0.3   42.8  0.0  0.0    0.0    0.1   0   0 c1t0d0
    0.2    6.9  167.3  113.1  0.0  0.0    0.0    0.9   0   0 c8t5000CCA0BEC61234d0      
    0.5    6.8  167.3  113.1  0.0  0.0    0.0    0.5   0   0 c6t5000CCA273233563d0      
    0.5    6.8  167.3  113.1  0.0  0.0    0.0    0.5   0   0 c7t5000CCA0BBE35678d0      
                    extended device statistics
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d0
 1390.8    0.0 670649.2    0.0 89.4  3.7   64.3    2.7 100 100 daten1
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 nvme
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 rpool
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c1t0d0
  220.1    0.0 220729.7    0.0  0.0  2.0    0.1    9.0   1 100 c8t5000CCA0BEC61234d0      
  553.3    0.0 224960.3    0.0  0.0  0.9    0.0    1.7   1  60 c6t5000CCA273233563d0      
  617.4    0.0 224960.4    0.0  0.0  0.7    0.0    1.2   1  53 c7t5000CCA0BBE35678d0

Beitrag automatisch zusammengeführt: 11.01.2024

Achja, eine Frage noch, welche SMART Überprüfung sollte man denn regelmäßig einstellen?

Short, Long, Ctonveyance?
Ich nehm mal an, offline nimmt die Platte offline, also ist nicht so geeignet für zwischendurch.

Was tut denn der lange SMART Test? Der braucht nämlich echt lange...

SMART Tests mit smartctl – Thomas-Krenn-Wiki

Jede moderne Festplatte bietet die Möglichkeit durch SMART Attribute den aktuellen Zustand der Festplatte zu überwachen. Diese Werte geben Auskunft über verschiedene Kenngrößen der Festplatte und können Informationen über die verbleibende Lebensdauer oder eventuell aufgetretene Fehler geben...

www.thomas-krenn.com

 

[pwnbert]

Schon geil, hätte das viel früher machen sollen.
Selbst über 2.5 GbE SMB performt das alles gefühlt viel besser als auf internen 3,5" HDDs.

Die ARC Hitrate ist schon erstaunlich hoch ...
Hab gleich mal noch RAM bestellt (mittlererweile kommen mir 150€ für 2x 32gb DDR4 ECC 3200 richtig billig vor, bei den Graka und SSD Preisen), dann mach ich die 128 voll, und gut is ...

Jetzt bekomm ich langsam Bock auf 10g Netzwerk aber monentan bin ich dafür noch zu vernünftig/knausrig ...

Außerdem bin ich am überlegen aus dem 3x 20TB Z1 ein 4x 20TB Z1 zu machen...

Hierzu 2 Fragen:
1) Wie skaliert denn die Geschwindigkeit, von 3x Z1 (also 2 nutzbar) zu 4x Z1 (also 3 nutzbar)? Angenommen eine HDD macht so 130 mb/s bei 1mb Dateien und 250 mb/s bei großen Dateien...
2) Kann man im momentanen Zustand aus einem Z1 ein Z2 machen? Speicherplatz erweitern geht nicht, das weiss ich, aber geht eine extra Parity?

 

[asche77]

Z1 auf Z2 geht m.W. nicht.

 

[pwnbert]

So hab jetzt einfach noch ne 20er bestellt.
Auch, weil man das Z-raid (noch) nicht erweitern kann. Blöd, wenn man aus 40 dann 60 machen will, wo soll man die Daten denn zwischenlagern? Gebackuppt wird nicht alles. Steht einfach nicht für sich.

Meh, ich versteh so langsam, warum die HomeLab Sucht hier so eskaliert im Forum.
Es beginnt alles mit 4-Bay Synology NASen um 600€, die man irgendwie zu teuer findet "Ein A520 mit Ryzen 3 und 16 gb ist billiger viel schneller und hat wenigstens 2.5GbE statt 1GbE), Gehäuse und NT hab ich noch".
Es entwickelt sich dann zu einem "ich hab jetzt einen 5750G mit 128gb RAM und einem riesen HDD Pool um ein vielfaches, aber jedes Monat 300€ sind ja weniger als einmalig 750€" ...
... und wenn man sich nicht stark zusammenreisst und aufpasst, landet man in dem einen Subforum dieses Forenteiles hier ....

Oh Mann.
Leider geil.

 

[gea]

Hierzu 2 Fragen:
1) Wie skaliert denn die Geschwindigkeit, von 3x Z1 (also 2 nutzbar) zu 4x Z1 (also 3 nutzbar)? Angenommen eine HDD macht so 130 mb/s bei 1mb Dateien und 250 mb/s bei großen Dateien...
2) Kann man im momentanen Zustand aus einem Z1 ein Z2 machen? Speicherplatz erweitern geht nicht, das weiss ich, aber geht eine extra Parity?

Die sequentielle Performance eines Z1 skaliert grob mit der Anzahl der Datenplatten, die io Leistung ist immer wie eine Platte also ca 100 iops. Ich rechne immer grob mit 100 MB/s pro Platte. Bei zwei Datenplatten hat man dann 200 MB/s, bei dreien 300 MB/s. Bei ganz kleinen Dateien (4-32k) sind auch 40 MB/s ok, bei großen Dateien und leerem Pool (1GB+) kommt man vielleicht auf 150 MB/s. 250 MB/s ist wie Höchstgeschwindigkeit eines Fahrrads (im freien Fall), erreicht man nur im Labor bei echt sequentiellen Transfers auf den äußeren Spuren.

Der Leistungszuwachs ist aber nicht linear sondern nimmt mit zunehmender Anzahl der Platten ab.
Statt 300 MB/s können das auch nur 250MB/s sein

Es gibt im Raid keine rein sequentiellen Transfers da die zu schreibenden Daten in kleinere Blöcke in ZFS recsize (oder weniger wenn Dateigröße < recsize) aufgeteilt wird und die dann gleichmäßig über den Pool verstreut gespeichert werden. Iops begrenzt dann. Auch kommen bei ZFS Prüfsummen dazu, die man für die reine Daten-Transfergeschwindigkeit wieder abziehen muss.

Viel RAM für viel Schreib/ Lesespeicher bringt bei einem Nutzer ab vielleicht 32GB praktisch nichts mehr, sondern nur wenn viele Nutzer gleichzeitig lesen/ schreiben damit eben jeder seinen Cache hat.

3xZ1 -> 4xZ1 ist am Kommen.
Ich würde das aber nicht als einer der Ersten probieren wollen.

 

[pwnbert]

Danke wie immer für deine fundierten Antworten.

Das mit dem RAM dachte ich mir schon. Wenns hart unnötig ist, kommt er in eine andere Maschine oder die VM bekommt arbeit, mal sehn ob das mit der VM im TrueNAS Scale gut geht, oder ob man das eher anders machen sollte...

Was mir noch fehlt - wenn ich so frech sein darf:

2) Kann man im momentanen Zustand aus einem Z1 ein Z2 machen? Speicherplatz erweitern geht nicht, das weiss ich, aber geht eine extra Parity?

 

[gea]

Z1 -> Z2 (Z3)
Ist nicht absehbar.

Momentan muss man das Z2 neu anlegen und Daten vom Z1 umkopieren.
Ich würde mir aber stattdessen eher Gedanken für ein externes/offline Disaster Backup machen.

Das wird auch auch mit Z2 und Snaps nicht obsolet,
auch wenn dann ein Datenverlust ohne Feuer/Blitz/Diebstahl/Amok Hardware sehr gering ist.

 

[pwnbert]

Ich würde mir aber stattdessen eher Gedanken für ein externes/offline Disaster Backup machen.

Hab eh kein Z2 vor - war nur neugierig, ich seh den Bedarf für mich nicht. Die Chance ne 2. Platte im Zeitraum der Beschaffung und des Resilverings zu verlieren, ist äußerst gering und steht den Kosten nicht entgegen. Am Ende isses ja doch ein Hobby.
Backup der wichtigeren Sachen hab ich jetzt mal manuell, werd mir das zum späteren Zeitpunkt automatisiert für Teile (nicht alles) ansehen, da werd ich bestimmt noch die ein oder andere Frage haben, aber ein Schritt nach dem anderen.

=> Ist es möglich (in dem Fall auf TrueNAS Scale bezogen), einem Z1 Pool eine Hotspare-Disk zuzuordnen, die bei Ausfall automatisch eingebunden und resilvered wird? Ich frage in erster Linie aus Neugier, falls man später doch noch auf die Idee kommt, "mehr Sicherheit" zu wollen. So würde man sich zumindest den Beschaffungszeitraum sparen, und hätte nur die Risikophase des Resilverings.

=> Auto-Trim - für SSD Pools aktivieren? Deaktiviert lassen?


Im kleinen Umfeld ist das ZFS "umbauen" (mit leer machen) halt immer schwer, wenn man größere Datenmengen (wsl. bei den meisten diverses Videomaterial, gibt ja wenig anderes so Platz fressendes) halt immer so eine Sache. Realistisch backuppt man da einfach nicht alles, zumindest die Sachen nicht, die wieder beschaffbar oder nicht so unbedingt nötig sind.

 

[asche77]

Hot spare eher nicht - dann gleich Z2 machen. Oder in den Schrank legen.

 

[gea]

Hot Spare kann man machen. Bringts aber in erster Linie bei mehreren vdevs.
Z1 + Hotspare: Nein. Ein Z2 wäre dann viel besser, da man kein Resilver braucht wenn eine Platte ausfällt. Auch wird die Platte im Pool laufend geprüft. Eine Hotspare kann auch defekt sein wenn man sie braucht.

AutoTrim macht Sinn bei SSDs.
Sollte man aber probieren bevor kritische Daten drauf sind. Es gab Problemberichte vor allem mit billigen Desktop SSDs,

 

[Trambahner]

Meh, ich versteh so langsam, warum die HomeLab Sucht hier so eskaliert im Forum.
Es beginnt alles mit 4-Bay Synology NASen um 600€, die man irgendwie zu teuer findet "Ein A520 mit Ryzen 3 und 16 gb ist billiger viel schneller und hat wenigstens 2.5GbE statt 1GbE), Gehäuse und NT hab ich noch".
Es entwickelt sich dann zu einem "ich hab jetzt einen 5750G mit 128gb RAM und einem riesen HDD Pool um ein vielfaches, aber jedes Monat 300€ sind ja weniger als einmalig 750€" ...
... und wenn man sich nicht stark zusammenreisst und aufpasst, landet man in dem einen Subforum dieses Forenteiles hier ....

Oh Mann.
Leider geil.

Willkommen in der Storage- und Netzwerk-Suchtberatung. Wo die Selbsthilfegruppe Anleitung zur Verstärkung der Abhängigkeit bietet.

 

[p4n0]

Diese Ecke sollte man passwortschuetzen. Schont den Geldbeutel massivst

 

[CommanderBond]

Wurde ntpdate gelöscht? Habe einen Server mit Version OmniOS...48 neu aufgesetzt und ntpdate funktioniert nicht mehr. "command not found" sagt er...

 

[Luckysh0t]

Willkommen in der Storage- und Netzwerk-Suchtberatung. Wo die Selbsthilfegruppe Anleitung zur Verstärkung der Abhängigkeit bietet.

Am Ende heißt es dann nicht mehr "brauche ich 2.5 Gbit ?", sondern "100 Gbit ist ja ansich auch was feines"..

 

[gea]

Wurde ntpdate gelöscht? Habe einen Server mit Version OmniOS...48 neu aufgesetzt und ntpdate funktioniert nicht mehr. "command not found" sagt er...

Seit 151040 wird per default nur chrony statt ntpdate installiert.
Will man ntpdate, kann man es per 'pkg install ntpsec' nachinstallieren.

omnios-build/doc/ReleaseNotes.md at r151040 · omniosorg/omnios-build

Build system for OmniOS. Contribute to omniosorg/omnios-build development by creating an account on GitHub.

github.com