Suche neues BS für NAS (Mac OS Dateidienste)

[ThomasSH]

Hallo,

ich habe seit rund 3 Jahren einen Heimserver und ebensolange Probleme. Vielleicht kann mir jemand helfen. Ich versuche mal die Probleme der Reihe nach aufzuzählen.

Ausgangspunkt war der Wunsch, meine Datensammlung (einige Terabyte an Videos (Eigenaufnahmen, Fernsehaufnahmen) und Fotos sowie ca. 100GB Musik (MP3, MP4, MPEG)) zentral im Zugriff zu haben. Vorher war alles auf externen USB/FW-HDDs gespeichert. Dazu hatte ich als ersten Server ein HP Proliant G7 gekauft und mit max. RAM bestückt. Als BS kam FreeNAS 8.x zum Einsatz. Die Daten werden NUR von einem Mac OS Rechner zum Server geschoben und auch nur von Mac OS abgefordert. Die Einrichtung des Servers ging im Wesentlichem problemlos. Testdaten wurden auch prima hin- und herkopiert. Aber nach einer gewissen Zeit (die HDDs im Server füllten sich auf über 50%, max. 80%) kamen immer mehr Probleme auf. Die Datenübertragungsraten sanken ins Bodenlose (besonders bei GROSSEN Dateien, also über 1 GB), der Mac verlor immer wieder die Verbindung zum Server. Über Monate immer wieder, auch nach Neustart vom Mac oder Server.

Der Mac war zuerst ein Mac Mini 2012 mit Mac OS 10.6.8. Später ein Mac Mini 2014 mit 10.10, dann 10.11, immer die aktuelleste Version. Inzwischen nutze ich hauptsächlich einen Mac Pro 3.1 mit 10.11.6. Die Minis hatten immer max. RAM-Ausbau, der Pro hat 8GB RAM. Die Probleme blieben über ALLE Rechner gleich.

Den Server hatte ich dann irgendwann auf FreeNAS 9 gehoben, alle automatischen Updates wurden eingespielt. Seit ca. einem Jahr habe ich den Proliant G8 im Einsatz (16GB RAM, FreeNAS 9.2.x). Die Probleme blieben. Die HDDs sind als ein Pool pro HDD mit ZFS eingerichtet. Als Freigaben sind APF und CIFS eingestellt.

Im altem Server (G7) waren 5*4 TB NAS-HDDs eingebaut, nach und nach wurden sie gegen 2*8 TB Archive-HDDs getauscht (2 4TB sind noch weiterhin drin). Die Probleme blieben die ganze Zeit die gleichen.

Inzwischen (oder ich habe es vorher nicht bemerkt) gibt es sogar heftige Probs Daten von einem Servervolume auf ein anderes zu kopieren: Entweder läuft es (selten), meist stockt es bis zu einer Datenrate von 0Byte/s über mehrere Minuten, dann gehts weiter, oder es gab unsinnige Fehlermeldungen (Kein Zugriff weil keine Berechtigung - dabei sind alle Daten als Gast zugänglich) oder die Daten sind auf einmal weg, um Stunden später aus dem Nichts wieder aufzutauchen (am Mac im Finder per apf oder CIFS/SMB). Der Versuch Dateien auf dem Server zu löschen geht zu 50% in die Hose (Löschen nicht möglich - Berechtigung fehlt, OBWOHL laut Finderinfo ICH der Eigentümer bin) oder die Datei wäre angeblich im Gebrauch. Stimmt nicht, denn diese Blödmeldung kommt auch wenn der Mac neu gestartet wurde.

Der einzige gemeinsame Punkt die ganze Zeit scheint FreeNAS zu sein.

Wer kann mir ein anderes BS für den Server empfehlen? Folgende Eckpunkte sind einzuhalten:

Kein Windows oder MS-Produkt.
Vorzugsweise ein freies System.
Web-basierende Oberfläche.
Freigaben: CIFS und apf.
ZFS auf den HDDs.
BS läuft von USB-Stick.
BS sollte die Sparfunktionen des G8 optimal unterstützen.
Die Daten des Servers (Pools) sollten nach Möglichkeit 1:1 übernommen werden können, d.h. HDDs raus, BS einspielen/einrichten, HDDs wieder rein, Datenzugriff funktioniert.
Es muß nur ein Client bedient werden. Dateidienst reicht.
Schön wäre es auch, wenn zu Backupzwecken eine externe 8TB-USB-HDD erkannt wird.

Soviel für heute, danke fürs Lesen, noch viel mehr Dank wenn helfende Antworten kommen ;-))

Thomas

 

[gea]

Ich sehe eigentlich drei Probleme

- 8 TB Archive sind für Raid und ZFS absolut untauglich und vermutlich das Hauptproblem
- AFP und Netatalk sehe ich eigentlich nur noch als Ärgernis.
Gottseidank ist das EoL seit Apple auf SMB als Standardprotokoll umgestellt hat.
OSX 10.12 macht auch TimeMachine auf SMB, leider nur SMB3 mit wenn und aber (buy a Mac!)
- CIFS (cifs:// am Mac) macht nur SMB1. Das ist grottenlahm am Mac - nur halb so schnell wie unter Windows
-> immer SMB2+ nehmen (smb:// am Mac). Erfordert dass der Server auch SMB 2+ kann

Zu den Alternativen die auch ZFS können
Man könnte eine andere BSD Distribution versuchen (Nas4Free, ZFSGuru)
Das ist aber das gleiche OS/Server nur mit anderer WebGui

Man könnte Linux/ZoL versuchen -
würde ich eher als Verschlechterung sehen

Eine echte Alternative wäre Oracle Solaris, derzeit der schnellste ZFS Server mit den meisten Funktionen
Das ist aber kommerziell (Frei für Demo und Development). Auch liest der keine OpenZFS Pools.

Eine Alternative wäre OmniOS, ein freier Solaris Fork. Das kann auch die Pools von BSD importieren (sofern die Platten vollständig für ZFS partitioniert wurden) . OmniOS ist mit dem Solaris eigenen SMB Server meist schneller als SAMBA auf BSD oder Linux. Auch ist Solaris nach wie vor mit die schnellste ZFS Option. Dafür wurde es ja auch ursprünglich entwickelt und z.B. in der Speicherverwaltung optimiert.

Performance unter SMB, siehe http://napp-it.org/doc/downloads/performance_smb2.pdf

ach ja
ZFS wird langsamer je voller, mehr als 80% sollten es nie sein wenn es schnell bleiben soll.

Energie sparen und Server-OS ist nicht so
Ausschalten wenn mans nicht braucht!

 

[ThomasSH]

Moin,

Ich sehe eigentlich drei Probleme

- 8 TB Archive sind für Raid und ZFS absolut untauglich und vermutlich das Hauptproblem

Die lassen sich tauschen. Aber warum bestand das Problem auch wenn nur "normale" 4 TB HDDs drin waren?

- AFP und Netatalk sehe ich eigentlich nur noch als Ärgernis.
Gottseidank ist das EoL seit Apple auf SMB als Standardprotokoll umgestellt hat.

Nur hat Apple weder mir noch meinen Daten Bescheid gesagt. Ich habe jede Menge Dateien, die unter SMB nicht lesbar sind (verkrüppelte Dateinamen). Besonders bescheuert ist, das ein normaler Dateiname wie "Das ist ein Muster, Beisp." verkrüppelt wird, weil ein Punkt oder Leerzeichen am Ende steht.

OSX 10.12 macht auch TimeMachine auf SMB, leider nur SMB3 mit wenn und aber (buy a Mac!)
- CIFS (cifs:// am Mac) macht nur SMB1. Das ist grottenlahm am Mac - nur halb so schnell wie unter Windows
-> immer SMB2+ nehmen (smb:// am Mac). Erfordert dass der Server auch SMB 2+ kann

Ich habe bei der Verbindung nur apf (s.o.) oder SMB benutzt.

...
Man könnte eine andere BSD Distribution versuchen (Nas4Free, ZFSGuru)
Das ist aber das gleiche OS/Server nur mit anderer WebGui

Dann bringt mich das nicht weiter...

Eine echte Alternative wäre Oracle Solaris, derzeit der schnellste ZFS Server mit den meisten Funktionen
Das ist aber kommerziell (Frei für Demo und Development). Auch liest der keine OpenZFS Pools.

Was kostet denn sowas? Den Pool kann ich notfalls umkopieren, auch wenn das wieder über eine Woche dauern wird.

Eine Alternative wäre OmniOS, ein freier Solaris Fork. Das kann auch die Pools von BSD importieren (sofern die Platten vollständig für ZFS partitioniert wurden) . OmniOS ist mit dem Solaris eigenen SMB Server meist schneller als SAMBA auf BSD oder Linux. Auch ist Solaris nach wie vor mit die schnellste ZFS Option. Dafür wurde es ja auch ursprünglich entwickelt und z.B. in der Speicherverwaltung optimiert.

Performance unter SMB, siehe http://napp-it.org/doc/downloads/performance_smb2.pdf

Den Link habe ich mir angesehen, aber (noch) nichts draus erkannt.

ach ja
ZFS wird langsamer je voller, mehr als 80% sollten es nie sein wenn es schnell bleiben soll.

Energie sparen und Server-OS ist nicht so
Ausschalten wenn mans nicht braucht!

Danke für die ausführliche Antwort.

Thomas

 

[gea]

Den Link habe ich mir angesehen, aber (noch) nichts draus erkannt.

Es geht um SMB1 vs SMB2 und generell die mögliche Performance mit SMB am Mac.
Die kann nahe dem theoretischen Maximum des Kabels liegen, als gut 100MB/s bei 1G Netzwerken und bis 1000MB/s bei 10G

Oracle Solaris kostet übrigens 1000$/ Jahr
Für private, nichtkommerziell nutzen viele das als freie "Demo und Development" Version.
Die kann man nach Registrierung kostenlos bei Oracle laden.

Die Alternative ist OmniOS, ein OpenSource Solaris Fork.

 

[Digi-Quick]

ein ZFS Pool pro HDD ist Perlen vor die Säue.
Fehler können zwar erkannt aber nicht repariert werden wegen fehlender Redundanz

 

[jdl]

…
Als Freigaben sind APF und CIFS eingestellt.
…

Das Hauptproblem ist, daß Apple AFP eingestellt hat. Leider ist der SMB Support in OSX alles andere als problemlos, da Apple für die neueren SMB Versionen proprietäre Erweiterungen nutzt, und deshalb gibt es Probleme mit anderen SMB Servern und man muß de facto einen Mac nehmen. Sofern Du keine Dateien auf dem Fileserver ablegen willst, die noch über Resource Forks verfügen (sollte nicht mehr der Fall sein) kannst Du es mit NFS versuchen. OSX kann NFSv3 und noch nicht das neuere NFSv4. Das ist wichtig, weil in den Konfigurationen sich die beiden Versionen unterscheiden. Ferner muß man darauf achten, daß die UIDs zusammen passen. Bei einem Nutzer kann man das ganze per Hand machen und muß nicht LDAP aufsetzen, um die UIDs und GIDs im Netz zu verteilen. D.h. die UID und GID am Mac und auf dem UNIX Share müssen gleich sein.

Das ganze kannst Du auf dem laufenden System einrichten. Schlimmstenfalls müssen die UIDs, GIDs geändert werden.

 

[gea]

Als meine Solaris/OmniOS Filer nur SMB1 konnten, habe ich für meine Mac Videoschnittplätze auch NFS versucht. Abgesehen davon dass es total unsicher ist da weder Authentifizierung noch Authorisierung stattfindet, war es langsam und recht instabil am Mac.

Mit SMB2 habe ich unter Solaris/OmniOS kaum noch Probleme am Mac, es ist schnell und ACL gehen perfekt. Lediglich Timemachine unter 10.12 geht mit SMB nach wie vor nur mit den bisherigen Tricks aber TimeMachine für Daten nutzt eh nur wers nicht besser weiß.

 

[jdl]

Ok, wie ich gerade sehe, geht unter OSX NFSv4 doch. Damit wäre das Authentifizierungsproblem auch gelöst. Was die Performance anbelangt und die Stabilität betrifft, ich nutze es nicht selbst. Aber in den Mac Foren hört man nichts Gutes zum Thema SMB und OSX.

 

[ThomasSH]

Hallo Leute,

einiges was ihr geschrieben habt muß ich noch ein paar mal lesen bzw. überdenken. Es kann sein das ich mich in einigen Tagen oder Wochen noch mal melde. Bis dahin habe ich mir dann auch mal das OmniOS angesehen. Vielen Dank für die bisherige hilfe.

Thomas

 

[fax668]

Ich wollte nur erwähnen, dass ich auf meiner Linux Backupbüchse netatalk laufen habe und OS X 10.11 auf dem Laptop. Das läuft vollkommen problemfrei mit TimeMachine und ist auch nicht schwierig zu konfigurieren.

 

[Gelöschtes Mitglied 248578]

Das Hauptproblem ist, daß Apple AFP eingestellt hat. Leider ist der SMB Support in OSX alles andere als problemlos, da Apple für die neueren SMB Versionen proprietäre Erweiterungen nutzt, und deshalb gibt es Probleme mit anderen SMB Servern und man muß de facto einen Mac nehmen. .

Genau aus dem Grund gibt es bei Samba auch vfs_fruit! vfs_fruit wirkt Wunder.
Nur leider wird das häufig nicht verwendet und/oder alte bzw. ältere Samba-Versionen verwendet.

Aktuelles Samba mit vfs_fruit (und GNOME Tracker => Spotlight).

Aber in den Mac Foren hört man nichts Gutes zum Thema SMB und OSX.

Die SMB-Geschichte ist speziell. Allerdings ist nach meinem Eindruck die Kompetenz in den Mac Foren (und auch typischen Mac-Seiten) auch nicht sonderlich hoch (Ausnahmen bestätigen die Regel). Ich habe in Threads zu dem Thema in Mac-Foren glaube ich noch nie gelesen, dass da jemanden die Existenz der proprietären Erweiterungen bekannt ist, die du oben erwähnt hast, geschweige denn vfs_fruit. Dort wird meist einfach nur geschrieben "geht nicht" oder "macht Probleme". Daher wird dann das Problem nicht eingekreist, da gar nicht überprüft wird (bzw. überprüft werden kann), ob die Voraussetzungen überhaupt vorhanden sind.
Mangels Server/NAS sind meine praktischen Erfahrungen auf dem Gebiet beschränkt.

 

[jdl]

Genau aus dem Grund gibt es bei Samba auch vfs_fruit! vfs_fruit wirkt Wunder.

Das ist das erste mal, daß ich davon lese. Danke! Bei mir persönlich reichte bisher immer AFP (für die alten Macs) und NFS aus.

 

[VirtuGuy]

Inzwischen (oder ich habe es vorher nicht bemerkt) gibt es sogar heftige Probs Daten von einem Servervolume auf ein anderes zu kopieren: Entweder läuft es (selten), meist stockt es bis zu einer Datenrate von 0Byte/s über mehrere Minuten, dann gehts weiter, oder es gab unsinnige Fehlermeldungen (Kein Zugriff weil keine Berechtigung - dabei sind alle Daten als Gast zugänglich) oder die Daten sind auf einmal weg, um Stunden später aus dem Nichts wieder aufzutauchen (am Mac im Finder per apf oder CIFS/SMB).

Das klingt eher nach simplen Problemen mit Samba. Hast du mal versuchsweise die Unix Extensions deaktiviert, ist bei OSX oftmals problematisch. Weiters würde ich versuchsweise mal SMB2 oder SMB3 erzwingen, dies könnte dein Problem mit den Minutenlangen Wartezeiten ohne Reaktion ggf verbessern.

Vermutlich testet Apple ausschließlich mit Apple/Windows Hosts, anders kann ich mir so manches Problem mit Samba nicht erklären.

 

[Gelöschtes Mitglied 248578]

Vermutlich testet Apple ausschließlich mit Apple/Windows Hosts, anders kann ich mir so manches Problem mit Samba nicht erklären.

Falsche bzw. zu alte Samba-Version und kein vfs_fruit etc. könnten die Gründe sein.
Samba ist Windows aus Mac-Sicht deutlich überlegen. Die ganzen Mac-spezifischen Eigenheiten fehlen bei Windows (bzw. wäre mir neu, wenn die vorhanden sind => lasse mich gerne eines besseren belehren).

Before the European Commission asked Microsoft to open up the protocol documentation, Samba had to use what Andrew Tridgell calls the “French Cafe Technique”. Since Microsoft now has documented their protocols, the work of the Samba developers has become much easier.

This talk will highlight how Samba approaches protocol interoperability with Microsoft products. It will also give an overview about the current status of the implementation of SMB and Active Directory protocols in Samba. In particular SMB3 status in Samba and interoperability with Apple clients will be described in detail.
https://www.youtube.com/watch?v=jWJKxAHq0X8&feature=youtu.be&t=1840

 

[VirtuGuy]

Falsche bzw. zu alte Samba-Version und kein vfs_fruit etc. könnten die Gründe sein.
Samba ist Windows aus Mac-Sicht deutlich überlegen. Die ganzen Mac-spezifischen Eigenheiten fehlen bei Windows (bzw. wäre mir neu, wenn die vorhanden sind => lasse mich gerne eines besseren belehren).

Ich kann dazu nur auf das Feedback unserer OSX User zurückgreifen. Im Gegensatz zu den W2k12 Shares, gibt es bei Zugriffen auf Samba/Netapp Shares vereinzelt Probleme mit Mac´s.

 

[ThomasSH]

Moin,

ich habe mir nun einen weiteren USB Stick besorgt, das OmniOS runtergeladen, aber beim Versuch es auf den Stick zu kopieren kommt eine Fehlermeldung:

Thomass-MacPro-2ownloads th$ dd if=OmniOS_Text_r151014.usb-dd of=/disk2 bs=1M
dd: bs: illegal numeric value

Ich habe mir dies hier als Vorlage angesehen

From USB #

Like CD images, your choices are current stable, LTS, or bloody:
Current stable (r151018, omnios-r151018-95eaa7e): http://omnios.omniti.com/media/OmniOS_Text_r151018.usb-dd
md5 (OmniOS_Text_r151018.usb-dd) = 3e2b705c407c3a7493e4dd50a6ce7d97
sha1 (OmniOS_Text_r151018.usb-dd) = f6060e079fe4409761d90109fe76ecdac75467c1
LTS release (r151014, omnios-b13298f): http://omnios.omniti.com/media/OmniOS_Text_r151014.usb-dd
md5 (OmniOS_Text_r151014.usb-dd) = d5f7ab3dff1af69368c12628d21895f1
sha1 (OmniOS_Text_r151014.usb-dd) = cc04dc87de6331054e39bcff0c41d6c04d5e00ac
Bloody release (r151019, omnios-master-3fd4b56): http://omnios.omniti.com/media/OmniOS_Text_bloody_20161006.usb-dd
md5 (OmniOS_Text_bloody_20161006.usb-dd) = d6acf02ab840b08b4de5a85508b70488
sha1 (OmniOS_Text_bloody_20161006.usb-dd) = d1dc4d5ab8ba152db93a4f707dde88d8d26dfff2
These images may be written to your USB drive with dd, like so:
dd if=/path/to/image.usb-dd of=/path/to/device bs=1M
Where /path/to/device is the base device (e.g., /dev/sdc in Linux, /dev/disk2 in MacOS X, and /dev/rdsk/c0t0d0p0 in illumos. It's very important that you use rdsk instead of dsk; your USB won't boot otherwise!)
Boot and follow the same directions as for CD/iso above.

Nun ist mein englisch nicht gut, aber da steht was von "rdsk" benutzen. Nur wo in der vorgegebenen Zeile ist rdsk oder dsk überhaupt?

Für mich sieht es so aus das die anleitung fehlerhaft / unvollständig ist.

Thomas

 

[fax668]

Anscheinend kennt das Solaris dd Kürzel wie "1M" nicht. Das dürfte eine der vielen GNU Erweiterungen sein. Rechne das dann halt in Bytes um.

Und rdsk bezieht sich schon auf die vorhergende Zeile. Da muss dann etwas wie "dd if=... of=/dev/rdsk/c0... bs=1..." rein.

 

[ThomasSH]

Moin!

Ich habe im 2. Versuch dann 1024k angegeben, dann sollten die fast 500Megabyte in 0,8 Sekunden auf den Stick geschrieben sein (behauptet Terminal). Trotz USB 3 bei der Schnittstelle und am Stick kommt mir das zu schnell vor, kann das so sein? Bei USB2 und FreeNAS hat der Vorgang bei "nur" 2xxMB immer um 10-15 Minuten gedauert.

Thomas

 

[nismo2000]

Das osx-dd kennt 1M nicht.. nimm einfach bs=1m oder bs=1048576

Ich hab hier FreeBSD 10.3 als ServerOS, storage besteht aus einem 3x4TB RaidZ1 pool, dazu netatalk als Fileserver dienst. Absolut keine Probleme, Daten werden mit konstanten ~65MB/s übertragen, auch über mehrere GB's