FreeNAS x64: ZFS oder UFS für "Einzelplatten" oder einfach Win Server

[DaReal]

Mensch, dein Leidensweg kommt mir bekannt vor ...

Habe nen Intel SS4200 NAS, welches auf normaler PC-Hardware basiert.

Habe dort das urspr. EMC-Betriebssystem probiert, ist schnell aber sehr unkomfortabel sowie schlechte Benutzersteuerung.
Kommte damit auf gute 70MB/s im mittel, Peaks bis an die 110 MB/s !!!

Danach habe ich mich mit Freenas rumgeärgert ... finde die Einrichtung eines RAIDs sehr umständlich, die Performance hat mich auch nicht vom Hocker gehauen (~60MB/s) bei nem Dual-Core E2200 + 2GB RAM.

Danach habe ich Windows Server 2008 probiert, was bei dem System jedoch problematisch ist. Man kann erst über einen Trick mit dem System ein Windows installieren und auch von Booten ... das SW-RAID5 unter W2K8 reißt einen aber auch nicht vom Hocker ... glaube es kam nichtmal an die 50MB/s ran!

Jetzt bin ich am gucken nach nem stromsparenden AM3 Bundle, welches ich dann wohl mit nem HW-Raid Controller bestücken werde, damit endlich ruhe ist ...
Leider gibt es keine wirklich kleinen NAS_gehäuse für µATX Boards + 4 HDDs

 

[Sayuuk]

Mensch, dein Leidensweg kommt mir bekannt vor ...

Habe nen Intel SS4200 NAS, welches auf normaler PC-Hardware basiert.

Habe dort das urspr. EMC-Betriebssystem probiert, ist schnell aber sehr unkomfortabel sowie schlechte Benutzersteuerung.
Kommte damit auf gute 70MB/s im mittel, Peaks bis an die 110 MB/s !!!

Danach habe ich mich mit Freenas rumgeärgert ... finde die Einrichtung eines RAIDs sehr umständlich, die Performance hat mich auch nicht vom Hocker gehauen (~60MB/s) bei nem Dual-Core E2200 + 2GB RAM.

Danach habe ich Windows Server 2008 probiert, was bei dem System jedoch problematisch ist. Man kann erst über einen Trick mit dem System ein Windows installieren und auch von Booten ... das SW-RAID5 unter W2K8 reißt einen aber auch nicht vom Hocker ... glaube es kam nichtmal an die 50MB/s ran!

Jetzt bin ich am gucken nach nem stromsparenden AM3 Bundle, welches ich dann wohl mit nem HW-Raid Controller bestücken werde, damit endlich ruhe ist ...
Leider gibt es keine wirklich kleinen NAS_gehäuse für µATX Boards + 4 HDDs

Hmm, naja ich bin jetzt beim 4ten Versuch immerhin so weit, dass ich unter 2k3 die AHCI-Treiber installiert bekommen hab...

Jetzt muss ich nur noch überlegen, ob ich das alles nochmal umschaufeln will =P

edit:
Ich mein einen Riesen-Vorteil hat der WS ja noch, den ich noch gar nicht erwähnt hatte: Er läuft mit NTFS... was in einem Windows-only Haushalt (Moment, mein Handy hat Linux =P) sicher ganz hilfreich ist =)

edit²:
Die Übertragungsraten sprechen einfach für sich. Selbst auf die lahme Notebook-Platte auf der der 2k3 jetzt installiert ist, schreib ich mit ~60MB/sec

Ich denke wirklich ich schaufel alles wieder auf NTFS zurück. Wenn ich dann mal an nen 2k8 rankomm, geht das ja dann auch fix.


edit³:
doll, dafür alle paar Minuten nen Bluescreen wegen dem AHCI-Treiber... ==> back to FreeNAS

edit4:
doch noch hinbekommen die AHCI treiber zu aktualisieren...

Allerdings beim Download das gleiche Problem wie weiter oben schon. ZUM Server ca 60MB/sec, VOM Server max. 10MB/sec...
Jumbo Frames an/aus, verschiedene Platten... macht alles keinen Unterschied...

_________________________________________________________________________________________________
edit5:
FreeNAS Transferraten (nach Windows TaskManager, ca. 1%=10Mbit)

Das hier sind alles Peak-Raten, d.h. sie wurden nicht dauerhaft gehalten, die

Werte traten aber mehrfach auf beim Transfer.

Die Tests wurden mit einem 700MB ISO durchgeführt, weil ich irgendwie auf

meinem Notebook keine RAM-Disk größer als 1GB erstellen kann.


Tuning-Switch an, powerd an:

mit Jumbo-Frames, Device Polling an
- von Notebook (RAM-Disk) zu 2TB UFS: ca. 350 Mbit
- von 2TB UFS zu RAM-Disk: ca. 300 Mbit
ohne Jumbo-Frames, Device Polling an
- von Notebook (RAM-Disk) zu 2TB UFS: ca. 350 Mbit
- von 2TB UFS zu RAM-Disk: ca. 300 Mbit
mit Jumbo Frames, Device Polling aus
- von Notebook (RAM-Disk) zu 2TB UFS: ca. 380 Mbit
- von 2TB UFS zu RAM-Disk: ca. 350 Mbit
ohne Jumbo Frames, Device Polling aus
- von Notebook (RAM-Disk) zu 2TB UFS: maximal 15 Mbit...
- von 2TB UFS zu RAM-Disk: ca. 350 Mbit



Jumbo Frames an, Device Polling aus:

powerd aus, Tuning-Switch aus:
- von Notebook (RAM-Disk) zu 2TB UFS: 480 Mbit
- von 2TB UFS zu RAM-Disk: ca. 360 Mbit
powerd an, Tuning-Switch aus:
- von Notebook (RAM-Disk) zu 2TB UFS: 480 Mbit
- von 2TB UFS zu RAM-Disk: ca. 370 Mbit

Tuning-Switch aus, powerd an:
mit Jumbo Frames, Device Polling an:
- von Notebook (RAM-Disk) zu 2TB UFS: 420 Mbit
- von 2TB UFS zu RAM-Disk: ca. 270 Mbit


Fazit: Die oben rot markierten Einstellungen übernehme ich jetzt erstmal so.
Mit den EInstellungen beim Samba selber (Large File, Buffer ...) hab ich noch nicht rumgespielt, wobei die ja alle der Performance zuträglich sein dürften...

 

[hattabatatta]

device polling würde ich in jedem fall auslassen aber dafür den tuning switch wieder einschalten.
jumbo frames bringen dir nur dann was wenn beide seiten die manuelle anpassung der mtu supporten (die ich by the way auf 9000 stellen würde)

und wie du schon richtig erkannt hast sind die sachen im samba für die performance zuständig.
wenn man da an den richtigen schrauben dreht dann wirkt das wahre wunder...aber aufpassen dass du da nicht übertreibst sonst wirst du beim nächsten start von freenas eine nicht schöne überaschung erleben.

nämlich, dass freenas fast keinen dienst mehr startet weil der samba zu viel frisst.
die änderungen am samba wirken sich by the way erst nach einem neustart richtig aus.
deshalb immer ein backup der aktuellen einstellung machen bevor man an den schrauben dreht.

 

[Sayuuk]

Jumbo Frames:
mein HTPC (zu dem gestreamt wird) unterstützt maximal 7k
mein Switch (Longshine 5-Port Gbit): 9k
Laptop: 9k
FreeNAS: 9k (9000 eben)

Der HTPC funktioniert wunderbar, der Unterschied zwischen 7k und 9k scheint nichts auszumachen, bei dem brauch ich ja aber auch die Performance nicht.

Samba-Settings:
Also als Felder gibt es da ja nur den Buffer, Use sendfile, Large read/write...

Meinst du bei den Auxiliary Parameters, die man unten selbst eintragen kann?

Ich les mir mal das hier durch.

edit:

Faul wie ich bin hab ich einfach mal die ganzen Änderungen aus dem oben verlinkten Artikel übernommen und die rohe Datenleistun per iperf ist ein Stück angestiegen.
Das Einschalten des Kernel-Tuning hat die Datenraten vollkommen einbrechen lassen...

Ich weiß nur einfach nicht - und das nervt mich grad - ob ich einfach an der Leistunggrenze der Realtek NICs bin, oder ob es an etwas ganz anderem liegt...

edit²:

Auswirkung auf den File-Transfer über Samba scheint das Ganze aber nur wenig zu haben... die prozentuale Auslastung im Task Manager scheint auf den ersten Blick ~gleich...

---------- Beitrag hinzugefügt um 17:19 ---------- Vorheriger Beitrag war um 15:59 ----------

Also mit dem ganzen Tunen hier komm ich bei 64k Blöcken bei iperf auf ca 570Mbit

Beim WS 2k3 - nur mit Jumbo Frames an - komm ich auf ca. 780 Mbit...

Das bedeutet doch, dass der Realtek bei FreeNAS eben nicht am Limit arbeitet, sondern irgendetwas anderes das verlangsamt....


Hat hier schonmal jemand OpenFiler benutzt? Kann jemand da was zu sagen?
Ich mein halt die Dokumentation von FreeNAS is ja schon bescheiden genug, OpenFiler hat nochmal deutlich weniger (weil der Hersteller eben dafür bezahlt werden will...)

---------- Beitrag hinzugefügt um 17:21 ---------- Vorheriger Beitrag war um 15:59 ----------

Mal ne kurze Zwischenfrage:

Wenn ich den WS 2k3 nur nebenher über BT was runterladen lasse, er aber keine irgendwelche exe's ausführt, dann brauch ich doch dafür keine AV-Software, oder?

Das wär jetzt nämlich wieder ein Krampf ne kostenlose Lösung zu finden, die auf WS läuft...

---------- Beitrag hinzugefügt um 17:43 ---------- Vorheriger Beitrag war um 15:59 ----------

Noch eine interessante Bemerkung:

WS 2k3: interne Notebook-Fesplatte (320GB WD Blue) <=> Windows 7: RAM-Disk

Wenn ich vom Server aus auf die freigegebene RAM-Disk zugreife und die auf den Server ziehe, erreiche ich ca. 30-33% Auslastung, vom Server auf die RAM-Disk ca. 42%

Wenn ich vom Notebook auf den Server schiebe, erreiche ich ca. 60%, wenn ich vom Server ziehe NUR 14-15%

Ich versteh einfach nicht, wo die verschiedenen Zahlen herkommen...!!!

 

[Sayuuk]

Sooo, da hat er doch mal Openfiler installiert...

Wie schon vorhergesagt, bringt da die fehlende Dokumentation den Untergang... =P

Das is aber auch kompliziert... ich krieg nicht einmal eine einfache Freigabe hin =P

 

[Autokiller677]

Ich hab auch mal mit Openfiler rumgespielt, bin aber auch nicht klargekommen. Ich hab noch nicht mal die Möglichkeit gefunden, Benutzerkonten einzurichten, nur eine LDAP Anbindung hab ich entdeckt. Letztentlich bin ich mit Ubuntu Server glücklich geworden und bin grad dabei alles auf EXSi umzustellen^^

 

[Sayuuk]

Ich hab auch mal mit Openfiler rumgespielt, bin aber auch nicht klargekommen. Ich hab noch nicht mal die Möglichkeit gefunden, Benutzerkonten einzurichten, nur eine LDAP Anbindung hab ich entdeckt. Letztentlich bin ich mit Ubuntu Server glücklich geworden und bin grad dabei alles auf EXSi umzustellen^^

Naja, du musst einfach den lokalen LDAP-Server benutzen, dann über 10.000 Klicks einen Benutzer erstellen usw... etc... pp...

Ich schau mir jetzt wirklich nochmal den puren Ubuntu Server mit webmin an... Openfiler ist überdimensioniert, oder zumindest ist das mein Eindruck...

---------- Beitrag hinzugefügt um 22:18 ---------- Vorheriger Beitrag war um 20:23 ----------

Sooo (ja ich schreib wirklich, wir gewinnen ja wohl nicht mehr),

Ubuntu Server läuft ganz gut, nur die permissions für die Samba Freigaben bekomm ich noch nicht hin ^^

edit: Jumbo Frames in Ubuntu auf 7k (9k zeigt er mir einen Fehler an), iperf bei 64k: 840Mbits... bis jetzt das Beste!

 

[Autokiller677]

Wenn du einfache Samba Freigaben ohne Autentifizierung erstellen willst, einfach security=user in security=share ändern und schon gehts.
Mit Passwort Abfrage hab ich noch nie was angestellt, weil ich es hier zu hause nicht brauche in der Familie.

 

[Sayuuk]

Wenn du einfache Samba Freigaben ohne Autentifizierung erstellen willst, einfach security=user in security=share ändern und schon gehts.
Mit Passwort Abfrage hab ich noch nie was angestellt, weil ich es hier zu hause nicht brauche in der Familie.

Hab's mittlerweile auch hinbekommen, auch mit Passwörtern (Ich will nicht, dass mein kleiner Bruder in meinen Dateien rumschnüffelt ;-) )

Fazit:
rohe Datenperformance am Besten von allen getesteten Systemen bis jetzt.

Samba-Performance nur minimal besser als FreeNAS, dafür aber - natürlich da vielseitiger - schwerer/komplizierter zu verwalten.

D.h. für mich erstmal wieder zurück zu FreeNAS.

 

[hattabatatta]

also ich bin von der performance der realtec nics auch nicht unbedingt begeistert gewesen.
da in meinem nas ein evga mainboard seine arbeit verrichtet, habe ich natürlich auch zunächst auf die gesetzt.
erst als ich eine intel nic in die finger bekommen habe und die mal getestet habe, war ich erstaunt wie der transfer zwar nicht um welten, aber doch um einige megabytes/s nach oben ging.
ich gehe hier einfach mal davon aus, dass die realtec zwar schnell wären, aber eben nicht unter freenas weil das ja auf bsd basiert und hier natürlich andere treiber als jene des windoof servers arbeiten.
somit blieb ich bei einer intel nic in meinem freenas system.

openfiler hab ich auch mal getestet und kann mich da eigentlich nur anschliessen.
es is saumässig kompliziert aufgebaut und die doku noch um etliches schlechter als bei freenas. bin deshalb auch bei freenas geblieben.

bezüglich der samba performance.
was dir in jedem fall etwas bringt ist ein anheben der buffer size.
aber die ist eben insofern gefährlich wie ich es schon in einem vorherigen posting (so glaube ich zumindest hehe) erwähnt habe. wenn du dir da zu viel erlaubst dann streikt freenas völlig.

 

[Sayuuk]

bezüglich der samba performance.
was dir in jedem fall etwas bringt ist ein anheben der buffer size.
aber die ist eben insofern gefährlich wie ich es schon in einem vorherigen posting (so glaube ich zumindest hehe) erwähnt habe. wenn du dir da zu viel erlaubst dann streikt freenas völlig.

@Intel-NIC: Hast du da einen Desktop oder einen Server-Adapter?
Wenn dann überlege ich, ob ich nicht gleich auf Dual gehe, Bonding und dann 2 Gbit habe, wobei das bei einer einzelnen Platte nicht mehr viel bringen dürfte...

Buffer ist im Moment (wie bei 0.7.1 Standard) auf 64k. Bei 0.6.9 war es glaube ich noch 16k, weshalb da der dolle Geheimtipp war den auf 64k zu setzen, was auch den großen Leistungsschub beim 0.7.1 ausgemacht haben dürfte.

Was hast du den als Buffer drin? Ich hab schon mehrfach von 265k gelesen, weiß aber nicht genau ob damit wirklich der Samba-Buffer gemeint war.

Gruß

P.S.: Bin grad sowieso erstmal wieder am Rumschrauben. Lüftersteuerung tut auf einmal nicht mehr und das 4-in-3-Modul fliegt wieder raus und meine Haushaltsgummis wieder rein (die Vibe-Fixer sind einfach zuu teuer...)

 

[hattabatatta]

also bonding bringt dir im prinzip nur dann etwas wenn zeitgleich mehrere clients zugreifen.
du hast zwar prinzipiell gesehen 2 gbit wenn du 2 1gbit miteinander bondest,
aber eine aufrechte verbindung kann trotzdem nur 1gbit verwenden.
connected sich aber ein zweiter client hat der auch 1gbit zur verfügung.
wirklich limitieren wird hier nur die hardware deiner nas kiste.
im speziellen natürlich die platten.
ich hoff ich hab das halbwegs verständlich erklärt

bezüglich meiner einstellungen kann ich dir am abend wenn du willst mal eine pm mit meiner samba config schicken. immo bin ich nicht zu hause und kann dir daher keine genauen angaben machen und bevor ich dir irgendwelche aus dem gedächtnis heraus halbwegs richtige werte nenne geb ich dir lieber etwas konkretes

die intel nic ist eine server karte. also sogar eine pci-x die man aber natürlich auch für den pci slot verwenden kann.
wohingegen ich hier auch erwähnen sollte, dass eine verwendung des pci slots für gigabit, ob der geringen speicherbandbreite (theoretischer max wert 133mbyte/s bei 32bit/33mhz) nicht empfehlenswert ist.
bei meinem board gsd kein bottleneck, bei deinem board muss man schauen welcher pci standard verbaut ist und wie dessen adressraum respektive taktrate ist.

 

[Sayuuk]

Ich glaub das Problem hab ich nicht. Ich hab frei:
1x PCIe x16
1x PCIe x4
1x PCIe x1
2x PCI

Da Bonding dann ja wohl keinen Sinn macht, könnte ich einfach den kleinen Desktop 100er reinschmeißen, der läuft auf einem x1 Slot.

Das mit der Samba-Config wäre super.

P.S.: Die Lüftersteuerung funzt doch, das dolle Seasonic is so laut... ich glaub fast ich tausch das gegen das gemoddete Corsair, will nicht noch an nem zweiten brandneuen Netzteil rumschnippeln...

 

[Sayuuk]

Soo,

war gestern kurz davor mir nen Intel NIC zu kaufen, als mich meine "Quelle" erreichte.
Ich muss da jetzt erst etwas aussortieren, aber wahrscheinlich hab ich dann bald doch den WS 2k8 R2.

Denn als das Board noch im HTPC mit den großen Festplatten steckte waren die Transferraten ja auch deutlich über dem, was FreeNAS jetzt bietet. Kann also auch nicht nur daran liegen... oder es liegt an Beidem =P

 

[Sayuuk]

Ich hab keine Lizenz mehr frei. Und bevor ich mir über MSDNAA Windows 7 hole, hol ich mir lieber gleich den Server =P

So von wegen Terminal Server usw, da kommt doch kein VNC dran =P

 

[Sayuuk]

Soo, ich installier gleich den 2k8 R2.

Davor tausch ich aber noch die CPUs, Athlon II => Server, BE2300 => HTPC


Berichte dann über die Geschwindigkeit =)

 

[Sayuuk]

So, mein Gesamtfazit:

FreeNAS:

Ist eigentlich super. Nur hat mir der Datendurchsatz mit meinen Realtek NICs nicht gefallen. Wenn das mit Intel NICs super läuft, ist das gut.

Leider hat sich das System mit meinem Athlon II X2 245 aufgehangen, sobald der powerd läuft, was man aber zum Stromsparen/Hitze reduzieren dringend braucht.

Systemanforderungen sind natürlich richtig niedrig, was sicher bei Einigen entscheident ist.


OpenFiler:
Ich kann wenig zur Performance sagen, da ich den Samba-Server nichtmal richtig zum Laufen bringen konnte, da auch so gut wie keine Dokumentation dazu vorhanden ist (zumindest nicht frei erhältlich).



Und nun zum Windows Server 2008 R2, den ich jetzt auch einsetze:
Funktioniert wunderbar mit Windows 7 Treibern, d.h. für alle moderne Hardware nutzbar.
Mittlerweile (ohne dass ich etwas getan hab) sind die Durchsatzraten beim "pullen" von Dateien über SMB mit gutem Durchsatz (bei mir gute 60MB/sec, wobei meine Notebook-Platte hier limitieren dürfte).
Der Prozessorlühler fühlt sich am Lühlsten an, d.h. wahrscheinlich ist die Last niedriger als bei den anderen Systemen.

Und letztendlich hat es in meinem Windows-Only-Haushalt den Vorteil, dass ich problemlos die Festplatten ausbauen und an einem beliebigen PC ohne irgendwelche Treiber-Frickeleien (die nie zum Erfolg geführt haben) oder Live-CDs benutzen kann.


Ich danke allen für die guten Tipps und Antworten hier im Thread,

Gruß, Stefan