[Sammelthread] Der NAS4Free Anleitungen/Tipps/Hilfe Thread

So habs hinbekommen. Hab nochmal neu installiert, dann gings.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Gilt das im ersten Beitrag geschriebene noch? Ich bin mit der (aktuellen) Firmware NAS4Free 9.1.0.1 (847) z.B. ohne den Eintrag

kern.maxvnodes="250000"

schneller. Im N40L stecken 8GB Ram.
 
Zuletzt bearbeitet:
Hi,

was ist genau schneller - Schreibzugriffe, Lesezugriffe? Kannst du das bitte näher erläutern, auch bitte mit Vergleichswerten?

Ich habe das ganze noch mit NAS4Free basierend auf FreeBSD 9.0 gemacht, bei 9.1 gab es jede Menge Veränderungen und Anpassungen.
 
Ich habe grosse Dateien mit Win 7 entweder auf das NAS oder vom NAS kopiert und da war die Transferrate ohne den Parameter höher (ca. 10MB/s). Da ich aber eh starke Schwankungen habe (Startet mit 120 MB/s, sinkt dann auf 50-60MB/s) habe ich bestimmt noch ein anderes Problem.

Edit: Ich schreibe gerade mit nur ca. 60 MB/s und

nas4free: ~ # sysctl vfs.numvnodes
vfs.numvnodes: 3147
nas4free: ~ # sysctl vfs.numvnodes
vfs.numvnodes: 4038
Kann das evtl. an den Nicht-NAS-Platten (WD30EZRX) liegen?
 
Zuletzt bearbeitet:
@AG1M: Du scheinst Dich nicht für meine Antworten auf Deine Fragen zu interessieren, schade...

Hat vielleicht sonst jemand einen Link auf aktuellere Tuning-Tipps?
 
Hi,

ich hab nicht gesehen das du nochmal editiert hattest, ich habe eigentlich auf einen neuen Post hier gewartet. :)

Also wenn du mit 120 MB/s beginnst und dann auf ~ 50+60 MB/s liegt an erster Linie am Writebuffer, der RAM ist da besonders wichtig fü ZFS.

Teste mal folgende Settings bei dir für die bootloader.conf:

Code:
vm.kmem_size="7G"
vfs.zfs.arc_max="5632M"
vfs.zfs.arc_min="3584M"
vfs.zfs.vdev.min_pending="1"
vfs.zfs.vdev.max_pending="1"
vfs.zfs.prefetch_disable="0"

Accesstime (atime) bei einem Filer kannst du ausmachen, wie auf der ersten Seite beschrieben. Kompression auch mal an-/ausschalten Testweise.

Was für ein ZFS Pool (RAIDZ, Mirror?) aus wieviel WD30EZRX HDDs hast du und vor allem, wie voll in % ist dein ZFS Pool an Daten? Die HDDs im allgemeinen haben keinerlei Einfluss darauf ob nun normale Desktop HDD, oder 24/7 NAS HDDs, solange du deinen Pool mit 4K Alignment erstellt hast, gibts keine Probleme Leistungstechnisch.

Seit FreeBSD 9.1 wurde auch ein wenig an ZFS geschraubt, um mehr Funktionen von Illumos mit einzubauen, mal hier die Änderungen, sonst ist da eigentlich alles beim alten gelieben, außer das du unter anderem ZFS snapshots auf Jailbasis verwalten kannst. Tuningtechnisch hat sich da nicht soviel geändert, was dir einen Schub bringen würde.

Anderer Test - stell mal die checksum auf was schnelleres wie z.B. Flechter2 und mach dann nocheinmal einen Test, beim kopieren.

Als letzten Test deaktivere mal ZIL komplettt sync=disable nur um wirklich zu sehen ob der RAM limitiert, würde ich aber dann wieder anmachen, nur für den Test mal ausschalten.

Als letztes kann man auch noch ein wenig beim Samba bei FreeBSD schrauben, um dort noch wenig herauszuholen.

/Edit

Hatte vorhin noch vergessen, check mal all deine ZFS Eigenschaften mit:

sysctl vfs.zfs

und

sysctl kstat.zfs

Zusätzlich kannst du ja mal versuchen zfs-stats und zfs-mon nachzuinstallieren, um ein wenig Monitoring zu haben, was deine ZFS Auslastung angeht.
 
Zuletzt bearbeitet:
Danke, dann werde ich versuchen, keine Edits mehr zu machen.

Meine aktuelle Firmware: NAS4Free 9.1.0.1 (847)

Habe diese beiden auf 1 gesetzt, der Rest war schon vorhanden:
vfs.zfs.vdev.max_pending 10
vfs.zfs.vdev.min_pending 2

Damit komme/bleibe ich bei 55-60 MB/Sek. Schreiben

Das N40L hat einen ZFS-Pool mit 2xST3000DM001 mit 4K Alignment (die WD30EZRX stecken in einem anderen NAS, war ein Missverständnis), der 72% voll ist.

Ein Ändern der Checksumme (zfs set checksum=fletcher2 Poolname) hat max. 5 MB/Sek. gebracht (Die CPU-Last steigt beim Kopieren in beiden Fällen auf ca. 80%).

Mit ZIL aus (zfs set sync=disabled Poolname) wird die Schreibperformance nicht besser, eher schlechter. Die CPU schwankt dann sehr stark zwischen 70 und 90%.

Vielleicht kannst Du ja hier was finden:

Code:
sysctl vfs.zfs
vfs.zfs.l2c_only_size: 0
vfs.zfs.mfu_ghost_data_lsize: 5207842304
vfs.zfs.mfu_ghost_metadata_lsize: 3129856
vfs.zfs.mfu_ghost_size: 5210972160
vfs.zfs.mfu_data_lsize: 189950976
vfs.zfs.mfu_metadata_lsize: 7719936
vfs.zfs.mfu_size: 204951552
vfs.zfs.mru_ghost_data_lsize: 180879360
vfs.zfs.mru_ghost_metadata_lsize: 51134976
vfs.zfs.mru_ghost_size: 232014336
vfs.zfs.mru_data_lsize: 5264640512
vfs.zfs.mru_metadata_lsize: 20011008
vfs.zfs.mru_size: 5294619136
vfs.zfs.anon_data_lsize: 0
vfs.zfs.anon_metadata_lsize: 0
vfs.zfs.anon_size: 16384
vfs.zfs.l2arc_norw: 1
vfs.zfs.l2arc_feed_again: 1
vfs.zfs.l2arc_noprefetch: 1
vfs.zfs.l2arc_feed_min_ms: 200
vfs.zfs.l2arc_feed_secs: 1
vfs.zfs.l2arc_headroom: 2
vfs.zfs.l2arc_write_boost: 8388608
vfs.zfs.l2arc_write_max: 8388608
vfs.zfs.arc_meta_limit: 1476395008
vfs.zfs.arc_meta_used: 84709432
vfs.zfs.arc_min: 3758096384
vfs.zfs.arc_max: 5905580032
vfs.zfs.dedup.prefetch: 1
vfs.zfs.mdcomp_disable: 0
vfs.zfs.write_limit_override: 0
vfs.zfs.write_limit_inflated: 24589332480
vfs.zfs.write_limit_max: 1024555520
vfs.zfs.write_limit_min: 33554432
vfs.zfs.write_limit_shift: 3
vfs.zfs.no_write_throttle: 0
vfs.zfs.zfetch.array_rd_sz: 1048576
vfs.zfs.zfetch.block_cap: 256
vfs.zfs.zfetch.min_sec_reap: 2
vfs.zfs.zfetch.max_streams: 8
vfs.zfs.prefetch_disable: 1
vfs.zfs.mg_alloc_failures: 8
vfs.zfs.check_hostid: 1
vfs.zfs.recover: 0
vfs.zfs.txg.synctime_ms: 1000
vfs.zfs.txg.timeout: 5
vfs.zfs.vdev.cache.bshift: 16
vfs.zfs.vdev.cache.size: 0
vfs.zfs.vdev.cache.max: 16384
vfs.zfs.vdev.write_gap_limit: 4096
vfs.zfs.vdev.read_gap_limit: 32768
vfs.zfs.vdev.aggregation_limit: 131072
vfs.zfs.vdev.ramp_rate: 2
vfs.zfs.vdev.time_shift: 6
vfs.zfs.vdev.min_pending: 2
vfs.zfs.vdev.max_pending: 10
vfs.zfs.vdev.bio_flush_disable: 0
vfs.zfs.cache_flush_disable: 0
vfs.zfs.zil_replay_disable: 0
vfs.zfs.zio.use_uma: 0
vfs.zfs.snapshot_list_prefetch: 0
vfs.zfs.version.zpl: 5
vfs.zfs.version.spa: 28
vfs.zfs.version.acl: 1
vfs.zfs.debug: 0
vfs.zfs.super_owner: 0

Code:
sysctl kstat.zfs
kstat.zfs.misc.xuio_stats.onloan_read_buf: 0
kstat.zfs.misc.xuio_stats.onloan_write_buf: 0
kstat.zfs.misc.xuio_stats.read_buf_copied: 0
kstat.zfs.misc.xuio_stats.read_buf_nocopy: 0
kstat.zfs.misc.xuio_stats.write_buf_copied: 0
kstat.zfs.misc.xuio_stats.write_buf_nocopy: 0
kstat.zfs.misc.zfetchstats.hits: 0
kstat.zfs.misc.zfetchstats.misses: 0
kstat.zfs.misc.zfetchstats.colinear_hits: 0
kstat.zfs.misc.zfetchstats.colinear_misses: 0
kstat.zfs.misc.zfetchstats.stride_hits: 0
kstat.zfs.misc.zfetchstats.stride_misses: 0
kstat.zfs.misc.zfetchstats.reclaim_successes: 0
kstat.zfs.misc.zfetchstats.reclaim_failures: 0
kstat.zfs.misc.zfetchstats.streams_resets: 0
kstat.zfs.misc.zfetchstats.streams_noresets: 0
kstat.zfs.misc.zfetchstats.bogus_streams: 0
kstat.zfs.misc.arcstats.hits: 1377851
kstat.zfs.misc.arcstats.misses: 328189
kstat.zfs.misc.arcstats.demand_data_hits: 1328932
kstat.zfs.misc.arcstats.demand_data_misses: 323870
kstat.zfs.misc.arcstats.demand_metadata_hits: 48911
kstat.zfs.misc.arcstats.demand_metadata_misses: 4301
kstat.zfs.misc.arcstats.prefetch_data_hits: 0
kstat.zfs.misc.arcstats.prefetch_data_misses: 0
kstat.zfs.misc.arcstats.prefetch_metadata_hits: 8
kstat.zfs.misc.arcstats.prefetch_metadata_misses: 18
kstat.zfs.misc.arcstats.mru_hits: 1100904
kstat.zfs.misc.arcstats.mru_ghost_hits: 5961
kstat.zfs.misc.arcstats.mfu_hits: 276942
kstat.zfs.misc.arcstats.mfu_ghost_hits: 3479
kstat.zfs.misc.arcstats.allocated: 1108367
kstat.zfs.misc.arcstats.deleted: 614696
kstat.zfs.misc.arcstats.stolen: 378466
kstat.zfs.misc.arcstats.recycle_miss: 651
kstat.zfs.misc.arcstats.mutex_miss: 10
kstat.zfs.misc.arcstats.evict_skip: 0
kstat.zfs.misc.arcstats.evict_l2_cached: 0
kstat.zfs.misc.arcstats.evict_l2_eligible: 86260481024
kstat.zfs.misc.arcstats.evict_l2_ineligible: 8192
kstat.zfs.misc.arcstats.hash_elements: 91056
kstat.zfs.misc.arcstats.hash_elements_max: 92049
kstat.zfs.misc.arcstats.hash_collisions: 315022
kstat.zfs.misc.arcstats.hash_chains: 21212
kstat.zfs.misc.arcstats.hash_chain_max: 8
kstat.zfs.misc.arcstats.p: 5346445797
kstat.zfs.misc.arcstats.c: 5539336309
kstat.zfs.misc.arcstats.c_min: 3758096384
kstat.zfs.misc.arcstats.c_max: 5905580032
kstat.zfs.misc.arcstats.size: 5539300920
kstat.zfs.misc.arcstats.hdr_size: 24367656
kstat.zfs.misc.arcstats.data_size: 5499587072
kstat.zfs.misc.arcstats.other_size: 15346192
kstat.zfs.misc.arcstats.l2_hits: 0
kstat.zfs.misc.arcstats.l2_misses: 0
kstat.zfs.misc.arcstats.l2_feeds: 0
kstat.zfs.misc.arcstats.l2_rw_clash: 0
kstat.zfs.misc.arcstats.l2_read_bytes: 0
kstat.zfs.misc.arcstats.l2_write_bytes: 0
kstat.zfs.misc.arcstats.l2_writes_sent: 0
kstat.zfs.misc.arcstats.l2_writes_done: 0
kstat.zfs.misc.arcstats.l2_writes_error: 0
kstat.zfs.misc.arcstats.l2_writes_hdr_miss: 0
kstat.zfs.misc.arcstats.l2_evict_lock_retry: 0
kstat.zfs.misc.arcstats.l2_evict_reading: 0
kstat.zfs.misc.arcstats.l2_free_on_write: 0
kstat.zfs.misc.arcstats.l2_abort_lowmem: 0
kstat.zfs.misc.arcstats.l2_cksum_bad: 0
kstat.zfs.misc.arcstats.l2_io_error: 0
kstat.zfs.misc.arcstats.l2_size: 0
kstat.zfs.misc.arcstats.l2_hdr_size: 0
kstat.zfs.misc.arcstats.memory_throttle_count: 0
kstat.zfs.misc.arcstats.l2_write_trylock_fail: 0
kstat.zfs.misc.arcstats.l2_write_passed_headroom: 0
kstat.zfs.misc.arcstats.l2_write_spa_mismatch: 0
kstat.zfs.misc.arcstats.l2_write_in_l2: 0
kstat.zfs.misc.arcstats.l2_write_io_in_progress: 0
kstat.zfs.misc.arcstats.l2_write_not_cacheable: 4
kstat.zfs.misc.arcstats.l2_write_full: 0
kstat.zfs.misc.arcstats.l2_write_buffer_iter: 0
kstat.zfs.misc.arcstats.l2_write_pios: 0
kstat.zfs.misc.arcstats.l2_write_buffer_bytes_scanned: 0
kstat.zfs.misc.arcstats.l2_write_buffer_list_iter: 0
kstat.zfs.misc.arcstats.l2_write_buffer_list_null_iter: 0
kstat.zfs.misc.vdev_cache_stats.delegations: 0
kstat.zfs.misc.vdev_cache_stats.hits: 0
kstat.zfs.misc.vdev_cache_stats.misses: 0
 
Das ist merkwürdig, mit meinem N36L hatte ich mit sehr alten WD Green's und NAS4Free 85 MB/s beim schreiben von großen Dateien. Und du einen Mirror von zwei schnellen 3 TB 7200 rpm HDDs, die eigentlich von Haus sehr flott sind, daher finde ich die ~ 60 MB/s sehr Mager im Vergleich. Hast du das MOD Bios drauf und AHCI überall aktiviert?

Hast du auch immer neu gestartet nach Änderungen der bootloader.conf? Weil bei dir unter sysctl vfs.zfs immer noch max/min_pending auf den anderen Werten steht als auf 1, es ist immer zwingend bei den Änderungen ein Neustart vor dem Test notwendig.

vfs.zfs.txg.write_limit_override hast du auch mal probiert bei den Werten bei 8 GB Ram wie auf Seite 1 beschrieben?

Ich würde jetzt auch mal etwas deine Samba Settings ansehen, kannst du mal einen Screenshot machen, wie deine aktuellen Samba Einstellungen sind?
 
Reboots habe ich gemacht, die sysctl-Ausgaben stammen noch von vor den Änderungen. Da meine Leserate auf 10-30MB/s abgerutscht waren, habe ich die Werte inzwischen wieder auf
vfs.zfs.vdev.max_pending 10
vfs.zfs.vdev.min_pending 2
zurückgesetzt - die Leseraten sind jetzt wieder bei 70-80 MB/s.

vfs.zfs.txg.write_limit_override steht auf 805306368, ganz wie für 8GB empfohlen.

Das BIOS ist original (V0.261 vom 29.7.2011) und ahci ist an. Allerdings habe ich im BIOS Drive Write Cache "disabled" gefunden, was allerdings auch so empfohlen wird.

Hier die SMB-Einstellungen:
Nas4free SMB.jpg

Edit: Ich habe ein RAIDZ mit den beiden Platten aufgebaut, sollte aber trotzdem schneller werden könnnen. Kann es ggf. an den manuellen Tunings + Tuning-Häkchen liegen?
 
Zuletzt bearbeitet:
Nein mach mal bitte den Write Cache an, wenn du Stromausfall hast und gerade Dateien kopierst, sind die so oder so unbrauchbar wenn nicht vollständig übertragen. Unter Windows hast du auch bei deinen normalen Laufwerken den Write Cache, sogar standardmäßig aktiviert, kannst du im Gerätemanager nachschauen.

Bei deinen Samba einstellungen, auf SMB2 umstellen, Send/Receive Buffer auf 262144, Testweise AIO dekativieren und Neu starten.

Bei Netzwerkeinstellungen ist MTU auf 1500 für die Onboard NIC gestellt?
 
Jetzt habe ich noch ein paar Änderungen gemacht:
MTU 9000 -> 1500
Write Cache im BIOS ein
IDE-Speed im BIOS auf "3GBps Max" statt "Auto"
SMB: Send/Receive Buffer auf 262144, AIO aus.

Lesen ist jetzt bei guten 75-85 MB/s (mit CPU-Last ca. 20% auf dem N40L) und schreiben bei 55-60 MB/s (mit ca. 75% CPU-Last).

SMB2 mag ich nicht wg. Anonymous.

Hab ich vielleicht beim Aufbau des RAIDZ etwas ausser der Reihe konfiguriert?
 
Zuletzt bearbeitet:
Du hattest auf 9KB Jumboframes gestellt wieso? Haben deine Clienten auch Jumboframe Support und kann dein Switch auch Jumobframes?

ZFS Kompression hast du komplett deaktiviert?

Was ich mich nur wundere, ein RAIDZ aus 2 HDDs? Ein RAIDZ (ist eigentlich wie RAID 5) braucht normal mind. 3 HDDs, auch wenn man das mit 2 HDDs anlegen kann. Wenn du zwei HDDs hast, nimm bitte immer einen Mirror, habe ein RAIDZ aus 2 HDDs noch nie testen können (oder gesehen), also kann ich nicht sagen ob es daran liegt mit der Schreibperformance.
 
Warum ich die MTU auf 9000 hatte, weiss ich nicht mehr, Jumbo-Frames ("Rahmen") waren im Client jedenfalls nicht aktiv, deshalb lasse ich die jetzt aus. Zwischen Client und N40L hängt gerade nur eine FritzBox 7390 und die unterstützt die Jumbos auch nicht: Unterstützung von übergroßen Paketlängen (Jumbo Frames) | FRITZ!Box 7390 | AVM-SKB. Wäre 1518 nicht der perfekte MTU-Wert?

Die ZFS-Kompression war die letzten Tage an:
Code:
nas4free: ~ # zfs get compression
NAME                 PROPERTY     VALUE     SOURCE
PoolZ                compression  lzjb      local
PoolZ/DatasetZ       compression  lzjb      local

Und ich befürchte, dass es wirklich an dem RAIDZ mit nur 2 Platten liegen könnte. Ich wollte halt mehr Platz, deswegen kein Mirror. Habe gerade die Quelle nicht finden können, wo ich das mit den 2 Platten her hatte.

EDIT: könnte man das RAID-Z einfach mit einer dritten Platte ohne viel Kopieren erweitern?
 
Zuletzt bearbeitet:
Hi,

also Jumboframes machen im generellen mehr Probleme als nutzen im normalen Homebereich, da wirklich alle Geräte das voll unterstützen müssen, 1500 ist der Standardwert für Ehternet, für Internet und Co. gibt es da auch einige Anpassungen etc. aber mit 1500 im normalen LAN macht man nichts verkehrt.

Also ein RAIDZ kann man normal nicht erweitern, einzige Möglichkeit wäre die 3 TB HDDs gegen 4 TB HDDs auszutauschen wenn autoexpand aktiviert ist mit einem scrub wieder alles resilvern lassen. Da du aber ein RAIDZ aus nur 2 HDDs hast, müsste das hinzufügen theoretisch klappen, habe ich aber noch nie gemacht. Würde das an deiner Stelle fix mal in einer kleinen NAS4Free VM probieren, wie sich das verhält.

Normal wäre es so, das du dein vorhandenes RAIDZ (z.B. aus drei 3 TB HDDs), mit einem zweites RAIDZ (auch wieder mit drei 3 TB HDDs) als zweiten VDEV hinzufügst.

Vorher:

Code:
zpool status tank
  pool: tank
 state: ONLINE
 scan: -
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c2t0d0  ONLINE       0     0     0
            c2t1d0  ONLINE       0     0     0
            c2t2d0  ONLINE       0     0     0

Nacher:

Code:
zpool status tank
  pool: tank
 state: ONLINE
 scan: -
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c2t0d0  ONLINE       0     0     0
            c2t1d0  ONLINE       0     0     0
            c2t2d0  ONLINE       0     0     0
          raidz1-1  ONLINE       0     0     0
            c2t3d0  ONLINE       0     0     0
            c2t4d0  ONLINE       0     0     0
            c2t5d0  ONLINE       0     0     0


Oder gleich mit Mirror's arbeiten, dann kannst du immer einen Mirror hinzufügen, Nachteil ist aber das die Daten (die vorhandenen) sich nicht gleichmäßig verteilen, was alles andere als optimal ist, das würde schnell so aussehen und du bekommst auch wieder Perfomanceprobleme:

ZFS-Improve_Performance-2.png


Kurzum, das Kapazitätserweitern bei ZFS ist nicht so simpel und praktisch wie bei Linux Software RAID und Co.
 
Zuletzt bearbeitet:
Ich bin mir gerade gar nicht mehr so sicher, was ich da zusammengeklickt habe. Habe mit zwei 3TB Platten 5.7TB freien Speicherplatz, das kann doch gar kein RAID-Z sein. Ich habe mal eine dritte Platte bestellt (hier), wenn die da ist, werde ich den Pool neu aufbauen (und endlos lange Kopierorgien starten).
 
Da hast du wohl ein RAID0 also ein Stripe angelegt, sehr gefährlich wenn eine von beiden HHDs stirbt sind alle Daten weg.
 
Hey Leute,

Hab ein Problem mit der Installation von Pyload auf meinem Microserver, der mit NAS4Free läuft.
Habe die Anleitung aus dem ersten Post befolgt, allerdings funktioniert das Webinterface nicht und Pyload starten kann ich irgendwie auch nicht :(
Habe alle Kommandos kopiert und über Putty eingefügt.

Wäre es möglich eine detaillierte Schritt-für-Schritt Anleitung zu bekommen ? Weil irgendwas hab ich wohl falsch gemacht... :(
Wenn ich pkg_info nach der Installation eingebe, ist Pyload auch nicht unter den installierten Programmen aufgeführt...

Edit:
Hab es jetzt wohl hinbekommen dass ich auf das Webinterface zugreifen kann, kann auch Pyload mit python2.7 pyLoadCore.py starten, allerdings bekomme ich folgende Ausgabe mit Fehlern:

Code:
nas4free: pyload # python2.7 pyLoadCore.py
11.10.2013 22:01:26 INFO      starte pyLoad 0.4.9
11.10.2013 22:01:26 INFO      Benutze Home-Verzeichnis: /root/pyload
11.10.2013 22:01:26 INFO      Checksum: Checksum validation is disabled in general configuration
11.10.2013 22:01:26 INFO      ExtractArchive: Aktiviert UnRar UnZip
11.10.2013 22:01:26 INFO      Aktivierte Plugins: BypassCaptcha, CaptchaTrader, Checksum, ClickAndLoad, ExternalScripts, ExtractArchive, ImageTyperz, LinkdecrypterCom, UnSkipOnFail, UpdateManager, XFileSharingPro
11.10.2013 22:01:26 INFO      Deaktivierte Plugins: AlldebridCom, Captcha9kw, CaptchaBrotherhood, DeathByCaptcha, DownloadScheduler, EasybytezCom, Ev0InFetcher, ExpertDecoders, HotFolder, IRCInterface, MergeFiles, MultiHome, MultishareCz, Premium4Me, PremiumizeMe, RealdebridCom, RehostTo, XMPPInterface, ZeveraCom
11.10.2013 22:01:26 INFO      Downloadzeit: True
11.10.2013 22:01:26 INFO      Starte ThriftBackend: 0.0.0.0:7227
11.10.2013 22:01:26 INFO      Starting threaded webserver: 0.0.0.0:8000
Traceback (most recent call last):
  File "pyLoadCore.py", line 667, in <module>
    main()
  File "pyLoadCore.py", line 658, in main
    pyload_core.start()
  File "pyLoadCore.py", line 412, in start
    self.log.info(_("Free space: %s") % formatSize(spaceLeft))
  File "/usr/home/pyload/pyload/module/utils.py", line 95, in formatSize
    return "%.2f %s" % (size, sizes[steps])
IndexError: list index out of range

Was mach ich falsch ? :(
 
Zuletzt bearbeitet:
Und

Code:
python2.7 pyLoadCore.py --daemon

Klappt nicht wenn du es manuell machst?

Hat dein pyload Verzeichniss volle Rechte für alle User?

Bei der Installation mit:

Code:
python2.7 pyLoadCore.py -s

gab es keine Fehler? Sieht mir nach einem Pyhtonfehler aus.
 
Und

Code:
python2.7 pyLoadCore.py --daemon

Klappt nicht wenn du es manuell machst?
Nein klappt auch nicht.
Es zeigt mir ne PID an, allerdings kann ich nicht auf das Webinterface zugreifen.
Hat dein pyload Verzeichniss volle Rechte für alle User?
Ja wirklich alle Rechte: rwxrwxrwx
Bei der Installation mit:

Code:
python2.7 pyLoadCore.py -s

gab es keine Fehler? Sieht mir nach einem Pyhtonfehler aus.

Mir wären keine Fehler aufgefallen...
Ich glaub ich deinstallier morgen einfach nochmal alle benötigten Pakete und installiere es nochmal neu... sollte ja iwie zum Laufen zu bekommen sein...

So Update:

Alles nochmal deinstalliert, neu installiert. Hat auch nichts gebracht.
Wenn den pyLoadCore.py starte bekomm ich folgende Ausgabe:

Code:
python2.7 pyLoadCore.py
12.10.2013 10:14:57 INFO      starte pyLoad 0.4.9
12.10.2013 10:14:57 INFO      Benutze Home-Verzeichnis: /root/pyload
12.10.2013 10:14:57 INFO      Checksum: Checksum validation is disabled in general configuration
12.10.2013 10:14:57 INFO      ExtractArchive: Aktiviert UnRar UnZip
12.10.2013 10:14:57 INFO      Aktivierte Plugins: BypassCaptcha, CaptchaTrader,Checksum, ClickAndLoad, ExternalScripts, ExtractArchive, ImageTyperz, LinkdecrypterCom, UnSkipOnFail, UpdateManager, XFileSharingPro
12.10.2013 10:14:57 INFO      Deaktivierte Plugins: AlldebridCom, Captcha9kw, Ca ptchaBrotherhood, DeathByCaptcha, DownloadScheduler, EasybytezCom, Ev0InFetcher,                ExpertDecoders, HotFolder, IRCInterface, MergeFiles, MultiHome, MultishareCz, Premium4Me, PremiumizeMe, RealdebridCom, RehostTo, XMPPInterface, ZeveraCom
12.10.2013 10:14:57 INFO      Downloadzeit: True
12.10.2013 10:14:57 INFO      Starte ThriftBackend: 0.0.0.0:7227
12.10.2013 10:14:57 INFO      Starting threaded webserver: 0.0.0.0:8000
Traceback (most recent call last):
  File "pyLoadCore.py", line 667, in <module>
    main()
  File "pyLoadCore.py", line 658, in main
    pyload_core.start()
  File "pyLoadCore.py", line 412, in start
    self.log.info(_("Free space: %s") % formatSize(spaceLeft))
  File "/usr/home/pyload/module/utils.py", line 95, in formatSize
    return "%.2f %s" % (size, sizes[steps])
IndexError: list index out of range
12.10.2013 10:16:30 WARNING   Info Fetching for ShareonlineBiz failed | (48, '')
12.10.2013 10:16:30 INFO      Added package Test containing 1 links
Hab da mal ne Testdatei hochgeladen und probiert die wieder runterzuladen von ShareonlienBiz, aber geht auch nicht...
Auf Webinterface kann ich zugreifen, nur eben nichts downloaden.
 
Zuletzt bearbeitet:
So, habe jetzt eine dritte Platte im System (3xST3000DM001), alle auf ZFS formatiert, aus allen ein virtuelles Device erstellt (mit Enable Advanced Format (4KB sector) ), einen Pool und ein paar Datasets (mit Compression=On, Dedup=Off, Sync=Standard. Access Time (atime)=On, Extended attributes=On) erstellt, diese per SMB geshared und lande bei
Lesen: ca. 105 MB/S, Netzwerkauslastung ca. 100%
Schreiben: ca. 50 MB/s, Netzwerkauslastung ca. 50%

Da 100MB/S möglich sind, nehme ich mal an, dass die Netzwerkverbindung richtig konfiguriert ist (1000baseTX, full duplex). Mit den SMB-Einstellungen habe ich auch schon gespielt und vielleicht 55 MB/s beim Schreiben hinbekommen.

Mache ich irgendwas beim Erstellen des Raid-Z1 falsch?

EDIT: ein rsync --progress auf dem N40L schafft auch nur ca. 40-55 MB/s, scp nach localhost schafft sogar nur ca. 25 MB/s
 
Zuletzt bearbeitet:
@s1m0n

Ich werde es mal versuchen nachzustellen.

@Jason

Du hast eigentlich ja schon alle mögliche probiert. Wie gesagt der einzige Unterschied bei deinem System ist das du das Standard BIOS nutzt. Ich hab bei meinem N36L das Mod BIOS von Anfang an drauf gehabt, das ist eigentlich der einzige Unterschied und ich habe sogar langsamere HDDs verbaut, deine sind mit die schnellsten 7200 rpm HDDs die es aktuell zu kaufen gibt.
 
So, ich habe jetzt noch mal eine Menge Zeit investiert und
- alle Kernel-Tunings rausgenommen
- alle Platten einzeln per UFS formatiert und getestet und dabei die für mich besten SMB-Parameter herausgefunden:
SMB2
Local Master Browser: yes
Time server: yes
Send Buffer Size: 32768
Receive Buffer Size: 262144
Large read/write: yes
Use sendfile: no (wg. SMB2)
Asynchronous I/O (AIO): yes
AIO read size: 4096
AIO write size: 16384

Dann habe ich alle Platten mit UFS formatiert (4KB yes), ein RAID-Z1 aufgebaut und bei den Volumes
Compression: off
Dedup: off
sync: standard
access time: off

angegeben. Die ZFS-Kernel-Tunings für 4GB übernommen und noch kern.maxvnodes = 250000 in die sysctl.conf eingetragen:
vm.kmem_size="3G"
vfs.zfs.arc_max="2560M"
vfs.zfs.arc_min="1024M"
vfs.zfs.txg.timeout="5"
vfs.zfs.txg.write_limit_override="268435456"
vfs.zfs.vdev.min_pending="2"
vfs.zfs.vdev.max_pending="10"
vfs.zfs.prefetch_disable="0"

Damit schreibe ich mit ca. 75-80 MB/Sek und lese auch ungefähr genauso schnell. Mehr scheint nicht drin zu sein, die Platten sind alleine schneller (80 Lesen, 100 Schreiben) und waren alle drei gleich schnell (keine sah nach einem Defekt aus). Wahrscheinlich kostet der Raid-Z1/ZFS einfach Verwaltungsaufwand einfach CPU-Zeit oder erfordert zusätzliche Writes, die dazu führen, dass ich die Gigabit-Schnittstelle nicht mehr auslasten kann.
 
Zuletzt bearbeitet:
Ok das passt nun, mehr als 85 MB/s hatte ich auch nie beim schreiben, nur die 50 MB/s die du vorher hattest waren zu Mager. Wenn du wirklich 100 MB/s und mehr haben willst musst du Solaris, OmniOS oder OpenIndina nehmen, die bieten mehr ZFS Perfomance, aber nicht so einfach mit Zusatzdiensten wie bei NAS4Free, auch wenn es ganz nette WebGUIs ala napp-it gibt. Das UFS Dateisystem ohne RAID ist nativ natürlich schneller als ZFS, da bei ZFS die Datensicherheit im Vordergrund steht.

Aber kleine Frage zum Schluss, die angepassten ZFS Kernelwerte für 8 GB RAM macht dann nun also keine Änderung? Was war der Grund das du die Werte von 4 GB RAM genommen, hast wenn du doch ingesamt 8 GB RAM hast?
 
Das mit 4G/8G ist noch so ein offener Punkt: ich hatte den Verdacht, dass mein RAM ein Problem darstellt (habe noch zwei jails für dlna und pyload auf der Kiste), deswegen habe ich zum Testen die 4G-Werte genommen. Wenn ich noch Mal ein bischen Zeit habe, werde ich die 8G dagegen halten. Ich vermute, dass dann dann Werte irgendwo zwischen 4G und 8G das Ergebnis sein werden.
 
@old-papa

Das ohne ACPI gebootet wird, wurde schon länger geändert, habe aber gerade nicht mehr im Kopf warum das gemacht wurde, aber das sollte schon einen Grund haben.

Würde mich interessieren. Insbesondere, ob das Booten mit ACPI auf einem HP ProLiant MicroServer N54L möglich / sinnvoll / nützlich ist und wie man das dann eben als default aktiviert...

Leider hab ich über die Suche nichts gefunden, wurde das schon geklärt?
 
Würde mich interessieren. Insbesondere, ob das Booten mit ACPI auf einem HP ProLiant MicroServer N54L möglich / sinnvoll / nützlich ist und wie man das dann eben als default aktiviert...

Leider hab ich über die Suche nichts gefunden, wurde das schon geklärt?

Check erst einmal mit in PuttY als root angemeldet auf deinem nas4free System:

Code:
sysctl hw.acpi

was genau alles unterstützt wird. Hier noch ein wenig Lesestoff: freebsd_-_power-management [Wissen]

in der /boot/loader.conf kann man ACPI aktivieren mit:

Code:
acpi_load="YES"

Aber es wird wie ich es öfters gelesen habe aus Stabilitätsgründen empfohlen ohne ACPI FreeBSD zu nutzen, kannst ja mal testen. Ob es dir in irgendeiner Form überhaupt etwas an Stromeinsparung bringt.

Also bevor du etwas am System verstellst, boote einfach mal mit Option 2 bei nas4free mit ACPI und teste ob sich dein Stromverbrauch verkleinert mit einem Messgerät und ob alles noch gut und stabil läuft.
 
Zuletzt bearbeitet:
So Leutz !! ;)

hab mich hier extra angemeldet um Euch die Lösung aller Slow network-speeds von Win7/Vista to Nas/Nas4free etc. zu bringen..;-)

und zwar ist das : "DISABLE REMOTE DIFFERENTIAL COMPRESSION (DRC)" in Win7/Vista !! ("Remoteunterschiedskomprimierung")

heres one article: Disable Remote Differential Compression. | theHTPC.net

hab den tip ursprünglich ausm com-magazin...

müßt also unter Programme-deinstallieren->Windows-Funktionen ein/ausschalten" etc.. die "Remoteunterschiedskomprimierung" ausschalten (gibt auch darüber tausend Artikel im Netz)

hatte selber hier aufm Nas4Free-Server folgendes :

"...i have a 3GHZ Pentium 4 NAS with an 100MBit Realtec 8192 (or something ;-)) LAN-card..(will soon upgrade to 1GBit)

okay normal speeds Nas4Free->Win Vista (Samba/CIFS) : 5-6 MB/s
Nas4Free->Win Vista (WinSCP) : 5-6 MB/s
Win Vista->Nas4Free (Samba/CIFS): 5-6 MB/s
Win Vista->Nas4Free (WinSCP) : 5-6 MB/s

tried MTU-change, prefetch, Jumbo-packets, no improvement..

so, yesterday i disabled the "REMOTE DIFFERENTIAL COMPRESSION (DRC)" in Vista under programm->windows-programs etc. (see article above) and now i have !!! :

DRC off : Nas4Free->Win Vista (Samba/CIFS) : 5-6 MB/s
Nas4Free->Win Vista (WinSCP) : 5-6 MB/s
Win Vista->Nas4Free (Samba/CIFS) : 10-11.2 MB/s !!! (almost maximum on 100MBit-line)
Win Vista->Nas4Free (WinSCP) : 5-6 MB/s
really, no joke !!

so i guess, with a 1GB/s line u can get almost maximum (125MB) from Win->Nas4Free.."


hatte alles versucht, mtu tuning, zfs-tuning, alles käse ;-), das einzige was wirklich was gebracht hat, war dieses "Remoteunterschiedskomprimierung" ausschalten !!

(PS.:so, jetzt müssen wir bloß noch die slownetworkspeed vom nas4free übern Samba(CIFS) raus aufn Win-Rechner hinkriegen..(smb.conf-tuning ?))

Viele Grüße von hier !!
 
Hi,

danke für dein Feedback und den Tipp. :)

Ich kann dir sagen, das dies nicht immer der Grund ist was den Speed angeht - leider. :( Da gibts noch mehr Parameter die man in Windows anpassen kann, aber in der Regel ist das nicht das Problem. Gäbe z.B. noch:

Code:
netsh interface tcp set global autotuninglevel=disable

Damit auch bei längeren Kopiervorgängen die Schreibrate nicht so stark einbricht, aber Achtung nicht einfach eingeben, sondern lieber erst einmal in das Thema einlesen, z.B. SG :: Windows 7, Vista, 2008 Tweaks

Btw. Die Aussage mit den 125MB/s unter 1 GbE ist aber mehr theoretischer Natur, der Samba Server von FreeBSD kommt nie an den Speed von einem Solaris CIFS Server oder den von OmniOS/OpenIndina heran.
 
Hi,

danke für dein Feedback und den Tipp. :)

Ich kann dir sagen, das dies nicht immer der Grund ist was den Speed angeht - leider. :( Da gibts noch mehr Parameter die man in Windows anpassen kann, aber in der Regel ist das nicht das Problem. Gäbe z.B. noch:

Code:
netsh interface tcp set global autotuninglevel=disable

Damit auch bei längeren Kopiervorgängen die Schreibrate nicht so stark einbricht, aber Achtung nicht einfach eingeben, sondern lieber erst einmal in das Thema einlesen, z.B. SG :: Windows 7, Vista, 2008 Tweaks

hallo AG1M !!,

vielen Dank für Deine Antwort und Dein Tip ;-), und na klar gibt es leider wahrscheinlich noch 1000 andere parameter die es einzustellen gäbe (was ich auch hoffe ;-))...

Da ich gerade oben zufällig in der Überschrift "Nas4Free" gelesen habe ;-), bin ich hier ja richtig und Du ja auch gerade meintest "...Samba Server von FreeBSD kommt nie an den Speed von einem Solaris CIFS Server oder den von OmniOS/OpenIndina heran" is doch nu echt, so mal ganz salopp gesagt/gefragt, die Frage warum nicht ?

(stell die Frage auch nur hier in Raum, damit wir hier alle mal ein kleines "HOW-TO" zusammenkriegen das wir dann vllt. sogar ins nächste NasFree-Release (hochgradig wünsch ;-)) einfliessen lassen könnten/anmerken könnten..

Viele Grüße und Danke nochmal von hier !!:)
 
(PS.:so, jetzt müssen wir bloß noch die slownetworkspeed vom nas4free übern Samba(CIFS) raus aufn Win-Rechner hinkriegen..(smb.conf-tuning ?))

Viele Grüße von hier !!

hALLO;

hab mich in den letzten tagen/2 Wochen auch recht viel mit Freenas, Nas4Free od. ZFSGuru rumgeärgert. Bis dato keinerlei Erfahrungen mit ZFS was noch erschwerend dazu kam.
Also ZFS Volume erstellt und mich gewundert wieso ich zum Nas 100% Lanauslastung habe aber zurück nur 10%?

Und das mit recht potentem System mit Xeon 1275 + 16GB Ram + 2x IBM 1015@IT + 2x Intel Expander.

Habe auf Konfigurationsfehler gesetzt und viel Zeit verloren und nur weil ich zufällig einen neuen 3Com Switch hier liegen hatte einfach mal gegen den alten Netgear-Switch ausgetauscht.
Hoppla plötzlich auch in die andere Richtung 100%!! Wieder mit Netgear verkabelt -> 30-40%.
Wieder getauscht -> volle Auslastung.
Also bei mir hat sich der recht alte Switch (~6Jahre) als Bremse rausgestellt. Komischerweise nur in eine Richtung.
Aber wie gesagt, habe viel Zeit verloren.

Bin letztendlich wieder bei Freenas gelandet.
Nas4Free hat (bei mir) einen bösen Bug wenn man nachträglich Platten einbaut. Die Festplattenliste und Formatierenliste ist leider fehlerhaft.
Kann nur noch Platten formatieren die schon einen ZFS Volume zugeordnet sind weil die alte HDD ID jetzt auf die neuen Platten gemappt wurde bzw. andersrum. Bereits bestehende ZFS Volume scheinen aber weiterhin fehlerfrei zu sein. Jedenfalls lässt ein Scrub Durchlauf darauf schliessen.
Unbedingt mal ein Auge draufhaben.
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh