[Sammelthread] ZFS Stammtisch

Interessantes Setup, das scheint mir ein praxisnaher Härtetest zu sein, wie gut wear leveling bei den Sandforce Controllern funktioniert.
Ich habe allerdings nicht begriffen, warum das mit Nearline Platten nicht funktionieren sollte, grade bei streaming workload? Ich hätte das mit 48*1TB Platten und Mirror über zwei shelves realisiert, evtl. noch ein paar Slog devices dazu und keinen Gedanken an Haltbarkeit verschwendet.

cu
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Das System was wir vorher dafür hatten, war ein Apple XSAN Server System mit 4 Gbit/ Fibre Channel. Da die Anforderungen an neue Datenratenintensive Formate wie DNxHD von Avid oder ProRes von Apple allerdings so groß geworden sind und das System andauernd ins Stocken geraten ist bei Parallelen Aufzeichnungen habe ich das System mehr auch aus Kostengründen auf ein SSD only System migriert. Als dann in einem Shelf der Controller kaputt ging war klar es muss etwas neues her.

Als Protokoll wird jetzt SMB verwendet, da die Aufzeichnung nur noch durch Windows Systeme erfolgt. Wozu XSAN nicht kompatibel ist.

Da hier sehr viel mit den Highest Quality Einstellungen gearbeitet wird kommt da schon des öfteren eine sehr hohe Datenmenge zusammen die weggeschrieben werden muss.
Da sich die Client Anzahl die an diesem Storage System angeschlossen ist demnächst auch noch erhöhen wird denke ich das SSDs wohl die richtig Wahl gewesen sind, evtl. sollte ich über noch ein neues Shelf nachdenken.

Ich denke mit Nearline Platten hätte das auch funktioniert, es ging hier um den Kosten/Nutzen Faktor und da ich schon fast damit gerechnet habe, dass demnächst noch neue Aufzeichnungsserver dazukommen. Und diesmal bleibt es wohl auch nicht dabei eine Finale Videospur aufzuzeichnen sondern direkt 5. Also die Finale Videospur + 4 Kamera spuren zum nachträglichen Schnitt. Macht dann ca. 750 Mbit/s von einem Aufzeichnungsserver in einem Studio.
 
Zuletzt bearbeitet:
Würde gern Leuten Zugriff auf meinen Server geben sodass sie bestimmte Datein runterladen können.

Momentan hab ich das mit ftp gemacht und anonymous und die Datein sind verschlüsselt. Hätte es aber gerne so dass man zumindest ein Passwort braucht.

Macht ftp dann überhaupt noch Sinn bzw ist es noch zeitgemäß? Was gibt es für Alternativen? Geht mir halt eher dadrum dass man große Dateien runterladen kann. Resume ist wichtig. Glaube dieses Cloudzeugs ist dafür aber nicht das was ich suche, da gehts ja mehr um Ordnersyncronisation.
 
Zuletzt bearbeitet:
Joa aber soweit ich weiß werden bei FTP mit Benutzerkonten die Daten unverschlüsselt übertragen was IMO irgendwo recht witzlos dann ist.

Ja SFTP wäre ne Alternative vllt, sollte doch in Nappit/OmniOS schon dabei sein oder?

Das ist mit WebDAV? Es würde auch reichen wenn man links generieren könnte die man dann weiter gibt.
 
SFTP macht OpenSSH, also einfach Nutzer anlegen und eventuell Berechtigungen setzen, fertig.
 
Zuletzt bearbeitet:
gea schrieb:
Bei Solaris/OmniOS:

Es gibt Flowcontrol mit flowadm
https://blogs.oracle.com/jsavit/entry/flow_control_in_solaris_11

Es gibt eine Firewall
http://www.napp-it.org/doc/manuals/ipf-howto.pd

Für einen einzelnen Videostream ist das aber alles überflüssig,
bei mehreren Usern/ Videostreams die ruckeln, bringt das aber nichts.
Da hilft nur RAM und schnellere Pools.
Zum Vergrößern anklicken....

Hab es grad versuchen wollen. Allerdings scheitert es weil der minimale Wert 1200K ist den er annimmt. Ich hätte ihn aber gerne auf 800-1000K wegen meiner Internetverbindung.

1200K liegt über meinem Upload und würde mir daher überhaupt nichts nutzen.

Ohne Limitierung wird mein Internet quasi unbenutzbar..

Gibt es eine Möglichkeit sich den Status der HDDs im Webinterface anzeigen zu lassen? Bei Nas4Free gibt es da ja eine Anzeige woman sieht welche HDDs grad im Standby oder Spindown sind
 
Zuletzt bearbeitet:
Servus,

Ich nutze ZFS aktuell auf zwei Maschinen, die mit OmniOS laufen und mit Napp-it ( 09f1 )komplettiert sind.
( running on:SunOS omnios 5.11 omnios-b281e50 )

Replication usw funktioniert alles bestens. Allerdings merke ich jetzt vermehrt, dass das einleisen von Verzeichnissen ewig dauert.
Ist es einmal eingelesen und im Cache, so ist auch das wiederholte Einlesen ohne zeitlichen Versatz; so wie es sein soll.
Die Verzeichnisgröße bzw Menge der Dateien spielt keine Rolle !

Die Kopiergeschwindigkeit allerdings leidet NULL !

Auch die Protokolle AFP/SMB zeigen keinen merklichen Unterschied.

Bringt ein Update auf die neuste OS Version etwas ? Wirken sich Jumboframes in diesem Fall auch als Vorteil aus ?

Bin für Ideen dankbar,

xymos
 
Woran kann es liegen dass mein Pool so langsam ist übers Netzwerk? Komme in etwas auf 60MB/s schreiben und 30MB/s lesen.

Habe ein RaidZ1 aus 4x3TB Seagates Barracuda und den HP Mikroserver N36L. Pool ist zu 84% belegt.

Wenn der Server nichts tut habe ich aber bei "busy (iostat): now, last 10s: 57%, 25% stehen. Während average load 1,5,15min: 0,87% , 0,70%, 0,86% ist.

Und wenn ich etwas lösche, eine große Datei oder viel kleine gönnt sich der Pool eine Art "denkpause" und ist für mehrere Sekunden dann auf "100%". Ist das normal?
 
Zuletzt bearbeitet:
Dacht ich mir beim Denkpausen-Zusatz auch. Zumal 84% Poolbelegung schon grenzwertig klingen, da wird natürlich die Fragmentierung bei neuen Dateien stark zunehmen. Sollte allerdings die alten nicht groß beeinflussen....
 
Hallo, ich habe eine Frage:

Ich würde gerne wissen, ob ich per ProxMox einen ZFS-System anlegen kann, um dort für die verschiedenen VMs DataStores anzulegen oder ob es sinnvoller ist das ZFS-System mit einer VM anzulegen und den Controller an die VM druchzureichen, um dann nachträglich Storage an Proxmox wieder weiter zu geben,z.B. per NFS oder iSCSi-Target.

Mit ZFS habe ich bis jetzt nur mal mit FreeNAS zu tun gehabt. Deswegen wäre für mich vor allem ein einfach zu verwaltendes System toll. Proxmox, hatte ich jetzt ein halbes Jahr lang nicht genutzt. Zwischenzeitlich war ich da mit ESXi unterwegs, aber mir gefällt das Proxmox-Konzept eigentlich ganz gut - vor allem weil Debian so mit die einzige Distribution ist, mit der ich mich etwas besser auskenne.

Wie immer: Alles zu Hause, aus Spaß an der Bastelie und kein Produktivsystem. Zumindest noch nicht :)
Tipps für mich als Einsteiger?

EDIT:
We just released Proxmox VE 3.3, introducing great new features and security enhancements! Including the new HTML5 Console, Proxmox VE Firewall, Two-Factor Authentication, ZFS storage plugin, Proxmox VE Mobile interface for mobile touch devices and more!

Check our short video tutorial - What´s new in Proxmox VE 3.3!

A big Thank-you to our active community for all feedback, testing, bug reporting and patch submissions.

Release notes
http://pve.proxmox.com/wiki/Roadmap#Proxmox_VE_3.3

Video Tutorials
http://www.proxmox.com/training/video-tutorials

Download
http://www.proxmox.com/downloads/category/iso-images-pve

Package Repositories
http://pve.proxmox.com/wiki/Package_repositories
__________________
Best regards,

Martin Maurer
Proxmox VE project leader
Zum Vergrößern anklicken....
 
Zuletzt bearbeitet:
Dedup hab ich nie benutzt. Habe mit H2benchw getestet. Allerdings erreiche ich beim Explorer deutlich höhere Werte.
 
Lies doch bitte einfach mal was das ZFS-Plugin überhaupt ist und wofür es da ist, dann würdest du hier auch nicht so überflüssige Fragen stellen. :rolleyes:
 
Jetzt weiss ich das ich mit dem plugin für die vms isci storage anlegen kann in zfs pools.

Weiss jetzt immer nich nicht wie ich das in eine maschiene bekomme...
 
Zuletzt bearbeitet:
Er zickt nicht er ist so direkt :) Ohne ihn wäre das Lesen hier manchmal langweilig *grins*

Ich werde mir in meinem Urlaub auch mal Proxmox 3.3 anschauen in Verbindung mit ZFS.
 
Ich kann Ihn ja auch verstehen - nur ist das eben doch alles Neuland für mich. Da stellt man eben auch mal unnötige Fragen.

Wenn du was gemacht hast LichtiF, sag doch mal Bescheid, würd mich interessieren. Ich warte noch auf meinen neuen Controller.
 
*grins* Er ist halt ein Linuxianer ....

Ich bin zwar schon ewig und 3 Tage Admin aber Linux haben wir hier so gut wie gar nicht im Einsatz (öffentliche Verwaltung halt mit Kollegen in Blauer Uniform) *grins*

Werde ich berichten bin immer noch am Testen was für mich zuhause am besten ist :)
 
LichtiF schrieb:
Ich bin zwar schon ewig und 3 Tage Admin aber Linux haben wir hier so gut wie gar nicht im Einsatz (öffentliche Verwaltung halt mit Kollegen in Blauer Uniform) *grins*
Werde ich berichten bin immer noch am Testen was für mich zuhause am besten ist :)
Zum Vergrößern anklicken....

Geht mir genau so.Aber nicht in Blau, sondern im Anzug :)
 
Tut sich bei smb noch was ,? Samba ist da ja anscheinend schon deutlich weiter. Smb Multichannel wäre wünschenswert
 
Was hält dich davon ab einfach ein aktuelles Samba zu verwenden? ;)
 
Zuletzt bearbeitet:
Meinst du SMB von OpenSolaris/illumos oder die Samba-Entwicklung?
Ich hatte mal in der illumos ZFS mailing list nachgefragt ob jemand den OpenSolaris weiterentwickelt, da er meines Wissens nur SMB v1 kann. Nexenta arbeitet aktuell am SMB Kernel. Im Q4 soll NexentaStor mit SMB v3.1 unterstütztung rauskommen. So weit ich weiss sind die Entwickler durchaus bereit den neuen smb-Kernel in den originalen Illumos upstream zu portieren - aber nur mit Hilfe/Unterstützung von anderen freiwilligen Helfern die Ahnung haben :).

Hier mal ein Auszug aus der Email die ich erhalten habe:


There are now two branches in github that might interest you:

https://github.com/gwr/illumos-gate/tree/smbsrv2-orig-order
is a "git cherry-pick" of all the SMB server changes and
dependent changes in other parts of illumos, in the
original order they appeared in illumos-nexenta.

https://github.com/gwr/illumos-gate/tree/smbsrv2-rework
is the result of many "git rebase" operations to reorder
and squash commits so that related works go together.

In the "rework" branch, there are several XXXX markers,
and those are the points at which I suggest trying to
get these pushed upstream to illumos.

This github comparison is a handy summary:
https://github.com/gwr/illumos-gate/compare/smbsrv2-rework

So, you game? Let me know if you need help!
 
Meinst du SMB von OpenSolaris/illumos
Zum Vergrößern anklicken....
Ja genau den. Das ist doch quasi noch die Version von Windows Vista aktuell wenn ich mich nicht irre.

Im Q4 soll NexentaStor mit SMB v3.1 unterstütztung rauskommen.
Zum Vergrößern anklicken....
Das glaube ich kaum denn 3.0 ist das aktuellste soweit ich weiß.

Multichannel wäre ganz praktisch so könnte man mehrere Netzwerkkarten parallel nutzen
 
Zuletzt bearbeitet:
woran kann es liegen dass die Last nicht gleich verteilt ist bei einem Mirror aus 2 HDDs? Habe bei busy einmal 6% und bei der anderen 14% Auslastung, geschrieben wird aber anscheinend gleichschnell auf beiden. Teilweise steigt es auch auf 20% und 4%
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
880
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
592
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
533
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
309
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh