GeneralAdministration
The pkg Command #
Your main interface to IPS packages is via the pkg(1) command. It is similar in function to apt or yum, in that it both manages local package manipulation as well as locating and querying available packages from a repository.
Review the pkg(1) man page for details. Here are some common tasks.
Configure Publishers #
List configured publishers: pkg publisher
Add a publisher: pkg set-publisher -g http://pkg.omniti.com/omniti-ms/ ms.omniti.com
Remove a publisher: pkg unset-publisher ms.omniti.com
XAMPP ist nicht per se unsicher. Es ist aber als Entwicklungsumgebung gedacht und daher
ist alles dabei und zunächst offen (und geht damit sofort.) Es sind noch nichtmal Passworte z.B. für mySQL gesetzt.
Produktiv würde ich es aber nicht nehmen da die Updates zu selten und einfach zu viel dabei ist.
Um eine eigene Installation abzusichern sind aber die gleichen Überlegungen notwendig wie bei XAMPP.
(Minimale Dienste und Module installieren, Passworte, Zugriffsschutz auf Ordner etc)
The pkg Command #
Your main interface to IPS packages is via the pkg(1) command. It is similar in function to apt or yum, in that it both manages local package manipulation as well as locating and querying available packages from a repository.
Review the pkg(1) man page for details. Here are some common tasks.
Configure Publishers #
List configured publishers: pkg publisher
Add a publisher: pkg set-publisher -g http://pkg.omniti.com/omniti-ms/ ms.omniti.com
Remove a publisher: pkg unset-publisher ms.omniti.com
XAMPP ist nicht per se unsicher. Es ist aber als Entwicklungsumgebung gedacht und daher
ist alles dabei und zunächst offen (und geht damit sofort.) Es sind noch nichtmal Passworte z.B. für mySQL gesetzt.
Produktiv würde ich es aber nicht nehmen da die Updates zu selten und einfach zu viel dabei ist.
Um eine eigene Installation abzusichern sind aber die gleichen Überlegungen notwendig wie bei XAMPP.
(Minimale Dienste und Module installieren, Passworte, Zugriffsschutz auf Ordner etc)
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Also ich bin auch am überlegen owncloud auf OmniOS laufen zu lassen. Allerdings kenn ich mich wenig mit OmniOS bzw Unix/Solaris aus so dass ich vor der Entscheidung stehe entweder alles einzelnt selber zu installieren, wo ich mich erstmal massiv reinarbeiten müssen oder XAMPP zu nehmen und es abzusichern. Gibt auf Computerbase nen Thread dazu. Denke mit XAMPP käme ich schneller zum Ziel und würde selbst da immer noch genug Zeit investieren müssen.
Was heißt für dich "produktiv" Gea ? Also ich will es beispielsweise privat einsetzen für OwnCloud, plane jetzt kein OnlineShop darüber laufen zu lassen oder sonst was.
Was eventuell auch noch möglich wäre ist die Owncloud nur im eigenen LAN bereitzustellen und nicht von außen direkt erreichbar zu machen und dann je nach Bedarf von außerhalb ne VPN Verbindung aufbauen.
Gibts eigentlich irgendeinen VPN Server der empfehlenswert für OmniOS mit nappit ist? Oder ist sowas schon gar irgendwo mit dabei bei OmniOS ?
Was wenn man den FTP Server in XAMPP nutzen möchte? Ich es auch unsicher hier XAMPP zu nehmen und dann einfach nur den einen Port im Router für ftp weiterzuleiten?
Was heißt für dich "produktiv" Gea ? Also ich will es beispielsweise privat einsetzen für OwnCloud, plane jetzt kein OnlineShop darüber laufen zu lassen oder sonst was.
Was eventuell auch noch möglich wäre ist die Owncloud nur im eigenen LAN bereitzustellen und nicht von außen direkt erreichbar zu machen und dann je nach Bedarf von außerhalb ne VPN Verbindung aufbauen.
Gibts eigentlich irgendeinen VPN Server der empfehlenswert für OmniOS mit nappit ist? Oder ist sowas schon gar irgendwo mit dabei bei OmniOS ?
Was wenn man den FTP Server in XAMPP nutzen möchte? Ich es auch unsicher hier XAMPP zu nehmen und dann einfach nur den einen Port im Router für ftp weiterzuleiten?
Zuletzt bearbeitet:
Produktiv heisst, es wird Geld oder Ansehen verloren, wenn etwas schief geht.
Apache oder mySQL unter Unix/Solaris zu installieren ist kein Problem.
OwnCoud, Apache und mySQL mit allen Abhängigkeiten und Extras zu konfigurieren schon eher (es soll z.B. Probleme mit ZIP und PHP geben). Aber ein funktinierendes Howto und/oder ein setup-script wäre sicher etwas feines.
VPN kann man sicher irgendwie zum Laufen bringen, ist aber sicher auch nicht ganz trivial. Ich nehme dazu Watchguard@work und würde @home erst mal schauen, ob der Router etwas dazu bietet.
Ftp mit Xampp ist nicht unsicherer als ftp ohne Xampp. Muss halt alles konfiguriert weren.
Als Alternative gibt es noch:
ESXi als Basis (All in One oder separater VM Server und Storage Server)
- OmniOS VM als Storage
- weitere VMs mit beliebigem OS nach Wahl für VPN, OwnCloud, Mediaserver, Banking etc
Zuletzt bearbeitet:
Ich würd gern iperf auf meinem omnios installieren...
Hier hab ich das Paket gefunden:
Aber wie krieg ich diese Quelle eingebunden?
Das geht nicht:
pkg set-publisher -g http://pkgsrc.smartos.org/packages/illumos/2013Q1/ smartos
Wird das Paket überhaupt funktionieren?
Wie komm ich sonst an iperf?
Danke für eure Hilfe!
Hier hab ich das Paket gefunden:
Aber wie krieg ich diese Quelle eingebunden?
Das geht nicht:
pkg set-publisher -g http://pkgsrc.smartos.org/packages/illumos/2013Q1/ smartos
Wird das Paket überhaupt funktionieren?
Wie komm ich sonst an iperf?
Danke für eure Hilfe!
Zuletzt bearbeitet:
Das kann so nicht funktionieren, da Smartos ein anderes packaging Verfahren benutzt (pkgsrc).
Installiert wird bei pkgsrc so: pkgsrc binary packages for illumos
Da es sich aber um Binaries (ausführbare Programme) handelt, kann man auch einfach das File herunterladen, mit 7-ZIP auspacken und das darin enthaltene Binary nutzen. Per default installiert pkgsrc alle Programme nach /opt/local
Kann mir bitte jemand erklären, was der Wert
vfs.zfs.prefetch_disable="1"
genau bedeutet?
Ich habe ein paar Tests mit Nas4Free gemacht, und standardmässig steht das so in der loader.conf
Wenn ich das allerdings auf "0" stelle, erhöht sich die Leseperformance um fast 50% bei meinem Raid1 Pool.
Ich hätte nur gerne gewusst, an was ich da rumstelle, hab irgendwie nix dazu gefunden was es mir genau eklärt.
vfs.zfs.prefetch_disable="1"
genau bedeutet?
Ich habe ein paar Tests mit Nas4Free gemacht, und standardmässig steht das so in der loader.conf
Wenn ich das allerdings auf "0" stelle, erhöht sich die Leseperformance um fast 50% bei meinem Raid1 Pool.
Ich hätte nur gerne gewusst, an was ich da rumstelle, hab irgendwie nix dazu gefunden was es mir genau eklärt.
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Ja an den Problemen mit zip und php bin ich auch gescheitert. An Esxi habe ich auch gedacht, soll aber auf einem Server dann laufen nämlich dem Microserver.
Meine Idee sah so aus eine OmniOS VM zu machen als Storage Server. Ein RaidZ1 aus 3 3TB Platten als Speicherplatz für Filme/Musik/Backup etc durchgereift per RDM.
Die VMs selber will ich aber im Gegensatz zu deinem AiO Konzept auf einer einfachen SSD lagern. Eventuell dann noch einen Datastore durchgereicht zu OmniOS um ZFS Sicherheit zu bekommen und dann wieder freigegeben für beispielsweise als datenablageort für die Owncloud Daten von einer Owncloud VM. Für Owncloud gibts hier sogar schon ne fertige VM habe ich mal gesehen.
Einzige Sache die hier nicht ganz so schön wäre, ist das mit dem RDM. Weiß nicht obs empfehlenswert erscheint.
Ich habe es nicht probiert, aber unter Index of /packages/illumos/2013Q1/All/ gibt es ein Zip-Modul für PHP unter OmniOS als Binary.
Ansonsten wird RDM vermutlich etwas langsamer sein als Hardware-Passthrough, wird kein hotplug können und smartmontools werden auch nicht gehen.
CommanderBond
Enthusiast
- Mitglied seit
- 16.04.2012
- Beiträge
- 703
Bekomme Mediatomb nicht ans Laufen. Im Log steht
installiert
hab es ganz normal über wget -O - www.napp-it.org/mediatomb | sh
installiert
Ich hätt mir gar nicht diese Mühe mit der Suche nach iperf für omnios machen müssen - liegt nach der napp-it-installation ganz brav in "/var/web-gui/data/tools/iperf/iperf" ... 
So, nun zum nächsten Problem...
Weil ich mit der Geschwindigkeit der ESX-Datastores über NFS auf meine OmniOS-napp-it-VM nicht zufrieden war, dachte ich mir, ich aktiviere mal Jumbo-Frames.
1. Die Aktivierung auf einem ESX-NFS-vSwitch war ja noch einfach...
2. ebenso einfach auf dem Switch HP 1810 ... (für 2. ESX und Backup-SAN)
3. aber nicht so einfach auf OmniOS für vmxnet3-Adapter! Eh ich mir alles zusammengelesen und ausprobiert hatte - Jahre!
Leider hab ich mir die Schritte nicht notiert. 
Kurz meine Netz-Konfiguration:
- "normaler" vSwitch0 (mit Haken Verwaltungsdatentransfer) mit ext. NIC vmnic0 ohne JF
- in der SAN-VM sind 2 vmxnet3-Adapter - der erste zur "normalen" Kommunikation (also Management und CIFS-Freigaben), der zweite zur NFS- und Backup-Kommunikation
- vmxnet3s0 an "normalen" vSwitch1 (ohne Haken Verwaltungsdatentransfer) mit ext. NIC vmnic1 ohne JF (192.168.3.61)
- vmxnet3s1 an separaten NFS-vSwitch2 (mit Haken Verwaltungsdatentransfer) mit ext. NIC vmnic2 auf JF konfiguriert (192.168.4.61)
- NFS-Datastore konfiguriert auf 192.168.4.61:/pool/nfs
Nun das Phänomen: es hat funktioniert - aber der NFS-Verkehr lief über vmxnet3s0/vmnic1 zum HP-Switch und wieder in vmnic0/vSwitch0 rein...
Das hab ich nicht verstanden...
Also kurzerhand über napp-it vmxnet3s0 deaktiviert und jetzt blieb der NFS-Verkehr im ESX. Auch nach der Reaktivierung alles bestens...
Die nächste Überraschung heute, nachdem ich den ESX ausnahmsweise in der Nacht heruntergefahren hatte und heute wieder startete.
Von den 3 NFS-Datastores verschwanden 2 immmer wieder temporär, der Zugriff auf diese per "Datenspeicher durchsuchen" war dennoch möglich. Aber keine VM wollte starten.
Nach einiger Testerei fand ich heraus, dass JF-Pings zwar vom SAN zum ESX funktionierten, aber nicht umgekehrt. Eigentlich müssten ja dann die NFS-DS komplett weg sein...
Also auf SAN-Konsole Folgendes nochmals eingetippt:
ndd -set /dev/vmxnet3s1 accept-jumbo 1
Voila! Alles okay!
Nun endlich kommen wir zur eigentlichen Frage!
Nach einem SAN-Neustart ist diese Einstellung wieder verschwunden. Wo/wie bringe ich dem OmniOS bei, sich diese Einstellung zu merken?
So, nun zum nächsten Problem...
Weil ich mit der Geschwindigkeit der ESX-Datastores über NFS auf meine OmniOS-napp-it-VM nicht zufrieden war, dachte ich mir, ich aktiviere mal Jumbo-Frames.
1. Die Aktivierung auf einem ESX-NFS-vSwitch war ja noch einfach...
2. ebenso einfach auf dem Switch HP 1810 ... (für 2. ESX und Backup-SAN)
3. aber nicht so einfach auf OmniOS für vmxnet3-Adapter! Eh ich mir alles zusammengelesen und ausprobiert hatte - Jahre!
Leider hab ich mir die Schritte nicht notiert. Kurz meine Netz-Konfiguration:
- "normaler" vSwitch0 (mit Haken Verwaltungsdatentransfer) mit ext. NIC vmnic0 ohne JF
- in der SAN-VM sind 2 vmxnet3-Adapter - der erste zur "normalen" Kommunikation (also Management und CIFS-Freigaben), der zweite zur NFS- und Backup-Kommunikation
- vmxnet3s0 an "normalen" vSwitch1 (ohne Haken Verwaltungsdatentransfer) mit ext. NIC vmnic1 ohne JF (192.168.3.61)
- vmxnet3s1 an separaten NFS-vSwitch2 (mit Haken Verwaltungsdatentransfer) mit ext. NIC vmnic2 auf JF konfiguriert (192.168.4.61)
- NFS-Datastore konfiguriert auf 192.168.4.61:/pool/nfs
Nun das Phänomen: es hat funktioniert - aber der NFS-Verkehr lief über vmxnet3s0/vmnic1 zum HP-Switch und wieder in vmnic0/vSwitch0 rein...
Das hab ich nicht verstanden...
Also kurzerhand über napp-it vmxnet3s0 deaktiviert und jetzt blieb der NFS-Verkehr im ESX. Auch nach der Reaktivierung alles bestens...
Die nächste Überraschung heute, nachdem ich den ESX ausnahmsweise in der Nacht heruntergefahren hatte und heute wieder startete.
Von den 3 NFS-Datastores verschwanden 2 immmer wieder temporär, der Zugriff auf diese per "Datenspeicher durchsuchen" war dennoch möglich. Aber keine VM wollte starten.
Nach einiger Testerei fand ich heraus, dass JF-Pings zwar vom SAN zum ESX funktionierten, aber nicht umgekehrt. Eigentlich müssten ja dann die NFS-DS komplett weg sein...
Also auf SAN-Konsole Folgendes nochmals eingetippt:
ndd -set /dev/vmxnet3s1 accept-jumbo 1
Voila! Alles okay!
Nun endlich kommen wir zur eigentlichen Frage!
Nach einem SAN-Neustart ist diese Einstellung wieder verschwunden. Wo/wie bringe ich dem OmniOS bei, sich diese Einstellung zu merken?
OmniOS = Oracle Solaris Express 11 (mal mehr, mal weniger, meistens aber identisch)
also am besten Oracle Solaris Doku zu dladm lesen
Setting Datalink Properties - Oracle Solaris Administration: Network Interfaces and Network Virtualization
also am besten Oracle Solaris Doku zu dladm lesen
Setting Datalink Properties - Oracle Solaris Administration: Network Interfaces and Network Virtualization
Hi,
ich überlege gerade mein Storage vom All in One in einen separaten Server umzuziehen. Ich würde dazu ganz gerne auf eine möglichst sparsame Plattform setzen, wobei ECC auf jeden Fall unterstützt werden sollte und AES-NI eigentlich auch mehr oder weniger Pflicht ist. Eigentlich bin ich ein Freund von Intel, aber evtl. sollte ich bei diesem Projekt auch mal zu AMD schielen. Habr ihr konkrete Tipps? Normalerweise würde ich auf den Standardtipp setzen mit Supermicro Board um Xeon, aber ein bisschen weniger Verbrauch wäre schon ganz nett.
ich überlege gerade mein Storage vom All in One in einen separaten Server umzuziehen. Ich würde dazu ganz gerne auf eine möglichst sparsame Plattform setzen, wobei ECC auf jeden Fall unterstützt werden sollte und AES-NI eigentlich auch mehr oder weniger Pflicht ist. Eigentlich bin ich ein Freund von Intel, aber evtl. sollte ich bei diesem Projekt auch mal zu AMD schielen. Habr ihr konkrete Tipps? Normalerweise würde ich auf den Standardtipp setzen mit Supermicro Board um Xeon, aber ein bisschen weniger Verbrauch wäre schon ganz nett.
Bzzz
Enthusiast
Reicht, wenn du diese Seite mal raufscrollst...
Also derzeit ist Intel bel gleichem Takt schneller oder bei gleicher Performance energiesparsamer als AMD.
Eine ideale CPU zum Sparen, die Xeon-L Serie, z.B. E3-1220LV2 (DualCore Xeon, 17W, Sockel 1150) , reicht für ein SAN oder NAS locker aus. (Ich nehme den auch für mein All-In-One @home.)
Hast du da evtl. auch ein paar vergleichende Verbrauchswerte? Mich würde vor allem Interessieren wie sehr sich die zwei Kerne weniger gegenüber meinem 1230v2 im IDLE bemerkbar machen. Problematisch sehe ich auch ein bisschen den Mehrverbrauch vom IPMI, einerseits will ich das im Problemfall nicht missen, andererseits gehen dafür auch wieder ein paar Watt drauf :-/
Leider gibt die Oracle-Doku auch nach dem 5. Lesen nichts zu ndd her... 
Auch "man ndd" ist nicht soooo berauschend.
Ich versteh trotzdem nicht, warum die Einstellung nicht permanent gemacht werden kann, habe mir nun aber so beholfen:
Script "/etc/init.d/vmxnet3s"
dann:
Ich hoffe das Startskript läuft, hab das SAN noch nicht neu gestartet...
Mich würden trotzdem einige Sachen interessieren:
-Was bewirkt diese Option genau? Daß JF empfangen werden können? Das sollte doch eigentlich mit der normalen Einstellung erledigt sein! Wenn man MTU=9000 setzt, will man die doch auch logischerweise empfangen können - oder nicht?
-Was kann man noch so für schöne Sachen konfigurieren mit "ndd -set /dev/vmxnet3s" ?
Leider funzt "ndd -get /dev/vmxnet3s ?" nicht. Weder so, noch als vmxnet3s0 oder 1, noch mit "?" oder ohne oder mit "\" davor.
-In "/kernel/drv/vmxnet3s.conf" kann man noch einiges konfigurieren. Ein VMwareKB-Artikel VMware KB: The output of esxtop shows dropped receive packets at the virtual switch sagt, man solle evtl. RX-Rings bzw. -Buffer erhöhen. Ist das sinnvoll?
Bis denne
Auch "man ndd" ist nicht soooo berauschend.Ich versteh trotzdem nicht, warum die Einstellung nicht permanent gemacht werden kann, habe mir nun aber so beholfen:
Script "/etc/init.d/vmxnet3s"
Code:
#!/sbin/sh
#
/usr/sbin/ndd -set /dev/vmxnet3s1 accept-jumbo 1
Code:
ln -s /etc/init.d/vmxnet3s /etc/rc2.d/S99vmxnet3sIch hoffe das Startskript läuft, hab das SAN noch nicht neu gestartet...
Mich würden trotzdem einige Sachen interessieren:
-Was bewirkt diese Option genau? Daß JF empfangen werden können? Das sollte doch eigentlich mit der normalen Einstellung erledigt sein! Wenn man MTU=9000 setzt, will man die doch auch logischerweise empfangen können - oder nicht?
-Was kann man noch so für schöne Sachen konfigurieren mit "ndd -set /dev/vmxnet3s" ?
Leider funzt "ndd -get /dev/vmxnet3s ?" nicht. Weder so, noch als vmxnet3s0 oder 1, noch mit "?" oder ohne oder mit "\" davor.
-In "/kernel/drv/vmxnet3s.conf" kann man noch einiges konfigurieren. Ein VMwareKB-Artikel VMware KB: The output of esxtop shows dropped receive packets at the virtual switch sagt, man solle evtl. RX-Rings bzw. -Buffer erhöhen. Ist das sinnvoll?
Bis denne
Konfigurieren per initscript sollte funktionieren.
In älteren Solarisversionen war es auch üblich, Konfigurationen per ifconfig und ndd vorzunehmen und durch ein Configfile per Nic in /etc dauerhaft zu machen.
Aktuell werden dazu admintools benutzt. Damit kann man temporäre oder dauerhafte (-p) Änderungen vornehmen.
Comparison Map: ndd and ipadm Commands - Connecting Systems Using Fixed Network Configuration in Oracle Solaris 11.1
Network Configuration Tools - Connecting Systems Using Fixed Network Configuration in Oracle Solaris 11.1
In älteren Solarisversionen war es auch üblich, Konfigurationen per ifconfig und ndd vorzunehmen und durch ein Configfile per Nic in /etc dauerhaft zu machen.
Aktuell werden dazu admintools benutzt. Damit kann man temporäre oder dauerhafte (-p) Änderungen vornehmen.
Comparison Map: ndd and ipadm Commands - Connecting Systems Using Fixed Network Configuration in Oracle Solaris 11.1
Network Configuration Tools - Connecting Systems Using Fixed Network Configuration in Oracle Solaris 11.1
Morpheus2200
Semiprofi
- Mitglied seit
- 04.08.2001
- Beiträge
- 30.945
So meine Hardware ist auch endlich angekommen und die ZFS Tests können beginnen.
Ist ein DELL R720xd geworden mit 2 Xeon E5-2650 und 128GB RAM. Daneben sieht die Plattenkonfiguration für den Anfang etwas mager aus. 2x320GB fürs System und 8x1TB(hält die Supportkosten niedrig) SAS die alle als RAID0 in einem PERC H710 konfiguriert sind.
ZFS macht dann über 4 mirrors nen stripe, wie hier im Forum empfohlen wurde.
OS ist Nexentastor 3.1.4.
Mein erster Eindruck ist gut, erscheint mir alles ein bisschen ausgereifter als die Linux ZFS implementierugen, die ich mir vor einiger zeit mal angesehen habe. Compression und dedup sind verfügbar und funktionieren bisher wunderbar. Für ernstzunehmende lasttests fehlt mir noch die Netzwerkinfrastruktur, im mom hängt das alles noch an einem GBit uplink, eine Schande für so ein Storagesystem, aber 15 Clients die mit bonnie per NFS für last bekommen den Durchsatz, den das Netzwerkinterface zulässt und das Storage wirkt als würde es sich langweilen.
Mit der Netzwerkinfrastruktur wirds noch was dauern, daher habe ich mal lokal mit iozone getestet, hier die Ergebnisse.
Command line used: iozone -ec -r 32 -s 262052m -l 2 -i 0 -i 1 -i 8
Output is in Kbytes/sec
Time Resolution = 0.000001 seconds.
Processor cache size set to 1024 Kbytes.
Processor cache line size set to 32 bytes.
File stride size set to 17 * record size.
Min process = 2
Max process = 2
Throughput test with 2 processes
Each process writes a 268341248 Kbyte file in 32 Kbyte records
Children see throughput for 2 initial writers = 628266.12 KB/sec
Parent sees throughput for 2 initial writers = 566363.70 KB/sec
Min throughput per process = 291552.38 KB/sec
Max throughput per process = 336713.75 KB/sec
Avg throughput per process = 314133.06 KB/sec
Min xfer = 232352640.00 KB
Children see throughput for 2 rewriters = 103000.90 KB/sec
Parent sees throughput for 2 rewriters = 102990.42 KB/sec
Min throughput per process = 50429.82 KB/sec
Max throughput per process = 52571.08 KB/sec
Avg throughput per process = 51500.45 KB/sec
Min xfer = 257461632.00 KB
Children see throughput for 2 readers = 958121.97 KB/sec
Parent sees throughput for 2 readers = 958107.47 KB/sec
Min throughput per process = 470338.41 KB/sec
Max throughput per process = 487783.56 KB/sec
Avg throughput per process = 479060.98 KB/sec
Min xfer = 258740864.00 KB
Children see throughput for 2 re-readers = 957087.59 KB/sec
Parent sees throughput for 2 re-readers = 957070.62 KB/sec
Min throughput per process = 470489.53 KB/sec
Max throughput per process = 486598.06 KB/sec
Avg throughput per process = 478543.80 KB/sec
Min xfer = 259454592.00 KB
Children see throughput for 2 mixed workload = 6917.51 KB/sec
Parent sees throughput for 2 mixed workload = 6280.49 KB/sec
Min throughput per process = 3265.69 KB/sec
Max throughput per process = 3651.82 KB/sec
Avg throughput per process = 3458.75 KB/sec
Min xfer = 239968192.00 KB
Mich würde interessieren, ob die Ergebnisse in etwa in dem Bereich liegen, den man erwartet, oder ob der RAID-controller hier bremst.
Ist ein DELL R720xd geworden mit 2 Xeon E5-2650 und 128GB RAM. Daneben sieht die Plattenkonfiguration für den Anfang etwas mager aus. 2x320GB fürs System und 8x1TB(hält die Supportkosten niedrig) SAS die alle als RAID0 in einem PERC H710 konfiguriert sind.
ZFS macht dann über 4 mirrors nen stripe, wie hier im Forum empfohlen wurde.
OS ist Nexentastor 3.1.4.
Mein erster Eindruck ist gut, erscheint mir alles ein bisschen ausgereifter als die Linux ZFS implementierugen, die ich mir vor einiger zeit mal angesehen habe. Compression und dedup sind verfügbar und funktionieren bisher wunderbar. Für ernstzunehmende lasttests fehlt mir noch die Netzwerkinfrastruktur, im mom hängt das alles noch an einem GBit uplink, eine Schande für so ein Storagesystem, aber 15 Clients die mit bonnie per NFS für last bekommen den Durchsatz, den das Netzwerkinterface zulässt und das Storage wirkt als würde es sich langweilen.
Mit der Netzwerkinfrastruktur wirds noch was dauern, daher habe ich mal lokal mit iozone getestet, hier die Ergebnisse.
Command line used: iozone -ec -r 32 -s 262052m -l 2 -i 0 -i 1 -i 8
Output is in Kbytes/sec
Time Resolution = 0.000001 seconds.
Processor cache size set to 1024 Kbytes.
Processor cache line size set to 32 bytes.
File stride size set to 17 * record size.
Min process = 2
Max process = 2
Throughput test with 2 processes
Each process writes a 268341248 Kbyte file in 32 Kbyte records
Children see throughput for 2 initial writers = 628266.12 KB/sec
Parent sees throughput for 2 initial writers = 566363.70 KB/sec
Min throughput per process = 291552.38 KB/sec
Max throughput per process = 336713.75 KB/sec
Avg throughput per process = 314133.06 KB/sec
Min xfer = 232352640.00 KB
Children see throughput for 2 rewriters = 103000.90 KB/sec
Parent sees throughput for 2 rewriters = 102990.42 KB/sec
Min throughput per process = 50429.82 KB/sec
Max throughput per process = 52571.08 KB/sec
Avg throughput per process = 51500.45 KB/sec
Min xfer = 257461632.00 KB
Children see throughput for 2 readers = 958121.97 KB/sec
Parent sees throughput for 2 readers = 958107.47 KB/sec
Min throughput per process = 470338.41 KB/sec
Max throughput per process = 487783.56 KB/sec
Avg throughput per process = 479060.98 KB/sec
Min xfer = 258740864.00 KB
Children see throughput for 2 re-readers = 957087.59 KB/sec
Parent sees throughput for 2 re-readers = 957070.62 KB/sec
Min throughput per process = 470489.53 KB/sec
Max throughput per process = 486598.06 KB/sec
Avg throughput per process = 478543.80 KB/sec
Min xfer = 259454592.00 KB
Children see throughput for 2 mixed workload = 6917.51 KB/sec
Parent sees throughput for 2 mixed workload = 6280.49 KB/sec
Min throughput per process = 3265.69 KB/sec
Max throughput per process = 3651.82 KB/sec
Avg throughput per process = 3458.75 KB/sec
Min xfer = 239968192.00 KB
Mich würde interessieren, ob die Ergebnisse in etwa in dem Bereich liegen, den man erwartet, oder ob der RAID-controller hier bremst.
GrafikTreiber
Enthusiast
- Mitglied seit
- 25.12.2005
- Beiträge
- 1.529
Wozu braucht man für 4TB Storage 2 Xeon E5-2650 und 128GB RAM? Das ist wie mit KanonenAtombomben auf Spatzen schießen. 
Du machst den Noobs hier noch Angst ZFS könnte auf ihrem Microserver gar nicht laufen.
Den Controller solltest du unbedingt in den IT-Modus (Initiator-Target) bringen damit ZFS direkten Zugriff auf die Festplatten hat, müsste ein LSI SAS 2208 sein. Der RAID-Modus ist Murks, du kannst so in der Regel auch keine SMART-Werte abfragen.
Compression ist eigentlich immer sinnvoll, Dedup nur in Spezialfällen. Haben wir hier schon oft genug besprochen, findet sich auch im Netz vieles zu.
Du machst den Noobs hier noch Angst ZFS könnte auf ihrem Microserver gar nicht laufen.
Den Controller solltest du unbedingt in den IT-Modus (Initiator-Target) bringen damit ZFS direkten Zugriff auf die Festplatten hat, müsste ein LSI SAS 2208 sein. Der RAID-Modus ist Murks, du kannst so in der Regel auch keine SMART-Werte abfragen.
Compression ist eigentlich immer sinnvoll, Dedup nur in Spezialfällen. Haben wir hier schon oft genug besprochen, findet sich auch im Netz vieles zu.
Zuletzt bearbeitet:
Das ist sicher kein Homeserver. Allein die NexentaStor Lizenz für 8 TB wird wohl ein paar Tausend Euro kosten. Und mit 128 GB RAM kann man eine Menge Daten aus dem RAM-Cache statt von der Festplatte lesen. Das kann schon Sinn machen wenn man maximale Leseperformance braucht.
Die zwei 8-Kern Xeons werden aber sicher unterbeschäftigt sein. Billige Quadcores hättens vermutlich für ein Strorage genausogut getan. Bei 128 GB RAM werden aber zwei CPU aber allein wegen dem RAM-Ausbau nötig sein.
Als Controller würde ich wenn möglich zusätzlich einen LSI 9207 einbauen. Der Dell 710 ist eher eine schlechte Wahl. Falls die Anwendung hohe I/O Werte benötigt (wg. Raid-10), wären Intel S3700 SSDs meine Option für einen highspeed gewesen (z.B. 2 x 400 oder 800 GB als Mirror), zusammen mit den billigsten Xeons. Dazu eine zweiten Pool mit großen Platten für Filer, Backup etc.
Die zwei 8-Kern Xeons werden aber sicher unterbeschäftigt sein. Billige Quadcores hättens vermutlich für ein Strorage genausogut getan. Bei 128 GB RAM werden aber zwei CPU aber allein wegen dem RAM-Ausbau nötig sein.
Als Controller würde ich wenn möglich zusätzlich einen LSI 9207 einbauen. Der Dell 710 ist eher eine schlechte Wahl. Falls die Anwendung hohe I/O Werte benötigt (wg. Raid-10), wären Intel S3700 SSDs meine Option für einen highspeed gewesen (z.B. 2 x 400 oder 800 GB als Mirror), zusammen mit den billigsten Xeons. Dazu eine zweiten Pool mit großen Platten für Filer, Backup etc.
Den RAID-Modus am Controller deaktivieren und mit ZFS stripen und mirrorn. Das könnte evtl. noch schneller sein.
Wozu ein RAID-Controller für ZFS überhaupt genutzt wird ist mir allerdings schleierhaft. Sinn & zweck von ZFS ist es doch gerade das RAID auf Softwarebasis zu realisieren.
Zuletzt bearbeitet:
Den Raid Modus kann man leider nicht bei allen Controllern deaktivieren.
Die bedeutendste Inovation von ZFS sehe ich aber in Prüfsummen über alle Daten und in Copy On Write. Daraus ergeben sich alle innovatien ZFS Möglichkeiten praktisch automatisch - ohne diese Features wird es schwer, high-end zu sein.
Echtzeit-Prüfsummen, und damit die Möglichkeit jegliche Fehler (Fehler auf Platten, Kabel, Controller oder Treiberebene) sofort zu entdecken, wäre aber nur die halbe Miete - ohne Möglichkeit, diese auch automatisch zu reparieren.
Dazu braucht ZFS volle Disk und Raid-Kontrolle und somit Software Raid. Hardware Raid, bei dem jede Platte als Single-Raid-0 an ZFS durchgereicht wird, ist besser als kein ZFS. Es kann aber Probleme bei Hotplug, Smartcontrol, sicheres sync-write und beim Anschluß an andere Controller geben - also nicht unbedingt empfehlenswert.
Zuletzt bearbeitet:
Morpheus2200
Semiprofi
- Mitglied seit
- 04.08.2001
- Beiträge
- 30.945
Der Perc controller ist drin, weil Dell die Kisten ohne scheinbar ungern verkauft. Ich hätte ja auch lieber einen 0815 SAS controller genommen, aber wurde leider nicht angeboten. Das System ist mit Hard und Softwaresupport für 5 Jahre gekauft worden, bei großen Anbietern muss man leider ab und zu Konfigurationen die suboptimal sind akzeptieren, wenn man dafür gute preise bekommt.
CPUs und Speicher sind so üppig ausgestattet, weil es bei dem System vor allem darum geht, ZFS features im realen Einsatz zu testen. Bewährt sich das ganze kann ich ja noch ein paar Shelfs mit Platen an SAS controllern erweitern. Dedup ist interessant, weil haufenweise Daten mehrfach gespeichert werden. Das System bedient erstmal nur einen Schulungsraum mit >40 clients. Da werden oft zu beginn der Veranstaltung Daten von jedem Benutzer kopiert und oft nur leicht verändert. Oder es werden die gleichen Daten erzeugt. Einer machts vor, 40 Leute machens nach, das klingt nach einem perfekten Einsatzort für dedup oder nicht?
Natürlich läuft ZFS auch auf kleineren Systemen, aber wenn Software, support und Fernwartungsmöglichkeiten so ins Geld gehen nehme ich lieber 64GB RAM und ne 2. CPU mehr mit, muss schließlich 5 Jahre halten. Das System sollte in den Kompatiblitätslisten Nexentas zu finden sein und das sind halt meist dicke 2 Sockel Server mit viel platz für RAM und die sind nunmal nicht ganz billig.
Das ganze ist immernoch um einiges billiger als Filer inkl. Software und vor allem support der Konkurenz.
Für 3 Jahre kann man Storage Systeme super kaufen und support bekommen, danach werden Vertriebler zu Blutsaugern, da kostet plötzlich ein Jahr support fast so viel wie ein neues System.
Jetzt kaufe ich software + support für überschaubare kosten und Hardware+support zu top konditionen und wenn einer von beiden Anbietern preislich unverschämt wird kaufe ich halt woanders.
CPUs und Speicher sind so üppig ausgestattet, weil es bei dem System vor allem darum geht, ZFS features im realen Einsatz zu testen. Bewährt sich das ganze kann ich ja noch ein paar Shelfs mit Platen an SAS controllern erweitern. Dedup ist interessant, weil haufenweise Daten mehrfach gespeichert werden. Das System bedient erstmal nur einen Schulungsraum mit >40 clients. Da werden oft zu beginn der Veranstaltung Daten von jedem Benutzer kopiert und oft nur leicht verändert. Oder es werden die gleichen Daten erzeugt. Einer machts vor, 40 Leute machens nach, das klingt nach einem perfekten Einsatzort für dedup oder nicht?
Natürlich läuft ZFS auch auf kleineren Systemen, aber wenn Software, support und Fernwartungsmöglichkeiten so ins Geld gehen nehme ich lieber 64GB RAM und ne 2. CPU mehr mit, muss schließlich 5 Jahre halten. Das System sollte in den Kompatiblitätslisten Nexentas zu finden sein und das sind halt meist dicke 2 Sockel Server mit viel platz für RAM und die sind nunmal nicht ganz billig.
Das ganze ist immernoch um einiges billiger als Filer inkl. Software und vor allem support der Konkurenz.
Für 3 Jahre kann man Storage Systeme super kaufen und support bekommen, danach werden Vertriebler zu Blutsaugern, da kostet plötzlich ein Jahr support fast so viel wie ein neues System.
Jetzt kaufe ich software + support für überschaubare kosten und Hardware+support zu top konditionen und wenn einer von beiden Anbietern preislich unverschämt wird kaufe ich halt woanders.
Ich betreibe seit einiger Zeit eine ZFS appliance v. 0.9b3 unter omnios-8d266aa und netatalk V.3 (3.0.4). Ich verwende ohne Probleme mehrere ZFS Filesysteme für den Zugriff von Clients mit CIFS und AFP. Nun wollte ich ein neues ZFS Filesystem anlegen und die Time Machine Sicherung meines iMacs, die zur Zeit noch auf einer Solaris 11 mit iSCSI läuft, auf dieses neue ZFS Filesystem umziehen. Dazu habe ich wie immer mit napp-it ein Filesystem erzeugt, AFP mit TimeMachine aktiviert und wollte loslegen. Nun wirft TimeMachine den Fehler, dass das Backup nicht angelegt werden kann. Jetzt habe ich heraus gefunden dass ich über AFP zwar Dateien auf dem Filesystem anlegen bzw. kopieren kann aber keine Verzeichnisse anlegen/kopieren kann. Mit CIFS funktioniert es allerdings. Merkwürdig daran ist, dass die alten Filesysteme, die ich vor einigen Wochen genau so eingerichtet hatte, dieses Verhalten unter AFP nicht zeigen. Hat jemand eine Idee?
Morpheus2200
Semiprofi
- Mitglied seit
- 04.08.2001
- Beiträge
- 30.945
Kannst du mal Berechtigungen inkl. acls auf dem neuen Verzeichnis ausgeben?
Kannst du auch keine Ordner anlegen, wenn du das neue Share über andere Protokolle freigibst?
Kannst du auch keine Ordner anlegen, wenn du das neue Share über andere Protokolle freigibst?
Ist denn in dem ZFS Dateisystem:
- nbmand=off
- ACL auf everyone@=modify/full (Einschränkungen nur auf neue Dateien oder Ordner setzen)
- acl-inheritance auf pass-through
- aclmode auf pass-through oder restricted (hier mal probehalber umstellen)
