[Sammelthread] ZFS Stammtisch

[layerbreak]

Meine Idee von All-In-One erlaubt das Virtualisieren von Linux, OSX, Solaris oder Windows Serveranwendungen inkl eines ZFS NAS/SAN unter ESXi. Ein Desktopsystem zu virtualisieren bringt aber nichts, da die 3D, Audio und Videoperformance gleich null ist und man lokal gar nichts damit machen kann.

Das sieht anders aus, wenn man z.B. eine Grafikkarte inkl Audio und USB an ein Desktop-OS durchreichen könnte, Dann hätte man wirklich All-In-One. Ein OSX oder Windows Desktop System mit voller 3D/Audio/Video Performance und im "Hintergrund" diverse Serverdienste - alles unter ESXi als "eine Art Bios Deluxe".

Warum die Grafikkarte durchreichen?
Wenn ich, mit meinem rostigen Englisch es hier richtig verstanden habe, akzeptiert jetzt ESXi 5.5 alle Grafikkarten. Die vGPU der VM-Win7 geben und per rdp auf die VM zugreifen.

..wie sieht es denn mit Rauf-/Runterfahen aus?
Es würde in dem UC der Desktop_Einsatz überwiegen und daher die Box nicht 24/7 laufen.

Ja das wäre richtig gut. Sorry, aber was ist UC?

Kann man endlich in ESXi-5.5 via Web administieren?...also aus dem Win7-Guest den Host und die VMs runterfahren?...ich will den Win-Client einfach nicht mehr.

Das runterfahren scheint weiterhin nur mit der Bezahlware zu funktionieren oder ist es dir mit der kostenlosen Version gelungen per vSphere-Client runterzufahren?

oder man nutzt Proxmox

einfach in der basis, "etwas" schwerer bei VT-D, dafür einfacher beim zuweisen von ganzen Platten an die VM
kostenfrei, unlimitiert, productive stable, webverwaltung, KVM und OpenVZ Container (hab selbst 2 OVH Server mit proxmox semi-privat - hoste damit Minecraft Server, TS und WWW)

debianbasierend und zfs nativ im hypervisor möglich

Das mit "etwas" schwerer ist wohl relativ, es kommt offensichtlich darauf an, wie weit man sich mit Linux auskennt.
Na das mit kostenfrei ist anscheinend auch nicht mehr so. Für ein paar Euro soll man jetzt einen Supportvertrag abschliessen, um einen Zugang für deren Server zu bekommen.

Ich setze Proxmox als All-In-One auch seit ein paar Wochen ein - nach langen, ausgiebigen, z.T. nervenaufreibenden Tests & Versuchen
Bis jetzt läuft das ganze ausgesprochen gut. Als Systemplatte für Proxmox habe ich eine kleine 64GB SSD an einem einfachen PCIe Controller. Den onboard SATA-Controller habe ich an die erste VM (Nas4Free) durchgereicht. Diese managed den ZFS-Storage und gibt einen Teil davon per NFS zurück an Proxmox für die restlichen VM's. Ein VDR-Server läuft u.a. bei mir auch als VM, dem habe ich eine "Mystique SaTiX-S2 V3 CI Dual" durchgereicht. Alles in allem eine feine Sache.

Lust ein HowTo zu machen?
Welchen VDR-Server setzt du ein? Bezüglich VDR würde ich gerne später dich nochmals fragen.

 

[trendco]

Ich setze YaVDR-0.4 ein mit Streamdev Clients.

Lust ein HowTo zu machen?

Was meinst Du genau damit?

 

[layerbreak]

Ich setze YaVDR-0.4 ein mit Streamdev Clients.

Danke, für die Info. Muss ich mir mal anschauen, obs mit XBMC zusammen arbeitet. Hab damit aber überhaupt keinen Plan, da ich im Netz gelesen hatte, dass VDR mit ESXi nicht bzw. nicht richtig gehen soll. Und deshalb hab ich dieses Thema total aus den Augen verloren.

Was meinst Du genau damit?

Das bezog sich hierauf:

Ich setze Proxmox als All-In-One auch seit ein paar Wochen ein - nach langen, ausgiebigen, z.T. nervenaufreibenden Tests & Versuchen
Ein VDR-Server läuft u.a. bei mir auch als VM, dem habe ich eine "Mystique SaTiX-S2 V3 CI Dual" durchgereicht

 

[ahuser]

Hallo Zusammen,

ich habe gerade einen Server mit einer Defekten Festplatte und stelle auch bei anderen Servern des öfteren fest, dass wenn eine Festplatte in einem raidz pool UNAVAIL ist, dann reagieren manche befehle nicht mehr. Z.B. format oder parted oder ähnlich. Auch wenn ich versuche den angestoßenen Prozess zu killen mit kill -9 geht dies dann auch nicht.
Kennt das jemand, bzw. hat hier jemand abhilfe?

Vielen Dank!
Gruß Andreas

 

[olqs80]

Hallo,
gibt es mittlerweile die Möglichkeit ein raidz vdev um noch eine Platte zu erweitern?
Habe mir vor zwei Jahren aufgrund der Flexibilität zu einer mdadm + lvm Lösung entschieden. Falls mir der Platz ausgeht, erweitere ich jetzt ein bestehendes Raid5, oder beginne mit 2 neuen Platten mit einem Raid1. Das Raid1 kann ich dann mit ner neuen Platte in ein Raid5 umwandeln. Ich brauche so halt nicht immer gleich die Platten für ein komplettes Raid5 kaufen, sondern mich schrittweise nähern.

In den letzten zwei Jahren könnte sich ja in der Hinsicht was geändert haben.

 

[gea]

Hallo,
gibt es mittlerweile die Möglichkeit ein raidz vdev um noch eine Platte zu erweitern?
Habe mir vor zwei Jahren aufgrund der Flexibilität zu einer mdadm + lvm Lösung entschieden. Falls mir der Platz ausgeht, erweitere ich jetzt ein bestehendes Raid5, oder beginne mit 2 neuen Platten mit einem Raid1. Das Raid1 kann ich dann mit ner neuen Platte in ein Raid5 umwandeln. Ich brauche so halt nicht immer gleich die Platten für ein komplettes Raid5 kaufen, sondern mich schrittweise nähern.

In den letzten zwei Jahren könnte sich ja in der Hinsicht was geändert haben.

Es gilt nach wie vor:
Ein ZFS Pool mit Redundanz läßt sich mit weiteren Raids als Mirrors (2disks) oder Raid-z (drei oder mehr Disks) erweitern. Alterntativ kann man alle Platten eines Raid durch größere ersetzen.

Ein Erweitern um einzelne Platten geht zwar aber man verliert die Redundanz.
Ausnahme: Single-Disk Pools und Raid via snapraid - hat aber andere Nachteile.

 

[gea]

Info:

Ich teste gerade einen fertig konfigurierten ZFS Server für All-In-One als VM unter ESXI 5.5 (kein 32GB Limit):
napp-it, OmniOS stable, AFP und Mediatomb, inkl vmware tools ESXi 5.1/5.5 und e1000 + vmxnet3 vnics.

Nach dem Download des ZIP Files muss man die VM unzippen und auf den lokalen ESXi datastore laden (kann etwas dauern), die VM importieren und das wars weitgehend mit installieren.

Wers auch testen möchte:
napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris downloads

 

[mosjka]

Info:

Ich teste gerade einen fertig konfigurierten ZFS Server für All-In-One als VM unter ESXI 5.5 (kein 32GB Limit):
napp-it, OmniOS stable, AFP und Mediatomb, inkl vmware tools ESXi 5.1/5.5 und e1000 + vmxnet3 vnics.

Nach dem Download des ZIP Files muss man die VM unzippen und auf den lokalen ESXi datastore laden (kann etwas dauern), die VM importieren und das wars weitgehend mit installieren.

Wers auch testen möchte:
napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris downloads

Bei dieser version scheint das Spindown der HDDs nicht zu funktionieren. Komme ursprünglich von openindiana+napp-it.

das sind die aktuellen Einstellungen:

#
# Copyright 1996-2002 Sun Microsystems, Inc. All rights reserved.
# Use is subject to license terms.
#
#pragma ident "@(#)power.conf 2.1 02/03/04 SMI"
#
# Power Management Configuration File
#

device-dependency-property removable-media /dev/fb
autopm enable
autoS3 default
cpu-threshold 1s
# Auto-Shutdown Idle(min) Start/Finish(hh:mm) Behavior
autoshutdown 30 9:00 9:00 noshutdown
cpupm enable
device-thresholds /dev/dsk/c2t0d0 300s
device-thresholds /dev/dsk/c4t5000CCA369CE3488d0 300s
device-thresholds /dev/dsk/c4t5000CCA369CE96CFd0 300s
device-thresholds /dev/dsk/c4t5000CCA369CE7D78d0 300s
device-thresholds /dev/dsk/c4t5000CCA369CE8673d0 300s

 

[gea]

Openindiana und OmniOS benutzen beide Illumos als Basis.
Mir ist auch kein generelles Problem bekannt (ich nutze es selber aber nicht - Server never sleep..)

Eventuell überprüfen, dass keine Zugriffe erfolgen, z.B. durch napp-it alert jobs oder dem fmd service

 

[gea]

Info:

Ich teste gerade einen fertig konfigurierten ZFS Server für All-In-One als VM unter ESXI 5.5 (kein 32GB Limit):
napp-it, OmniOS stable, AFP und Mediatomb, inkl vmware tools ESXi 5.1/5.5 und e1000 + vmxnet3 vnics.

Nach dem Download des ZIP Files muss man die VM unzippen und auf den lokalen ESXi datastore laden (kann etwas dauern), die VM importieren und das wars weitgehend mit installieren.

Wers auch testen möchte:
napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana and Solaris downloads

Update.
ESXi 5.5 scheint Probleme mit e1000 zu machen (Verbindungsabbrüche, instabil)


Abhilfe:
entweder VMXnet3 benutzen oder man muss bei OmniOS & Co folgende Zeilen in der datei /kernel/drv/e1000g.conf anfügen (reboot nötig)

#tcp segmentation offload disable
tx_hcksum_enable=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;
lso_enable=0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0;


vermutl Ursache ähnlich zu
VMware KB: Possible data corruption after a Windows 2012 virtual machine network transfer

 

[automatenraum]

@gea kurze Frage:

Ich habe mir zwei kleine 1 TB Platten in meinen Server dazu gesteckt und will jetzt einen kleinen exclusiven VM Pool machen. Bisher liefen die VMs auf dem lokalen Datastore der ESXi Kiste, das soll sich jetzt ändern...

Ich will die beiden Platten spiegeln und komme mit der Entscheidungsfindung, ob nun Mirror oder RAID-Z am besten ist nicht so recht weiter, wo liegen die Vor- und Nachteile der beiden Varianten?

Des weiteren Frage ich mich, ob zusätzlich ein oder mehrere Netzwerkkarten bei der Nutzung von NFS Datastores auf der gleichen Kiste, statt des VMXNET3 Sinn machen , um die Performance zu verbessern (es gibt also nur einen ESXi)?
Falls ja brauche ich da einen Switch, oder kann ich das per Crossover machen?

Gibt es dazu Netzwerkkarten und Switch Empfehlungen für den Heimgebrauch?

Danke und Grüße R.

 

[automatenraum]

Hab noch was vergessen, ich habe zwar schon OmniOS bei mir seit langem am Start mit Nappit, aber wollte demnächst mal deine VMWare Appliance durchtesten. Beim Auspacken gestern ist mir auf aufgefallen, dass die ja riesig ist. Wurde die Harddisk nicht mit Thin Provision erstellt und falls nicht, gibt es dafür einen bestimmten Grund?

 

[automatenraum]

Hallo nochmal,

ich habe mal die beiden Pools gebenched und frage mich gerade, ob das überhaupt Sinn macht, was ich da vor habe.

NAME SIZE Bonnie Date(y.m.d) File Seq-Wr-Chr %CPU Seq-Write %CPU Seq-Rewr %CPU Seq-Rd-Chr %CPU Seq-Read %CPU Rnd Seeks %CPU Files Seq-Create Rnd-Create

mediapool 16.2T start 2013.10.01 16G 356 MB/s 93 408 MB/s 32 200 MB/s 22 323 MB/s 97 420 MB/s 16 541.7/s 1 16 +++++/s +++++/s
vmpool 928G start 2013.10.01 16G 93 MB/s 24 94 MB/s 7 54 MB/s 6 139 MB/s 43 140 MB/s 5 880.4/s 1 16 +++++/s +++++/s

Eigentlich wollte ich den /vmpool/vm auf den mediapool/vmbackup replizieren, aber der VM Pool ist ja um einiges langsamer als der andere, da habe ich 6 x WD Red 3 TB laufen und Platz ist da noch genug. Macht das dann eigentlich noch Sinn einen extra Pool für die VMs laufen zu lassen?

 

[gea]

@gea kurze Frage:

Ich habe mir zwei kleine 1 TB Platten in meinen Server dazu gesteckt und will jetzt einen kleinen exclusiven VM Pool machen. Bisher liefen die VMs auf dem lokalen Datastore der ESXi Kiste, das soll sich jetzt ändern...

Ich will die beiden Platten spiegeln und komme mit der Entscheidungsfindung, ob nun Mirror oder RAID-Z am besten ist nicht so recht weiter, wo liegen die Vor- und Nachteile der beiden Varianten?

Des weiteren Frage ich mich, ob zusätzlich ein oder mehrere Netzwerkkarten bei der Nutzung von NFS Datastores auf der gleichen Kiste, statt des VMXNET3 Sinn machen , um die Performance zu verbessern (es gibt also nur einen ESXi)?
Falls ja brauche ich da einen Switch, oder kann ich das per Crossover machen?

Gibt es dazu Netzwerkkarten und Switch Empfehlungen für den Heimgebrauch?

Danke und Grüße R.

- Bei zwei Platten geht eh nur mirror, Raid-Z geht erst ab 3.
Die Frage stellt sich also erst bei vielen Platten.
Multiple Mirrors bieten dann die beste I/O während multiple Raid-z mehr Kapazität und teils bessere sequentielle Schreibleistung bringen.

Bei All-In-One verbindet man üblicherweise den Server über seine Netzwerkarte mit einem externen Switch (optional werden mehrere Netze als vlan geführt und auf dem Switch auf die Ports verteilt)

In ESXi erstellt man dann unter Konfiguration > Netzwerk > Eigenschhaften > Ports > hinzufügen
mehrere bennante Ports für virtuelle Maschinen (diese Ports werden mit physikalischen Netzwerkkarten oder vlans verbunden).

Bei den VMs kann man dann virtuelle Netzwerkkarten definieren und mit diesen Ports verbinden.

Meine Empfehlung lautet also:
Eine Netzwerkkarte verwenden, dazu einen vlan-fähigen Switch (HP ist gut, ein guter Kleinswitch ist der Netgear GS108T). Bei Netzwerkkarten: Intel all the way.

Zur appliance.
Momentan lege ich Wert auf Einfachheit: Kopieren, Importieren, läuft.
Etwas längere Wartezeiten beim Kopieren sind mir da nicht so wichtig.
Ich mag das Überbuchen durch thin provisioning eh nicht. Auch sind die VMs dann langsamer.

(Beim Kopieren verliert sich das thin provisioning)
Ob ich als Alternative eine OVF Vorlage benutze weiss ich noch nicht.

 

[automatenraum]

Vielen Dank für die ausführliche Antwort.

Nur zur Sicherheit, damit ich das richtig verstehe:
Ich brauche dann zwei Netzwerkkarten für den All-In One, die ich an den externen Switch (evtl. seperates VLAN für die beiden Ports) anschliesse. Im ESXi erstelle ich dann zwei Virtual Machine Port Gruppen mit vSwitchen. Die Nappit VM verbinde ich dann mit der ersten Port Gruppe, die direkt an den ersten physikalischen Switch geht und die restlichen VMs werden an die andere Port Gruppe angebunden, die an die andere Netzwerkkarte geht.

Ich habe zur Zeit ein Supermicro X9SCM-F in Betrieb. Die onboard Intel 82574L habe ich zur Zeit an vSwitch0, an welchem alle VMs (incl. der Nappit VM) hängen, die andere onboard Intel 82579LM habe habe ich an einem anderen vSwitch1, der an den Router geht.

Dann bräuchte ich also noch eine zusätzliche Netzwerkkarte und einen externen Switch um die Lösung per Netzwerkkarten zu realisieren, oder sollte man gleich zwei kaufen und gar nicht die onboard Karten nutzen? Es gibt ja auch Netzwerkkarten mit zwei Ports, um Steckplätze zu sparen, taugen die was?

Bezüglich der Netzwerkkarte wäre ich dankbar um einen konkrete Model Empfehlung, da ich da wirklich keine Erfahrung habe, was bei ESXi out of the box unterstützt wird und was taugt. Da ich gerade beim Hausbau bin, welcher gerade durch einen Bandscheibenvorfall ruht, brauche ich sowieso später einen grösseren Switch für das Haus. Da kann ich ja gleich in etwas Grosses investieren, was wäre eine konkrete Empfehlung für einen 24 oder 48 Port Switch?

Was ich nur noch nicht ganz verstehe ist folgendes:
Da ich in meinen Fall ja nur eine Nappit VM habe, die den NFS Storage für die VMs und mein Datenarchive für das restliche Netzwerk bereitstellt, wo liegt da der konkrete Vorteil zur seperaten Netzwerkkarten Lösung gegenüber der Anbindung aller VMs (incl. der Nappit Appliance) über einen vSwitch? Oder ist es so, dass man die Nappit VM mit zwei Karten Anbinden muss und der NFS für die VMs ein eigenes VLAN spendieren muss?
Ich muss gestehen, ich bin da etwas verwirrt, weil ich nicht durchblicke wo der konkrete Vorteil liegt...

 

[gea]

Vielen Dank für die ausführliche Antwort.

Nur zur Sicherheit, damit ich das richtig verstehe:
Ich brauche dann zwei Netzwerkkarten für den All-In One, die ich an den externen Switch (evtl. seperates VLAN für die beiden Ports) anschliesse. Im ESXi erstelle ich dann zwei Virtual Machine Port Gruppen mit vSwitchen. Die Nappit VM verbinde ich dann mit der ersten Port Gruppe, die direkt an den ersten physikalischen Switch geht und die restlichen VMs werden an die andere Port Gruppe angebunden, die an die andere Netzwerkkarte geht.

Ich habe zur Zeit ein Supermicro X9SCM-F in Betrieb. Die onboard Intel 82574L habe ich zur Zeit an vSwitch0, an welchem alle VMs (incl. der Nappit VM) hängen, die andere onboard Intel 82579LM habe habe ich an einem anderen vSwitch1, der an den Router geht.

Dann bräuchte ich also noch eine zusätzliche Netzwerkkarte und einen externen Switch um die Lösung per Netzwerkkarten zu realisieren, oder sollte man gleich zwei kaufen und gar nicht die onboard Karten nutzen? Es gibt ja auch Netzwerkkarten mit zwei Ports, um Steckplätze zu sparen, taugen die was?

Bezüglich der Netzwerkkarte wäre ich dankbar um einen konkrete Model Empfehlung, da ich da wirklich keine Erfahrung habe, was bei ESXi out of the box unterstützt wird und was taugt. Da ich gerade beim Hausbau bin, welcher gerade durch einen Bandscheibenvorfall ruht, brauche ich sowieso später einen grösseren Switch für das Haus. Da kann ich ja gleich in etwas Grosses investieren, was wäre eine konkrete Empfehlung für einen 24 oder 48 Port Switch?

Was ich nur noch nicht ganz verstehe ist folgendes:
Da ich in meinen Fall ja nur eine Nappit VM habe, die den NFS Storage für die VMs und mein Datenarchive für das restliche Netzwerk bereitstellt, wo liegt da der konkrete Vorteil zur seperaten Netzwerkkarten Lösung gegenüber der Anbindung aller VMs (incl. der Nappit Appliance) über einen vSwitch? Oder ist es so, dass man die Nappit VM mit zwei Karten Anbinden muss und der NFS für die VMs ein eigenes VLAN spendieren muss?
Ich muss gestehen, ich bin da etwas verwirrt, weil ich nicht durchblicke wo der konkrete Vorteil liegt...

Kompliziert geht immer.
Die goldene Regel lautet aber: keep it simpel

z.B.
Einen HP Switch 1810 v2-24 (lüfterlos)
keinen 48 fach nehmen, lieber 2 x 24 Port

Darauf vlans definieren und ports beschriften z.B.
Management=vlan 1: port 1-2 (optional, z.B. Switch, ESXi oder KVM management)
SAN=vlan2: port 3-6
LAN=vlan3: port 7-20
WAN/Internet=vlan 4:21-22

Tagged (alle vlans): 23-24

Den Port 23 oder 24 dann mit der Netzwerkkarte des All-In-One verbinden

In ESXi einen virtuellen Switch anlegen und mit der ersten Netzwerkkarte verbinden.
(Die zweite wird nicht unbedingt benötigt, eventeller Nutzen: Lastverteilung/Bündelung)
ESXi management auf der Console auf vlan 3 (LAN) oder vlan 1 (Management) legen

Auf dem virtuellen ESXi Switch vlans anlegen
- Manage -> vlan 1
- SAN -> vlan 2
- LAN -> vlan 3
- WAN -> vlan 4

Dann kann man virtuelle Netzwerkkarten einer VM auf eines der vlans legen.
Den internen Netzverkehr zwischen ESXi und ZFS via NFS wickelt man über die vnic ab, die im SAN vlan liegt.

Der normale Netzwerkverkehr über SMB läuft über eine zweite vnic die an LAN angebunden wird.
WAN brauch man nur für Firewall/Router etc.

 

[automatenraum]

Ah jetzt kommt langsam Licht in die Dunkelheit, ich hatte das Prinzip von VLAN nicht verstanden, weil ich dachte das geht nur Port basiert, daher war ich so verwirrt.

Eine Frage habe ich noch, dann blicke ich endlich durch. Der Nappit VM ordne ich dann zwei vSwitches mit den VLANs SAN und LAN bzw. Manage zu und lege dann auch zwei VMXNET3 bzw. Intel Karten im OS mit zwei verschiedenen Subnetzen an? Dann läuft der NFS für den ESXi über das SAN Subnet und der Fileserver NFS/SMB usw. über das andere Subnetz des LAN?

Gibt es zu dem Switch auch eine Version oder Alternative, die 19" fähig ist und direkt in ein Rack geschraubt werden kann, oder sind wird da preislich gleich wo ganz anders?

EDIT: Die Onboard Karten sind nur Gigabit Netzwerkkarten. Ich nehme an bei dem Lösungsvorschlag von dir ist eine 10 GBE Karte einzusetzen?

EDIT 2: Ich denke mal eine Intel X540-T1 wäre genau das richtige in dem Fall, oder gibst andere Empfehlungen?

EDIT 3: Beim Durchsehen der Netzwerkeinstellungen in ESXi ist mir was aufgefallen:

Man kann ja eine Portgruppe oder einen VM Kernel Port anlegen, beim VMKP steht der ist für iSCSI, NFS usw. des ESXI. Legt man nun für die NFS Anbindung und Kommunikation der Nappit Appliance an ESXi eine Port Gruppe oder einen VM Kernel Port an? In deiner Anleitung auf nappit.org hast du eine Port Gruppe vlan4 san dafür angelegt, aber wenn ich das so in ESXi lese, bekomme ich den Eindruck man sollte einen VM Kernel Port anlegen...

EDIT 4: Ich habs jetzt glaube ich endlich verstanden bezüglich der VMKP:

Der VMKP macht die NFS Anbindung vom ESXi an NFS, d.h. wenn Nappit den NFS Server darstellt, muss man eine Port Gruppe für die Nappit VM anlegen, welche am selben vSwitch hängt und evtl. selbes Vlan, falls definiert. Soweit jetzt klar endlich

Das heisst aber im Umkehrschluss, die NFS Kommunikation zwischen dem ESXi und unserer Nappit VM, welche den NFS Speicherplatz für die VMs bereit stellt, findet nur über den internen vSwitch statt und geht nicht über den externen Switch. Ich hätte also durch die Umstellung auf einen 10 GBe Switch mit entsprechender Netzwerkkarte für die VMs selbst untereinander oder die VM NFS Anbindung an den ESXi keine Geschwindigkeitsvorteile, sehe ich das richtig? Interssant wäre das nur, wenn man noch externe Geräte hätte, die dann über die seperaten VLANs am externen Switch zugreifen würden, sprich weitere Hardware Clients oder ESXi oder Nappit Appliances.

Hab ich das jetzt endlich soweit richtig verstanden?

 

[automatenraum]

Anderes Thema, mir ist gerade noch was bei Nappit aufgefallen im Job log (hier mal genauer das replicate angeglickt):

Log: Job 1380626041 (newest first)
ok time: 2013.10.02.03.04.17 info: incremental replication finished (time: mediapool/archive@daily-1361108388_2013.08.15.23.00.01
keep nr 2 time: 2013.10.02.03.04.16 keep .: match rule: .
keep nr 2 time: 2013.10.02.03.04.16 keep .: match rule: .
cmd time: 2013.10.02.03.00.02 /usr/sbin/zfs send -i vmpool/vm@1380626041_repli_zfs_fileserver_nr_3 vmpool/vm@1380626041_repli_zfs_fileserver_nr_4 | /usr/sbin/zfs receive -F mediapool/vmbackup/vm 2>&1
ok time: 2013.10.01.23.24.12 info: incremental replication finished (time: mediapool/archive@daily-1361108388_2013.08.15.23.00.01
keep nr 1 time: 2013.10.01.23.24.11 keep .: match rule: .
keep nr 1 time: 2013.10.01.23.24.11 keep .: match rule: .
cmd time: 2013.10.01.23.24.02 /usr/sbin/zfs send -i vmpool/vm@1380626041_repli_zfs_fileserver_nr_2 vmpool/vm@1380626041_repli_zfs_fileserver_nr_3 | /usr/sbin/zfs receive -F mediapool/vmbackup/vm 2>&1
ok time: 2013.10.01.20.50.21 info: incremental replication finished (time: mediapool/archive@daily-1361108388_2013.08.14.23.00.03
cmd time: 2013.10.01.20.50.19 /usr/sbin/zfs send -i vmpool/vm@1380626041_repli_zfs_fileserver_nr_1 vmpool/vm@1380626041_repli_zfs_fileserver_nr_2 | /usr/sbin/zfs receive -F mediapool/vmbackup/vm 2>&1
ok time: 2013.10.01.20.48.56 info: initial replication finished (time: 32 s, size: 3930 MB, performance: 122.8 MB/s)
cmd time: 2013.10.01.20.48.23 /usr/sbin/zfs send vmpool/vm@1380626041_repli_zfs_fileserver_nr_1 | /usr/sbin/zfs receive -F mediapool/vmbackup/vm 2>&1
cmd time: 2013.10.01.20.48.22 /usr/sbin/zfs snapshot vmpool/vm@1380626041_repli_zfs_fileserver_nr_1

Wieso steht da immer "info: incremental replication finished (time: mediapool/archive@daily-..."

Das müsste doch heissen "mediapool/vmbackup@daily-..."

Es gibt bei mir /mediapool/archive und /mediapool/vmbackup und durch die Relpikation von /vmpool/vm dann /mediapool/vmbackup/vm.

Ist das noch ein Bug?

EDIT: Könnte man bei der incremental info auch noch die Zeit Grösse und Performance ins Log einbinden, oder geht das technisch nicht?

 

[layerbreak]

Eine Frage habe ich noch, dann blicke ich endlich durch. Der Nappit VM ordne ich dann zwei vSwitches mit den VLANs SAN und LAN bzw. Manage zu und lege dann auch zwei VMXNET3 bzw. Intel Karten im OS mit zwei verschiedenen Subnetzen an? Dann läuft der NFS für den ESXi über das SAN Subnet und der Fileserver NFS/SMB usw. über das andere Subnetz des LAN?

Du hast doch einen all-in-one aufgebaut und dort ist auch OmniOS als VM installiert? Und jetzt hast du in OmniOS (192.165.55.1) einen Pool (San) angelegt auf dem die VMs abgelegt werden sollen. Auf diesem Pool hast du ein Dateisystem (esxi_vmfs) für die VMs angelegt und NFS aktiviert.
Wenn dem so ist, dann brauchst du in ESXi unter Konfiguration/Speicher nur 'Speicher hinzufügen' und ESXi steht das Dateisystem zur Verfügung ohne realem Switch bzw. Netzwerkkarte.
Speichertyp: Netzwerkdateisystem, Server: 192.165.55.1 und Ordner: /san/esxi_vmfs, Dateispeichername: xyz

Wenn ich mich richtig entsinne, rennt der vSwitch innerhalb von ESXi mit 10GB, auch die vNic VMXNET3 rennt mit 10GB.

Gibt es zu dem Switch auch eine Version oder Alternative, die 19" fähig ist und direkt in ein Rack geschraubt werden kann, oder sind wird da preislich gleich wo ganz anders?

Den von gea genannten ist doch Rack-fähig.
Pass auf welchen HP-Switch du nimmst.
Der HP 1810-24 v2 (J9801A) hat 22 100 Anschlüsse und nur 2 1000er.
Der HP 1810-24G v2 (J9803A) hat 24 1000 Anschlüsse.

EDIT: Die Onboard Karten sind nur Gigabit Netzwerkkarten. Ich nehme an bei dem Lösungsvorschlag von dir ist eine 10 GBE Karte einzusetzen?
EDIT 2: Ich denke mal eine Intel X540-T1 wäre genau das richtige in dem Fall, oder gibst andere Empfehlungen?

Schau auch mal bei Supermicro unter Accessories, dann Add-On Cards, die sind günstiger als die Original Intel oder auch LSI-HBAs. UIO-Slotbleche kann man entweder austauschen für kleines Geld oder umbauen.
Überprüfe aber immer auf der HCL für IllumOS auf Kompatibilität.

Was mich auch interessieren würde, ist wie zwei 10GB-Karten miteinander verbunden werden. Über einen Switch laufen die ja offensichtlich nicht, also müssten die zwei Server bzw. Netzwerkkarten direkt verbunden sein. Aber wie ist dann z.B. das Cat.6a Kabel belegt, Stichwort: Crossover?

 

[gea]

Der VMKP macht die NFS Anbindung vom ESXi an NFS, d.h. wenn Nappit den NFS Server darstellt, muss man eine Port Gruppe für die Nappit VM anlegen, welche am selben vSwitch hängt und evtl. selbes Vlan, falls definiert. Soweit jetzt klar endlich

Das heisst aber im Umkehrschluss, die NFS Kommunikation zwischen dem ESXi und unserer Nappit VM, welche den NFS Speicherplatz für die VMs bereit stellt, findet nur über den internen vSwitch statt und geht nicht über den externen Switch. Ich hätte also durch die Umstellung auf einen 10 GBe Switch mit entsprechender Netzwerkkarte für die VMs selbst untereinander oder die VM NFS Anbindung an den ESXi keine Geschwindigkeitsvorteile, sehe ich das richtig? Interssant wäre das nur, wenn man noch externe Geräte hätte, die dann über die seperaten VLANs am externen Switch zugreifen würden, sprich weitere Hardware Clients oder ESXi oder Nappit Appliances.

Hab ich das jetzt endlich soweit richtig verstanden?

Korrekt.
Die Verbindung NFS -> ESXi (weitere VMs) geht über den internen vSwitch mit mehreren Gbit/s in Highspeed.
Das ist ja einer der Gründe für All-In-One. Highspeed ohne teures Netzwerk.

10 GbE extern braucht man nur für Backup/Clone/Move oder NAS/SAN für andere Rechner

 

[gea]

Es gibt bei mir /mediapool/archive und /mediapool/vmbackup und durch die Relpikation von /vmpool/vm dann /mediapool/vmbackup/vm.

Ist das noch ein Bug?

EDIT: Könnte man bei der incremental info auch noch die Zeit Grösse und Performance ins Log einbinden, oder geht das technisch nicht?

-Ich muss mir das Logscript mal anschauen

- Bei Incremental ist zwar die Größe der Snaps bekannt, es ist aber schwierig, sich in den Stream einzuklinken.
Beim erstzen Lauf ist es einfacher da hier lediglich die Größe der beiden Dateisysteme verglichen werden muss.

 

[gea]

Was mich auch interessieren würde, ist wie zwei 10GB-Karten miteinander verbunden werden. Über einen Switch laufen die ja offensichtlich nicht, also müssten die zwei Server bzw. Netzwerkkarten direkt verbunden sein. Aber wie ist dann z.B. das Cat.6a Kabel belegt, Stichwort: Crossover?

Ja, per Crossoverkabel bei TP
Die Intel X 540-T1 ist mit 300,-- Euro übrigens so ziemlich die billigste 10 GbE Karte

 

[automatenraum]

Macht es trotzdem Sinn bei der Nappit VM zwei virtuelle Netzwerkkarten zu definieren, eine für den ESXi NFS und eine für das restliche interne Netz mit verschiedenen Subnetzen und diese per VLAN zu trennen, auch wenn man noch nicht mit externen Geräten mit der All-In-One (abgesehen von ein paar Clients) interagiert?

Das Konzept mit den verschiedenen VLANs und nur einem vSwitch gefällt mir trotzdem sehr gut. Die Idee werde ich übernehmen, wenn ich mein Netz im neuen Haus aufbaue und mir einen entsprechenden Hardware Switch zulegen. Das vereinfacht die Verkabelung und gefällt mir einfach vom Konzept.

Bezüglich der Anbindung an den Hardware Switch, ich habe jetzt auf Anhieb keinem HP Switch entdeckt, der folgendes bieten würde:
24 Port GB und vielleicht 2 Ports davon 10 GBe und das ganze mit RJ45. Es gibt anscheinend nur welche mit 10 GBe SPF, da bräuchte man dann schon eine andere Netzwerkkarte mit SPF, um den Server mit voller Leistung anzubinden.

 

[automatenraum]

Ich habe gerade mal gesehen, was die Switches mit 10GBe Ports so kosten... Ich glaube ich fange dann mal an kleine Brötchen zu backen und begnüge mich mit GB Ethernet

 

[gea]

Macht es trotzdem Sinn bei der Nappit VM zwei virtuelle Netzwerkkarten zu definieren, eine für den ESXi NFS und eine für das restliche interne Netz mit verschiedenen Subnetzen und diese per VLAN zu trennen, auch wenn man noch nicht mit externen Geräten mit der All-In-One (abgesehen von ein paar Clients) interagiert?

Das Konzept mit den verschiedenen VLANs und nur einem vSwitch gefällt mir trotzdem sehr gut. Die Idee werde ich übernehmen, wenn ich mein Netz im neuen Haus aufbaue und mir einen entsprechenden Hardware Switch zulegen. Das vereinfacht die Verkabelung und gefällt mir einfach vom Konzept.

Bezüglich der Anbindung an den Hardware Switch, ich habe jetzt auf Anhieb keinem HP Switch entdeckt, der folgendes bieten würde:
24 Port GB und vielleicht 2 Ports davon 10 GBe und das ganze mit RJ45. Es gibt anscheinend nur welche mit 10 GBe SPF, da bräuchte man dann schon eine andere Netzwerkkarte mit SPF, um den Server mit voller Leistung anzubinden.

2 vnics in napp-it macht Sinn, wenn man Netze trennen will (Security).
Ich mache das mit den vlans SAN (intern) und LAN (alle)

10 GbE ist recht neu.
Wenn 10 GbE jetzt, würde ich einen 24x1000 HP Switch nehmen und dazu einen "billigen" (ab 600 Euro) 8x oder 12x 10GbE Switch von Netgear. Bei zwei Maschinen würde ich ohne Switch 10GbE direkt verbinden.

 

[automatenraum]

Ich dachte da an folgendes Konzept zugegeben eher etwas in die Zukunft gedacht:
Switch mit 24 x GB und 2 x 10 GBe, an den einen schnellen Port den All-In-One und später evtl. einen Zweiten.
Die verschiedene Hardware Clients könnten dann theoretisch mit vollem GB Speed jeweils gleichzeitig auf den All-In-One, soweit die Theorie...

Ich werde für mich jetzt wahrscheinlich einen HP 1810-24G v2 oder HP 1910-24G-PoE kaufen und den ESXi Server mit den beiden Onboard Netzwerkkarten an den Switch hängen und die VLAN Variante realisieren.

Recht herzlichen Dank an dieser Stelle noch einmal für die Zeit, die ihr euch genommen habt und die zahlreichen Tipps!

Grüße R.

 

[layerbreak]

Ja, per Crossoverkabel bei TP
Die Intel X 540-T1 ist mit 300,-- Euro übrigens so ziemlich die billigste 10 GbE Karte

TP???
Braucht OmniOS speziellen Treiber für?

 

[gea]

Übrigens

Es gibt eine Besprechung von Patrick zu der ESXi All-In-One appliance unter
Get a VMware ESXi ZFS appliance with napp-it and OmniOS installed fastServeTheHome – Server and Workstation Reviews

 

[automatenraum]

TP???
Braucht OmniOS speziellen Treiber für?

TP = Twisted Pair, also ein Cat 7 Netzwerkkabel.

Die Netzwerkkarte wird nicht direkt in die VM durchgereicht, der ESXi stellt sie der VM per vSwitch zur Verfügung, daher wäre die Frage gibt es einen Treiber für ESXi für die Karte? Die Antwort ist ja, wird out of the box unterstützt.

 

[xymos]

Hallo,


Ich sitze hier an einem HP Microserver N54l und 5x 1.5TB Western Digital "WDC WD15EARS-00Z" Platten.
Als System dient Opensolaris + Napp-it.
Ich habe die sd.conf editiert um ashift=12 auf den Pool anzuwenden.
Nur leider bleibe ich bei ashift 9 hängen.

Bin für jeden Tip dankbar !

_xymos.