bluesunset
Semiprofi
Das die "RAW performance" bei vier normalen 2TByte SATA HDDs im Raid10 mit 430MByte/sec lesend geschönt ist. ist dir aber schon bewusst?
Follow along with the video below to see how to install our site as a web app on your home screen.
Anmerkung: this_feature_currently_requires_accessing_site_using_safari
Das die "RAW performance" bei vier normalen 2TByte SATA HDDs im Raid10 mit 430MByte/sec lesend geschönt ist. ist dir aber schon bewusst?
Ich würde gerne verstehen, ob jemand in letzter Zeit mit der Kombination ESXI5, vmxnet3, OI151a3 oder a5 und Napp-it 8k bei der All In One-Konfiguration mit NFS vmstore Erfolg hatte
Habe die Konfiguration so laufen (ESXI5U1, zuerst einige Monate auf Basis von OI151a, jetzt Solaris 11) und über NFS (Ubuntu 64 bit client) habe ich 70-90 MB/s read/write seq., CIFS von Windows 7 client ~110 MB/s read, ~90 MB/s write. Das Ganze mit e1000 und vmxnet3, ohne ZIL oder zusätzlichem L2ARC, sync writes aktiviert.
Host-intern (von Solaris zu Windows Server 2008 R2 + Windows Server 2012 RTM via CIFS share) ~110 MB/s lesen/schreiben seq. vmxnet3 Treiber in den Windows vms, e1000/vmxnet3 im Solaris, VMCI aktiviert.
Storage pool striped mirror aus 4xSAS Constellation ES.2
Ob sich die vmware tools unter Solaris 11 installieren lassen, wenn man Solaris 10 64bit als OS angibt, werde ich mal ausprobieren.
korrektIch nehme an, Du nutzt Sol11/11 ohne SRUs/ Patches.
VMkernel 5.0.0 #1 SMP Release build-623860 nutze ich, keine Extra-Patches- Hast Du ESXIU1 auf den aktuellen Patch-Stand gebracht (April, Mai, Juni, Juli-Patches)?
Ja.- Hast Du Solaris als Solaris 11 (64Bit) in ESXI eingerichtet?
Nein, mache alles über die console - nichts gegen Dich, gea- Nutzt Du napp-it, wenn ja welcher Version?
Lassen sich nicht installiere bzw. führt zu kernel-panic. Allerdings habe ich wie gesagt noch nicht getestet, OI oder Solaris als Solaris 10 zu deklarieren.- Wie konntest Du die vmware tools in Solaris 11 installieren. Bei mir ist die Installation abgebrochen - lediglich der vmxnet3 Treiber wurde bei mir installiert. VMs lassen sich jedoch nicht aus ESXI runterfahren?
Theoretisch sollte mein SAS Pool über CIFS an die Windows Server vm etwa 200 MB/s seq. read schaffen, warum es auf den genannten Wert limitiert ist kann ich daher nicht genau sagen. Die Frage, ob es prinzipiell möglich ist oder nicht, ist für mich eher theoretischer Natur, da der host-interne Traffic für mich mehr oder weniger irrelevant ist und extern mein GbE der limitierende Faktor ist.Wenn ich Dich richtig verstehe, dann macht e1000 oder vmxnet3 keinen Unterschied in der vm-Performance, wobei weder bei Lesen noch Schreiben mit mehr als 110MB/s zu rechnen ist.
ohne ZIL
hoffentlich nicht komplett ohne
Ergänzung (disk replace im gleichen Slot, ohne reboot auf die saubere Art)
z.B.
- erst disk offline stellen: zpool offline tank c1t3d0
- dann unconfigure: cfgadm -c unconfigure sata1/3
- tauschen
- configure: cfgadm -c configure sata1/3
- disk online: zpool online tank c1t3d0
- replace: zpool replace tank c1t3d0
# zpool offline archepool c1t5000C50009AAAE26d0
# cfgadm -c unconfigure c4::w5000c50009aaae26,0
# cfgadm -c configure c4::w5000cca36ad1780c,0
# zpool online archepool c1t5000CCA36AD1780Cd0
cannot online c1t5000CCA36AD1780Cd0: no such device in pool
zu cfgadm:
die device id scheint mir fehlerhaft (id sollte auf d0 enden).
was gibt denn napp-it unter "id"_device im Menü disk - diskinfo aus?
Onboard Sata -> Backplane: geht mit speziellem reverse 8087 Kabel, nicht mit dem normalen Kabel
(beim Bestellen auf "reverse" achten)
c17::w5000cca369ca262b,0 connected configured unknown Client Device: /dev/dsk/c1t5000CCA369CA262Bd0s0(sd8) disk-path n /devices/pci@0,0/pci15ad,7a0@15,1/pci1000,3020@0/iport@8:scsi::w5000cca369ca262b,0
Mal eine Verständnisfrage
Wenn ich auf einer ZFS Storage ein Volume via ISCSI einem Linux oder Windows Server bereitstelle, dass dann wiederumg mit xfs, ext4 oder ntfs formatiere, wie sieht es dann mit der Konsistenz des zweiten Dateisystems aus?
Sagen wir mal der Windows Server geht hops, oder der verbaute Netzwerk- oder Infiniband Controller produziert fehler. Ist dann mein ntfs Dateisystem dennoch Konsistent?
Theoretisch sollten Daten im ntfs Dateisystem den gleichen schutz haben wie Daten, die direkt in ein zfs Dateisystem gelegt werden. Wenn ich also in einem Windows Server Daten speichere, der Übertragungsweg zum iscsi target einen fehler verursacht, dann speichter zfs die Blöcke theretisch nicht (schreibe alles oder nichts) Prüfsummen stimmen nicht etc. Ich sollte dann vom Windows Server eine Fehlermeldung erhalten (kein Spreichen möglich) oder die Kiste schmiert ab. Aber das NTFS dürfte keinen schaden erlangen.
Ist das soweit richtig?
Wenn du einen höheren Schutz willst, verwende NFS bzw. SMB. Beides zeitgleich soll anscheinend nicht vernünftig tun unter Solaris...?
SMB wär für Windows Ideal und NFS für Linux/BSD und andere Unix-Systeme
@Gea, ich hab mal in der Anlage die komplette Diskinfo mit geschickt.
1. es gibt keine id_device
2. "cfgadm -al" hat mir in der Tat die ID mit xxx,0 ausgegeben, übrigens so stehts auch in der Diskinfo
3. Was mich stutzig macht ist, sind diese Strings
Fällt dir noch was ungewöhnliches auf?Code:c17::w5000cca369ca262b,0 connected configured unknown Client Device: /dev/dsk/c1t5000CCA369CA262Bd0s0(sd8) disk-path n /devices/pci@0,0/pci15ad,7a0@15,1/pci1000,3020@0/iport@8:scsi::w5000cca369ca262b,0
Meinst du dann dieses Kabel? LSI Internal Multi-Lane Cables - All Cables
Wenn du einen höheren Schutz willst, verwende NFS bzw. SMB. Beides zeitgleich soll anscheinend nicht vernünftig tun unter Solaris...?
zu 1.
für "id" die Plattenid einsetzen, z.B.
c1t5000CCA369CBF60Cd0_device -> c12::w5000cca369cbf60c,0
zu 2.
bei meinen Expandern sieht die device-id auch so aus
zum Kabel
Ja, das Kabel is ok
Danke für deine schnelle Antwort.
zu 3. ist da alles in Ordnung?
Weil, das "connected configured unknown Client Device" macht mich stutzig.
Warum hat dann meine Vorgehensweise nicht funktioniert?
- connected, configured ist entscheidend, unknown bei Condition ist normal
- bei portbasierten id's (z.B. c1t1d0) führt ein unconfigure, tausch und configure dieser id automatisch zum resilver
WWN sind jedoch plattenspezifische Angaben. d.h.
cfgadm -c unconfigure c4::w5000c50009aaae26,0
-diese Platte (Poolmitglied) ist abgemeldet und kann entfernt werden
cfgadm -c configure c4::w5000cca36ad1780c,0
- diese neue Platte (kein Poolmitglied) kann verwendet werden
Dem Pool fehlt jetzt erstere Platte und er ist degraded
Jetzt einfach ein disk-replace alte -> neue Platte und es sollte funktionieren
und da funzte das replace auf der CLI Ebene nicht.Ergänzung (disk replace im gleichen Slot, ohne reboot auf die saubere Art)
z.B.
- erst disk offline stellen: zpool offline tank c1t3d0
- dann unconfigure: cfgadm -c unconfigure sata1/3
- tauschen
- configure: cfgadm -c configure sata1/3
- disk online: zpool online tank c1t3d0
- replace: zpool replace tank c1t3d0
Ich werde das noch in napp-it so ändern (Option: offline stellen)
vmxnet3
Ich würde aber (eventuell probehalber) auf Jumbo Frames verzichten.
Bringt etwas Performance und eventuell Probleme
ich habe das gerade durch: Pool exportieren, ESX runterfahren und Karte tauschen, neue Karte durchreichen, Pool importieren
@antiplope: Ich habe keine Idee, wie Du in Deinem Setup bei seq. Writes auf 100 MB/s ohne zusätzliche ZIL SSD (und bei aktivierten synchronen writes) kommst. In meinem Fall ist nicht mehr als 26MB/s drin. Mit der Intel 320 als ZIL verbessert sich die Situation, ohne sind es aber sehr mau aus.
Nachdem ich Jumboframes in ESXI und Solaris/ OI abgestellt, habe funktioniert das All-in-One-Konzept ohne Probleme.
Ich kann jetzt VMs in ESXI auf dem per NFS exportierten datastore einrichten - auch mit vmxnet3-Treiber.
Danke für den Tipp!
Ich muss am Wochenende noch ein paar Tests machen, um mich zu entscheiden, ob ich die VMs auf NFS datastore or ISCSI datastore einrichte.
Meine ersten Tests haben signifikante Performance-Unterschiede (bei seq. reads) gezeigt. Muss das aber nochmals mit IOmeter nachmessen, da ich CrystalDiskMark nicht (mehr) traue (die Varianzen der messungen sind zu gross).
@antiplope: Ich habe keine Idee, wie Du in Deinem Setup bei seq. Writes auf 100 MB/s ohne zusätzliche ZIL SSD (und bei aktivierten synchronen writes) kommst. In meinem Fall ist nicht mehr als 26MB/s drin. Mit der Intel 320 als ZIL verbessert sich die Situation, ohne sind es aber sehr mau aus.
Abschliessend noch ein paar Fragen und eine Beobachtung bszgl. Comstar/iscsi mit napp-it 8k:
1) Das iscsi-LUN liegt ja in einem ZFS Folder: Ich nehme an, ich muss in diesem Fall write-sync auf "standard" (d.h. keine asynchronen Writes) stellen. Was wären die Konsequenzen, wenn ich das nicht tue?
2) Den Write-Back Cache des LUNs habe ich "enabled" (safe but slow) gestellt: Was sind die Konsequenzen, wenn ich das nicht tue?
3) Ich bin nicht in der Lage mit napp-it ein CHAP user/pwd einzurichten. Wenn ich es über das Comstar-Menü (Edit Target) eingebe, ist es anschliessend in der Target-Übersicht als "unset" deklariert. Mein Eindruck ist, dass napp-it ein "+"-Symbol an den entsprechenden CLI-Befehl anhängt und der Befehl daher nicht ausgeführt wird.
Per Kommandozeile kann ich den Befehl ausführen. Leider habe ich es auch anschliessend nicht geschafft, das ISCSI LUN unter Windows 7 mit CHAP-Authentifizierung einzubinden. Das target wird discovered. Wenn ich unter "advanced settings" im initiator CHAP username und Passwort (12 Zeichen) eingebe, erhalte ich immer einen "Authentification Error". Ohne Chap kein Problem.
Muss ich weitere Services unter napp-it aktivieren?
Eigentlich sollte das zusätzliche Log device bei großen sequential writes genau 0 Unterschied machen, v.a. bei CIFS. Das dürften bei dir also zufällige Schwankungen sein.
Grüße
Hallo,
ich weiss zwar nicht ob schonmal jemand gefragt hat aber....
Ist es möglich einen zfs Pool der unter Linux (ZFS on Linux) erstellt wurde in Opensloaris/Indiana zu importieren?