[Sammelthread] ZFS Stammtisch

[layerbreak]

@DieTa
Du schreibst in deinem Blog, dass du S.M.A.R.T. vergessen hast an den onboard HDs zu aktivieren.
Wie wird S.M.A.R.T. denn aktiviert/deaktiviert? Ich war der Meinung, dass bei neuen HDs Dies standardmässig on ist und sich nicht ändern lässt.

 

[Gelöschtes Mitglied 117520]

@DieTa
Du schreibst in deinem Blog, dass du S.M.A.R.T. vergessen hast an den onboard HDs zu aktivieren.
Wie wird S.M.A.R.T. denn aktiviert/deaktiviert? Ich war der Meinung, dass bei neuen HDs Dies standardmässig on ist und sich nicht ändern lässt.

Im BIOS - zumindest war es bisher immer so Kann jetzt keine Details nennen, da ich noch die Backups auf den Filer zurückspiele und erst dann in das BIOS komme, aber ich bin mir zu 99.9% sicher, dass es dort aktivier- und deaktivierbar ist.

 

[baldi]

Ich hab ein kleines Problem ... und zwar werden bei mir nicht alle Festplatten "korrekt" erkannt.

Der format Befehl zeigt mir folgenden ans:

       5. c1t0d0 <ATA-WDC WD20EARS-00M-AB51-1.82TB>
          /pci@0,0/pci8086,3b42@1c/pci1000,3140@0/sd@0,0
       6. c1t1d0 <ATA-WDC WD20EARS-00M-AB51-1.82TB>
          /pci@0,0/pci8086,3b42@1c/pci1000,3140@0/sd@1,0
       7. c1t2d0 <ATA-WDC WD20EARS-00M-AB51-1.82TB>
          /pci@0,0/pci8086,3b42@1c/pci1000,3140@0/sd@2,0
       8. c1t3d0 <DEFAULT cyl 60798 alt 2 hd 255 sec 252>
          /pci@0,0/pci8086,3b42@1c/pci1000,3140@0/sd@3,0
       9. c1t4d0 <DEFAULT cyl 60798 alt 2 hd 255 sec 252>
          /pci@0,0/pci8086,3b42@1c/pci1000,3140@0/sd@4,0
      10. c1t5d0 <ATA-WDC WD20EARS-00M-AB51-1.82TB>
          /pci@0,0/pci8086,3b42@1c/pci1000,3140@0/sd@5,0
      11. c1t6d0 <ATA-WDC WD20EARS-00M-AB51-1.82TB>
          /pci@0,0/pci8086,3b42@1c/pci1000,3140@0/sd@6,0
      12. c1t7d0 <ATA-WDC WD20EARS-00M-AB51-1.82TB>
          /pci@0,0/pci8086,3b42@1c/pci1000,3140@0/sd@7,0

Nummer 7 & 8 werden soweit ich das sehe nicht richtig erkannt ?!
Es sind alles die gleichen Festplatten und hängen auch am gleichen Controller Intel SASUC8I.

 

[Gelöschtes Mitglied 117520]

Das Problem habe ich auch - kannst Du aus meiner Sicht aber fast ignorieren. Meine kompletten WD Platten werden so angezeigt, laufen aber problemlos. Die Hitachis hingegeben werden brav erkannt.

 

[baldi]

Das Problem habe ich auch - kannst Du aus meiner Sicht aber fast ignorieren. Meine kompletten WD Platten werden so angezeigt, laufen aber problemlos. Die Hitachis hingegeben werden brav erkannt.

Ich kann halt deswegen auch die SMART Werte nicht auslesen.
Bei dir funktioniert dies ja trotzdem?

root@enterprise:/# /usr/local/sbin/smartctl -a -d scsi /dev/rdsk/c1t4d0
smartctl 5.39.1 2010-01-28 r3054 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

Smartctl open device: /dev/rdsk/c1t4d0 failed: No such device

 

[Gelöschtes Mitglied 117520]

Stop! Muss mich korrigieren. Die werden doch angezeigt - da habe ich was durcheinandergeworfen...

AVAILABLE DISK SELECTIONS:
       0. c0t0d0 <ATA-Hitachi HDS72101-A39C-931.51GB>
          /pci@0,0/pci1458,b002@11/disk@0,0
       1. c0t1d0 <ATA-Hitachi HDS72101-A3EA-931.51GB>
          /pci@0,0/pci1458,b002@11/disk@1,0
       2. c0t2d0 <ATA-Hitachi HDS72101-A3EA-931.51GB>
          /pci@0,0/pci1458,b002@11/disk@2,0
       3. c0t3d0 <ATA-Hitachi HDS72101-A3EA-931.51GB>
          /pci@0,0/pci1458,b002@11/disk@3,0
       4. c0t4d0 <ATA-Hitachi HDS72101-A39C-931.51GB>
          /pci@0,0/pci1458,b002@11/disk@4,0
       5. c0t5d0 <ATA-Hitachi HDS72101-A3EA-931.51GB>
          /pci@0,0/pci1458,b002@11/disk@5,0
       6. c2d0 <DEFAULT cyl 19454 alt 2 hd 255 sec 63>
          /pci@0,0/pci-ide@14,1/ide@0/cmdk@0,0
       7. c3t0d0 <ATA-WDC WD10EADS-65L-1A01-931.51GB>
          /pci@0,0/pci1002,5978@2/pci1000,3140@0/sd@0,0
       8. c3t1d0 <ATA-WDC WD10EADS-65L-1A01-931.51GB>
          /pci@0,0/pci1002,5978@2/pci1000,3140@0/sd@1,0
       9. c3t2d0 <ATA-WDC WD10EADS-65L-1A01-931.51GB>
          /pci@0,0/pci1002,5978@2/pci1000,3140@0/sd@2,0
      10. c3t3d0 <ATA-WDC WD10EADS-00L-1A01-931.51GB>
          /pci@0,0/pci1002,5978@2/pci1000,3140@0/sd@3,0

und

root@karinka:~# ./temps.sh 
Drive c2d0 temp is 
Drive c0t0d0 temp is 
Drive c0t1d0 temp is 
Drive c0t2d0 temp is 
Drive c0t3d0 temp is 
Drive c0t4d0 temp is 
Drive c0t5d0 temp is 
Drive c3t0d0 temp is 26C
Drive c3t1d0 temp is 27C
Drive c3t2d0 temp is 26C
Drive c3t3d0 temp is 25C

Die Intel SASUC8i's werden angezeigt - der Controller hat SMART aktiviert, onboard ist's deaktiviert. Daher werden bei den ersten 7 Platten (c2d0 sowie c0t0d0 -> c0t5d0) nicht angezeigt.

Allerdings habe ich auch mit c2d0 so ein Problem wie Du es hast:

root@karinka:~# /usr/sbin/smartctl -a -d scsi /dev/rdsk/c2d0   
smartctl 5.39.1 2010-01-28 r3054 [i386-pc-solaris2.11] (local build)
Copyright (C) 2002-10 by Bruce Allen, http://smartmontools.sourceforge.net

Smartctl open device: /dev/rdsk/c2d0 failed: No such device

 

[DarkDeveloper]

Bzgl. Scrub-Performance: Der letzte auf meinem RAID-Z1 aus 6 1TB Platten (~4,5TB davon 100GB frei) ist in ca. 3 - 3,5 Stunden durchgelaufen. Ich habe in der Zeit allerdings auch nicht mit dem System gearbeitet und der überwiegende Teil der Dateien ist 10MB oder größer. Ob ein Scrub bei sehr kleinen Dateien eher in einen Random-IO-Modus geht kann ich daher nicht sagen.

 

[mlampe]

@barnacle2k: Danke für die Informationen.

In der Zwischenzeit habe ich mich weiter mit den Komponenten beschäftigt.
Bei den XEON CPU's schwanke ich zwischen X3430 und L3426.
Wobei die L3426 CPU ~100€ mehr kostet, im idle Zustand aber weniger verbraucht und in dem aktuellen Gehäuse (Q08) nicht so viel Abwärme erzeugt.

Habe auch mal in der "Bucht" gesucht und bin dabei auf diesen Speicher Link (2x8GB Micron DDR3 1333 ECC reg. ) gestoßen.
Der ist angeblich für das Supermicro MB X8SIL-F zertifiziert. Infos bei Supermicro finde ich dazu allerdings nicht.

Was soll ich davon halten?

Eine Alternative, allerdings nicht günstiger, dazu wäre der bereits gepostete Kingston Speicher mit 1066Mhz --> Link.

Ich möchte mit 4x2TB Festplatten starten und dabei auch Dedub nutzen.
Es werden also nachher 3 virtuelle Maschinen sein: 1x Nexenta,SOL11Express oder Openindiana und 2x Linux Maschine.

Macht es daher Sinn zuerst doch "nur" 16GB zu kaufen und sehen obs reicht oder direkt 32GB und gut ist?

Würde es dabei einen nennenswerten Unterschied machen, ob der Speicher mit 1066 oder 1333Mhz läuft?


Ich hoffe meine "Quälerei" mit Fragen nervt nicht.

Ich möchte blos nicht nochmal Hardware kaufen, die sich dann wieder als unsinnig, falsch oder inkompatible herausstellt.

Gruß
mlampe

 

[gea]

wg Speicherkauf zum x8-sil
Supermicro X8SIL-F compatible RAM? - Web Hosting Talk
der thread beschäftigt sich damit.

Die Speicherperformance würde ich nicht weiter beachten,
Hauptsache er läuft zuverlässig.

wg Speicherausbau.
wenn die Maschine zum Virtualisieren mit esxi genutzt wird, so kann esxi zwar Speicher-Sharing, dennoch sollte nicht viel weniger Ram da sein, als benötigt wird. Zunächst 16 GB reg-Ram (2x8) nehmen und später ausbauen ist aber kein Problem.


Mit 16 GB kann man dem Storage Server 4-8 GB zuweisen und den Rest an die anderen verteilen. Bitte beachten Dedup allein braucht immer ca 2,5 GB RAM pro TB Daten. Zusätzlich ist eine SSD als Read-Cache empfehlenswert. Es kostet aber immer Performance. Bei den Plattenpreisen würde ich das daher nicht auf dem VM-Storage machen.

Ich habe das Board selber als Testsystem mit L-Xeon.
Mir reicht die Performance. Ob der Preisunterschied aber jemals übers Stromsparen reinkommt muss ich noch sehen.

Mit Dedup würde ich wohl die schnelleren Xeons bevorzugen. Auf jeden Fall wenigstens eine Read-Cache SSD (>50GB) pro Pool einrechnen und richtig Speicher und 4 Cores zuweisen.

Gea

 

[mlampe]

@gea: Vielen Dank für die vielen Informationen.

Ich habe vor auf einer 160GB 2.5" SATA HDD VMware ESXi 4.x zu installieren.
Auf dem restlichen Datenspeicher (VMware vmfs) der 160GB HDD (ich denke ca. 130GB gross)
werden dann die 3 virtuellen Maschinen (1x ZFS OS, 2x Linux OS) gehostet.
Den Intel SASUC8I werde ich per vt-d zur ZFS Maschine durchreichen
und dort die Datenplatten für ZFS anschließen.

Wie viele und welche HDD's, ob per mirror oder raidz dort vorerst angeschlossen werden weiß ich noch nicht genau.
Ich habe überlegt die 2TB WD HDDs, die ich jetzt habe, als Backup zu nutzen und diese dann "in den Schrank zu legen".

Ich hatte mal zum Start an 4x2TB als raidz gedacht, die ich mir
von Hitachi, Seagate oder Samsung neu kaufen würde.
Die daraus resultierenden ~5.4TB netto Kapazität im Pool decken vorerst meinen Bedarf.
Dort werden keine virtuellen Maschinen per NFS oder iSCSI gespeichert.
Wenn die meisten Daten (Multimedia, Sicherungen von Windows-Clients, Save-Games von Spielen,...)
ersteinmal in dem Pool sind, dann werden die meisten davon eigentlich nur noch im Random-Zugriff gelesen und nur ab und zu mal ausgetauscht.

Ich muss mal sehen, ob mir Dedub bei den Daten überhaupt etwas bringt.
Das werde ich, denke ich, mit einem Mirror-Pool aus 2x2TB HDDs,
genug RAM für Dedub mitsamt meinen Daten dann zuerst mal testen.
Davon mache ich dann unter anderem auch den Kauf weiterer 16GB RAM abhängig.

@gea: Auf der von Dir genannten Seite zum Thema Speicher habe ich auch schon nachgesehen und nachgefragt.
Ich hatte den Link auf deiner Homepage zu napp-it gefunden.
Im Nexenta forum habe ich ebenfalls schon viel gelesen.
Mich würde interessieren welche Speichermodule du auf dem X8SIL-F nutzt.


Zum Thema Speicher: Ich werde mir dann wohl KINGSTON-VALUERAM KVR1066D3Q8R7SK2/16G zulegen.
Was anderes/besseres finde ich nicht zu einem akzeptablen Preis.
Dieses Kit habe ich bei einem von Kingston genannten Händler für ~270€ incl. Versandkosten gefunden.


Ich werde das jetzt bald bestellen und dann auch hier meine Ergebnisse / Erfahrungen mitteilen (können).

Gruß
mlampe

 

[gea]

ich habe momentan 4x2 GB RAM und werde irgendwann auch auf 8GB Module wechseln

Ich habe bei mir übrigens alle VM's bis auf die Basis-Storage-VM immer auf dem ZFS Pool liegen (als NFS Datastore). Das ist nicht nur für die VM's sicherer und viel schneller sondern auch viel einfacher im Handling. Ich share es nämlich nicht nur per NFS sondern auch per CIFs und habe somit einen schnellen Zugang zum Kopieren oder klonen oder per Windows-Vorherige Version Zugriff auf snaps.

Snapshots mache ich immer per ZFS (falls hotsnap gebraucht wird, erst ESXi Snapshot machen, dann ZFS Snapshot um anschliessend ESXi Snap zu löschen) da es dann keine Einschränkung der Anzahl und kein Performance oder Platzproblem gbt.

 

[Gr3yh0und]

Bedenke bei den 2TB Platten die 4kb Sektor Geschichte, wenn du Performance benötigst. (Siehe die letzten Seiten/Google)

Sonst klingt es Klasse. Bedenke aber zusätzlich (Hab ich heute schmerzvoll selber erlernt), dass du per VT-D einen HostbusController (HBA) nur exklusiv zu einer VM per Passthrough durchschleifen kannst. Ergo sollten die anderen Linux oder spätere Spielereien keine "eigenen" Datenplatten benötigen und du musst per NFS auf deinen Filer zurückgreifen. (Was ja nicht schlecht sein muss, aber ist vllt gut zu wissen).

 

[mlampe]

Die weiteren (ausser natürlich der ZFS Maschine ) virtuellen Machinen doch auf den
zpool als NFS Datastore zu legen hat doch mehr Vorteile als mir bewust war.
Mit VMware Vsphere und auch ESXi als "Standalone" kenne ich mich in der Theorie aus.
Mit einem ESXi als Standalone habe ich auch Praxiserfahrung.
Aber in Verbindung mit einem zfs basierten Datastore werden das meine ersten Schritte sein.

Ich hatte mal aus der Installations-CD des ESXi 4.1 das eigentliche "ESXi Image" auf einen USB-Stick entpackt
und konnte diesen dann mit dem DQ57TM Mainboard booten.
Auf diesem USB-Stick habe ich u.a auch die Onboard Intel Nic, die nicht vom ESXi erkannt wurde, hinzugepatcht.
So konnte ich dann mit dem Core i5 650 zusammen vt-d nutzen.
Ich wollte dann einzelne SATA-Anschlüsse des Onboard-Controllers an die Nexenta-Maschine durchreichen.
Doch nach dem ESXi Reboot war der ganze Controller weg und damit auch mein Datastore.
Um einen Datastore zu haben habe ich dann den Treiber für den 1-Port SIL 3531 PCIe Controller ebenfalls dem ESXi hinzugepatcht.
Dabei konnte ich der Nexenta-Maschine auch nur noch ~5.3GB RAM (von 8GB) geben.
Der restliche RAM ist für den ESXi und vor allem für vt-d draufgegangen.
Warum das so ist habe ich bis jetzt nicht herausgefunden und war mir auch vorher nicht bewußt.

Ich habe also auch leider schmerzlich erfahren / festgestellt, dass ich mit dem DQ57TM MB und nur 8GB RAM mein Vorhaben nicht umsetzen kann.

Ich habe 4x 2TB WD20EARS hier, die ich zusammen mit der ursprünglichen Hardware gekauft habe.
Die 4K Problematik ist mir viel zu spät nach dem Kauf bewußt geworden. Daher habe ich meine Daten umkopiert und nun 3x 2TB WD20EADS hier liegen.

Glücklich bin ich damit allerdings nicht und habe an 4 neue 2TB HDDs gedacht.
Dann kann ich später an dem 8-Port Intel SAS Controller noch 4 weitere Platten (zwei mirror pools oder ein weiteres raidz) anschließen.


So, nun genug der Geschicht die, glaube ich, eher uninteressant ist.


Mit dem X8SIL-F Mainboard gehört all dies der Vergangenheit an...

@gea & @Gr3yh0und
Mit euren Erfahrungen und Konfigurationen helft ihr mir sehr es diesmal richtig zu machen. DANKE!

gruß
mlampe

 

[Gr3yh0und]

Hey,

Ja, ich bin auch erst gegen die Wand gefahren. Ich hab auch recherchiert vorher etc. und bin trotzdem auf die Schnauze gefallen. Ich hätte WETTEN können, dass mein i3 530 VT-D kann, aber ich wurde dann auch belehrt, dass VT-X und VT-D 2 verschiedene Paar Stiefel sind.

Long Story short: Ich habe gestern abend mein natives Nexenta gekillt und einen ESXi aufgesetzt und auch meine Intel NIC meines H55 in das vSphere Image hinzugefügt. Dann habe ich feststellen dürfen, dass VT-D bei mir eben nicht geht. -> Dann habe ich nach Alternativen gesucht und das hier gefunden:
RDM mapping of local SATA storage for ESXi « David Warburton
Creating RDMs on SATA drives

Ich habe jetzt meine 3 ZFS Platten (Raid-Z) direkt per RDM an meine VM durchgemappt und das ZFS geladen. Funzt. Genauso performant (oder fast) wie nativ. Evtl. ist das auch eine Lösung für dich um vom VT-D abzukommen?

 

[mlampe]

Ich hatte mir zuerst einen Core i3 530 gekauft, genau wie du. Daraufhin habe ich auf den Core i5 650 gewechselt (wegen vt-d).

Ich habe dass "durchmappen" der HDDs per RDM auch ausprobiert. Es hat auch funktioniert.
Da aber das MB nur 5 SATA-Steckplätze hat, 1 SATA Anschluß schon für die Systemplatte draufgeht,
der 16x PCIe Steckplatz doch nicht nutzbar ist und nur 1 PCIe 1x Slot für einen Zusatz-Controller übrig bleibt,
ist die Sackgasse nicht nur vorbestimmt, sondern auch komplett.

Ich habe somit einen Core i3 530, einen Core i5 650, 8GB RAM und das DQ57TM hier liegen.
Bis auf den Core i3 Prozessor bekomme ich eventuell die anderen Komponenten demnächst verkauft.

Dann würde sich das "Lerngeld" in Grenzen halten

 

[Gr3yh0und]

Mal das aktuellste Bios draufgespielt? Bei meinem Zotac H55 steht in den Biosversionen auch irgendwann mal, dass es die Programmierung des x16 geändert wurde um auch Raidkarten etc zu untzstützen. Ich trau mich nur nicht dieses aufzuspielen, da Zotac Probleme mit Updates hat und dann oft die Boards wohl tot sind danach...

ESXi kann man ja auch super vom USB Stick booten, würde dir +1x Sata geben. Das mit dem Controller is natürlich eklig...

Ich werde das System aber so wie es ist auch wieder wegschmeissen und dann mit Sandy Bridge von ITX auf mATX gehen um wieder mehr Möglichkeiten zu haben. Ob ich dann einen 2390T oder einen 2400 mit VT-D nehme, lasse ich mal dahingestellt.

 

[negotiator]

@mlampe

Bei mir laufen in einem X8SIA-F (ähnlich dem X8SIL-F, nur mehr PCIe-Steckplätze) 4x 4GB Kingston-RAM (reg. ECC, dual-rank, KVR1333D3D8R9S/4G) ohne Probleme.
Da die Module Dual-Rank sind, besteht noch die Möglichkeit, zwei weitere Module hinzuzufügen, d.h. aktuell wäre bei mir bei 24GB Schluß.

---------- Beitrag hinzugefügt um 10:27 ---------- Vorheriger Beitrag war um 10:19 ----------

ESXi kann man ja auch super vom USB Stick booten, würde dir +1x Sata geben.

Das war eine Option, über die ich auch länger nachgedacht habe. Das Problem dabei ist für mich allerdings (ESXi als Basis und dann Nexenta als VM), daß ich zwar den ESXi über USB booten kann, dann aber immernoch Storage für die Nexenta-VM benötige.
Da das als All-in-one-Lösung gedacht ist, d.h. kein SAN oder andere Storage-Lösung verfügbar, die Storage für die Nexenta-VM hosten könnte, bliebe lediglich der Ausweg, die Nexenta ebenfalls auf einem USB-Stick zu installieren. DAS ist mir allerdings bei den regelmäßigen Schreibzugriffen der Nexenta-VM zu heiss...

Als weiterer Punkt kam bei mir noch hinzu, daß die Platten des ZFS-Pools nach Möglichkeit bei Nichtbenutzung in den Spindown gehen sollten. Da die anderen VMs aber durchgehend Aktivität haben, würde dies nicht klappen. Daher liegen nun alle VMs (inkl. Nexenta) auf einer Systemplatte. Sicherheits- und performancetechnisch sicherlich suboptimal, aber ökonomisch.
Dass der ZFS-Pool aktuell trotzdem nicht in den Spindown geht, weil Nexenta sehr regelmäßig auf den Pool zugreift, ist eine andere Geschichte...

 

[layerbreak]

Offensichtlich haben Alle die gleichen Probleme. So langsam kommt Frust bei mir auf.
Ich bin nur froh, dass gerade Weihnachten war und ich, als Weihnachtsmann, meine ganzen Fehlkäufe meinen Kindern in Form von neuen PCs zukommen lassen konnte.

@mlampe
Du hast ja auf webhostingtalk.com nach bestimmten RAMs gefragt. Gestern haben sie dir vom Kauf abgeraten. Schau dir mal #56 an.
Die Dual-rank Module findest du Kingston Technology Company - Kingston Memory Search - Search Results for:
Es ist bei "ValueRam Server Premier Memory" der letzt aufgeführte. Bei klicken sie hier, kannst du die Module auch in Deutschland kaufen.

Wenn ich jetzt die Preise anschaue, bekomm ich einen Vogel - ich hab über 25 Euro/Riegel mehr bezahlt.
Kann man RAMs von verschiedenen Herstellern mixen?
Kann man 1333 mit 1066 MHz mixen?

 

[gea]

wg powermanagement

siehe Nexenta Project - Power Mgmt not working - The Nexenta Project
Damit die Platten abschalten, muss das ZFS Fault-management deaktiviert werden.

Wegen all-in-one
Wenn so etwas geplant ist und es stressfrei ablaufen soll, dann würde ich immer ein Serverboard mit Intel 3420 oder 5520, mindestens zwei 8x pci-e slots (z.B. ab 150 Euro mit obigem x8SIL-F), Xeon und extra LSI 1068 oder 2008 Controller nehmen.

Alles andere ist böse Bastelei und Proof of (not running) Concept oder mit vielen wenns und abers behaftet.

 

[Gr3yh0und]

Als weiterer Punkt kam bei mir noch hinzu, daß die Platten des ZFS-Pools nach Möglichkeit bei Nichtbenutzung in den Spindown gehen sollten. Da die anderen VMs aber durchgehend Aktivität haben, würde dies nicht klappen. Daher liegen nun alle VMs (inkl. Nexenta) auf einer Systemplatte. Sicherheits- und performancetechnisch sicherlich suboptimal, aber ökonomisch.
Dass der ZFS-Pool aktuell trotzdem nicht in den Spindown geht, weil Nexenta sehr regelmäßig auf den Pool zugreift, ist eine andere Geschichte...

Ist bei mir aktuell genauso. Habe eine F1 320GB als Systemplatte und ESXi Datastore - auch in meinen Augen erstmal das sinnvollste. Auch wenn mich die Ideen mit iSCSI vom Nexenta ZFS aus wirklich reizen. Aber das sind mal Spielereien für die Zukunft

Bei meinem kommenden Sandy Bridge Board werde ich auf USB 3.0 achten und mir dann so einen 25€ 16GB Adata Stick holen für ESXi holen.

 

[gea]

Ist bei mir aktuell genauso. Habe eine F1 320GB als Systemplatte und ESXi Datastore - auch in meinen Augen erstmal das sinnvollste. Auch wenn mich die Ideen mit iSCSI vom Nexenta ZFS aus wirklich reizen. Aber das sind mal Spielereien für die Zukunft

Bei meinem kommenden Sandy Bridge Board werde ich auf USB 3.0 achten und mir dann so einen 25€ 16GB Adata Stick holen für ESXi holen.

nun ja
Gratis esxi ohne SAN macht keinen Spass. Allein das Hoch/ Runterladen/ Sichern/ Klonen von VM's dauert ewig, Snaps gehen nur ein paar und es wird sofort ultra lahm und die Performance auf dem lokalen datastore ist auch nicht besonders. Das Besondere an all-in-one ist ja gerade, dass die klassischen Komponenten VM-Server, SAN und Netzwerkswitch virtuell in einer Kiste aufgebaut werden. Auch würede ich immer NFS statt iSCSI nehmen. Ist genausoschnell, einfacher und man kommt per SMB/AFP an die VM' ran + snaps per Windows vorherige Version.

zum Thema USB Stick an USB3
Ich vermute mal, dass der Stick nicht mal USB2 ausnutzt. Ausserdem sind 16 GB zu wenig, um weitere VM's darauf zu sichern. Es würde also auf jeden Fall ein weiterer lokaler oder SAN-Datastore gebraucht werden (warum eigentlich USB Stick, besser eine >=32GB SSD nehmen, ist kaum teurer).

Was ich gerne mal testen würde, wäre eine >=32 GB SSD mit mini-USB Anschluss für esxi und Nexenta SAN damit die SATA per pass-through durchgereicht werden können. Mit 6 x SATA könnte man dann schon einen schönen all-in-one aufbauen und würde keinen extra SAS Controller brauchen.

 

[mlampe]

@Gr3yh0und
Ich habe bis vorletzte Woche verschiedenes ausprobiert, natürlich auch mit aktuellstem Bios.
--> Keine Änderung.

Das die Bios-Updates von Zotac nicht immer sauber laufen habe ich schon oft gelesen. Unter den Umständen wäre mir das auch zu heiß.

Die Hardwaremodifikation an dem Q08 war relativ schnell abgeschlossen.
Die Softwareseite dagegen hat nach zig Wochen mit Unterbrechungen
zwischendurch (wegen ) meine Lust daran stark sinken lassen.

Die Tatsache, dass meine Daten immernoch "unsicher" und auf zig einzelnen Festplatten verteilt sind,
hat mich erneut motiviert nun endlich eine Lösung für die Probleme zu suchen (Auch wenn das bedeutet neue Hardware zu kaufen).

@negotiator

@mlampe

Bei mir laufen in einem X8SIA-F (ähnlich dem X8SIL-F, nur mehr PCIe-Steckplätze) 4x 4GB Kingston-RAM (reg. ECC, dual-rank, KVR1333D3D8R9S/4G) ohne Probleme.
Da die Module Dual-Rank sind, besteht noch die Möglichkeit, zwei weitere Module hinzuzufügen, d.h. aktuell wäre bei mir bei 24GB Schluß.

Bei deinem Board sind auch 6x DDR3 Bänke verbaut (wegen tripple-channel des LGA1366 Prozessors).
Bei dem X8SIL-F stehen aber bloß 4x DDR3 Bänke zur Verfügung. Ich möchte eventuell auf 32GB RAM
ohne kompletten Neukauf der 4x4GB RAM Riegel aufrüsten können.
Demnach muss ich die 16GB als 2x8GB kaufen, damit ich noch zwei Bänke frei habe.

Zum Thema ESXi auf USB-Stick und Datastore:
Damit bin ich komplett durch. Ich hatte das ja am laufen (SATA HDD für Datastore an PCIe 1x Controller), aber das ist dennoch nur suboptimal.
Mann kann auch keinen USB-Stick unter ESXi als Datastore definieren (Das Bit auf dem USB-Stick für die Erkennung als Wechseldatenträger habe ich nicht gelöscht).
Davon abgesehen wird meines wissens USB-Hardware des Hosts nicht vom ESXi unterstützt.

@layerbreak
Gestern wurde mir auf webhostingtalk.com vom Kauf des angeblich "zertifizierten Speichers" der Ebay Auktion abgeraten.

Zitat aus #56 von webhostingtalk.com

And this not till next week:

KVR1066D3Q8R7S/8G

Dies ist das einzelne 8GB Modul, welches bei inprotec.net Link als
16GB Kit verkauft wird und auch als solches bei Kingston für das MB X8SIL-F aufgeführt ist (Dort allerdings unter "Additional Memory Upgrades").
Ich verstehe das so, dass das 8GB Modul Ende November 2010in den USA nicht zu bekommen war.

Wenn sich keine Quelle für die von Supermicro gelisteten und zertifizierten 8GB 1066Mhz. DDR3 ECC reg. RAM-Riegel findet, dann komme ich nicht drumherum es mit den 8GB Kingston Riegeln zu versuchen.

Gruß
mlampe

 

[layerbreak]

ich habe momentan 4x2 GB RAM und werde irgendwann auch auf 8GB Module wechseln

Ich habe bei mir übrigens alle VM's bis auf die Basis-Storage-VM immer auf dem ZFS Pool liegen (als NFS Datastore). Das ist nicht nur für die VM's sicherer und viel schneller sondern auch viel einfacher im Handling. Ich share es nämlich nicht nur per NFS sondern auch per CIFs und habe somit einen schnellen Zugang zum Kopieren oder klonen oder per Windows-Vorherige Version Zugriff auf snaps.

Snapshots mache ich immer per ZFS (falls hotsnap gebraucht wird, erst ESXi Snapshot machen, dann ZFS Snapshot um anschliessend ESXi Snap zu löschen) da es dann keine Einschränkung der Anzahl und kein Performance oder Platzproblem gbt.

Verstehe ich Dich richtig? Du hast auf dieser "Platte" (-use a 2x2,5" 160GB hardware raid-1 enclosure and attach it to onboard sata ( Raidsonic SR2760-2S-S2B)) ausschließlich ESXi und ein ZFS-Derivat. Ansonsten ist der Rest der "PLatte" ohne Nutzen.
Alle weiteren VMs speicherst du im ZFS-pool. Ich hab jetzt noch nicht mit ESXi gearbeitet, legt ESXi genauso wie VMWarePlayer oder Workstation die VM in eine bzw. mehere Dateien und der Speicherort kann bei ESXi frei gewählt werden?

Warum ist die Speicherung weiterer VMS im pool sicherer?
Ich plane zusätzlcih pfsense oder ipcop in einer ESXi-VM laufen zu lassen. Spricht da was dagegen?

Wegen all-in-one
Wenn so etwas geplant ist und es stressfrei ablaufen soll, dann würde ich immer ein Serverboard mit Intel 3420 oder 5520, mindestens zwei 8x pci-e slots (z.B. ab 150 Euro mit obigem x8SIL-F), Xeon und extra LSI 1068 oder 2008 Controller nehmen.

Alles andere ist böse Bastelei und Proof of (not running) Concept oder mit vielen wenns und abers behaftet.

Auf das all-in-one hast du mich ja erst gebracht. Ursprünglich hatte ich ja den i3-560 vorgesehen, muss jetzt aber auf Xeon wechseln. Auch scheinen 8GB RAM zu wenig zu sein.

Bedenke bei den 2TB Platten die 4kb Sektor Geschichte, wenn du Performance benötigst. (Siehe die letzten Seiten/Google)
.

Sorry, was meinst du damit?

Sonst klingt es Klasse. Bedenke aber zusätzlich (Hab ich heute schmerzvoll selber erlernt), dass du per VT-D einen HostbusController (HBA) nur exklusiv zu einer VM per Passthrough durchschleifen kannst. Ergo sollten die anderen Linux oder spätere Spielereien keine "eigenen" Datenplatten benötigen und du musst per NFS auf deinen Filer zurückgreifen. (Was ja nicht schlecht sein muss, aber ist vllt gut zu wissen).

Ich wollte eigentlich mehrere ZFS-Derivate (openindiana, NexentaCore, NexentaStor) als VM mit ESXi einrichten und bei jeder den gleichen HBA durchschleifen, also ein Plattenpool.
Es sollte aber immer nur eine VM laufen, um dann die einzelnen Derivate näher kennen zu lernen.

Kann man bei ESXi auch die onboard SATA durchschleifen?

 

[mlampe]

Zum Thema 4K (soweit ich das richtig verstanden habe)...

Das Problem, vor allen Dingen bezogen auf ZFS, ist und bleibt die 512Byte Emulation der Festplatten Firmware.
Mit 4K pro Sektor kann Nexenta und ZFS umgehen (z.B bei Flashspeicher -- SSD's), aber die Firmware der Festplatte meldet gegeüber dem Betriebssystem 512byte.
Man muß bei den 4K Festplatten auf das sog. Alignment der "Partition(en)" achten.

Aber selbst wenn man das getan hat, arbeitet ZFS intern mit variablen Blockgrößen mit bis zu 128KB.
Das heißt, wenn 1000byte geschrieben werden sollen, teilt ZFS die 1000Byte in 1 x 512byte + 1 x 488byte auf
und schreibt die Daten dann mit 2 Schreibzugriffen auf den Pool. Schuld daran ist die benutzte 512byte Emulation der Festplatten Firmware.

Zum Thema VMdirectPath beim ESXi:
Die CPU und das Mainboard müssen vt-d (bei AMD IOMMU) können.
Damit können dann "PCI-Geräte" exklusiv an eine virtuelle Maschine weitergereicht werden.
Ist der SATA-Controller also per vt-d an die Openindiana VM weitergereicht, dann steht der SATA-Controller
weder dem ESXi noch einer anderen VM (ausser der OpenIndiana VM natürlich ) weiterhin zur Verfügung.

Onboard-Komponenten sowie Steckkarten könne per vt-d weitergereicht werden.
Im Grunde genommen sind die Onboard-Komponenten ja auch nur per PCI oder PCIe angebunden.

EDIT: Das hatte Gr3yh0und ja schon geschrieben.

Virtuelle Maschinen:

Eine mit VMware Player erstellte Maschine kann auf einen ESXi transferiert werden
(z.B. mit dem kostenlosen VMware vCenter Converter) oder über den Datastore-Browser (im ESXi) kopiert werden.
Der Datastore (lokale Platte im ESXi als vmfs Dateisystem) besteht quasi auch "nur" aus Ordnern und Dateien.

Mit dem VMware vCenter Converter können auch physikalische Maschinen oder verschiedene "Image-Formate" in eine virtuelle Maschine konvertiert werden.
Ich habe das schon mehrfach erfolgreich genutzt.

 

[Gr3yh0und]

Bei den 4kb Sektoren hat baldi und ein paar andere 1-2 Seiten weiter vorne ein paar Benchmark Links gepostet. Offenbar ist die Anzahl der Platten auch ein Kriterium.

Wie mlampe erwähnt hat (und wir beide festgestellt) kann man den SAS HBA nur exklusiv einer VM geben. Wenn du aber sagst, es läuft immer nur ein Solaris-Derivat mit dem ZFS Datenpool am HBA, musst du halt vor jedem Wechsel der VM den HBA eben der anderen neu zuweisen. (Und am besten vorher ein zfs pool export/import)

@gea: Die Variante alle Snapshots und Co Geschichten auf eine NFS Freigabe in der virtualisierten Nexenta Maschine (bzw ZFS) abzulegen bleibt mir ja immernoch. Mehrere Datastores sind ja kein Problem. Allerdings will ich die Datenpools erstmal nur für andere Zwecke verwenden. Da muss man halt die "Nutzzwecke" der einzelnen Benutzer etwas variieren...

Nochmal kurz ne pauschalere Frage: Sollte mein aktuelles Raid-Z1 (3x 1,5TB) mal nicht mehr ausreichen, kann ich dann einzelne Platten in einem Jahr z.B. gegen 3TB austauschen (reihum jede einzeln und rebuilden/resilvern) und damit dann auch die Poolgröße inklusive funktionierendem Raid-5/Z1 vergrößern? (Auf dann 3x3TB)

 

[mlampe]

Nochmal kurz ne pauschalere Frage: Sollte mein aktuelles Raid-Z1 (3x 1,5TB) mal nicht mehr ausreichen, kann ich dann einzelne Platten in einem Jahr z.B. gegen 3TB austauschen (reihum jede einzeln und rebuilden/resilvern) und damit dann auch die Poolgröße inklusive funktionierendem Raid-5/Z1 vergrößern? (Auf dann 3x3TB)

So weit ich das gelesen habe ist das der einzige, mühselige Weg ein raidz (auch raidz2 und3) zu vergrößern.

 

[Gr3yh0und]

Die andere Alternative wäre halt wenn ich das richtig sehe noch ein Mirror ZFS (2x XXXXGB) oder ein weiteres Raid-Z1 (3x XXXXGB) dem Pool hinzufügen. Aber das ist in mehrerer Hinsicht dann die ineffizientere Variante (wenn auch schneller).

Mit der Cold Boot CD aka VMWare Converter hab ich in der Arbeit mit Cluster/SAN und ESX (3.5 damals) auch schon erfolgreich gearbeitet. Ne echt nette Geschichte!

 

[negotiator]

wg powermanagement

siehe Nexenta Project - Power Mgmt not working - The Nexenta Project
Damit die Platten abschalten, muss das ZFS Fault-management deaktiviert werden.

Vielen Dank, hatte den Thread im Nexenta-Forum auch bereits gelesen. Hatte das Fault Management mittels "svcadm disable fmd" ausgeschaltet, ad-hoc aber keine Änderung bemerkt. Ist da ein Restart fällig?
Was mich als Solaris-Neuling aber viel mehr interessieren würde: Was bewirkt denn das Abschalten des Fault Managements? Kann man das ohne Nebenwirkungen problemlos abstellen?

Wegen all-in-one
Wenn so etwas geplant ist und es stressfrei ablaufen soll, dann würde ich immer ein Serverboard mit Intel 3420 oder 5520, mindestens zwei 8x pci-e slots (z.B. ab 150 Euro mit obigem x8SIL-F), Xeon und extra LSI 1068 oder 2008 Controller nehmen.

Alles andere ist böse Bastelei und Proof of (not running) Concept oder mit vielen wenns und abers behaftet.

Sehe ich genau wie Du. Hier ist ja wie beschrieben ein X8SIA-F (3420) mit X3450 und entsprechend regECC-RAM im Einsatz, ebenso wie ein LSI1068E.
Was aber bei All-in-one nicht geht, ist das System ohne dedizierte Systemplatte laufen zu lassen. Da das Storage-System ja erst über eine VM bereitgestellt wird, kann diese folglich nicht auf dem Storage-System liegen. Da die Installation dieser VM auf einem USB-Stick aber entweder gar nicht funktioniert bzw. aufgrund der permanenten Schreibzugriffe der ZFS-VM (Logging, u.s.w.) nicht sinnvoll ist, braucht man m.E. zwingend bei einem AIO-System eine dedizierte Systemplatte, die die ZFS-VM hostet.

 

[gea]

Verstehe ich Dich richtig? Du hast auf dieser "Platte" (-use a 2x2,5" 160GB hardware raid-1 enclosure and attach it to onboard sata ( Raidsonic SR2760-2S-S2B)) ausschließlich ESXi und ein ZFS-Derivat. Ansonsten ist der Rest der "Platte" ohne Nutzen.

Korrekt. Der esxi bootet von dieser Platte. Auf dem restlichen Pltz liegt nur der SAN-Storage-Server. Anders geht es nicht. Alles andere liegt nachher auf dem SAN-Server. (Ist ja Sinn der Übung). 160 GB nehme ich deshalb, weil es nichts kleineres gibt und die WD Platten nicht mal 40 Euro kosten. Boot-Raid ist aber schon sinnvoll wenn es ein wichtiger Server ist.

All-In-One heisst ja gerade, die üblicherweise 3 Hardwareteile einer professionellen Lösung, nämlich VM-Server, NAS-Storage-Server und den SAN/Vlan-Switch in einer Kiste zu virtualisieren.

Alle weiteren VMs speicherst du im ZFS-pool. Ich hab jetzt noch nicht mit ESXi gearbeitet, legt ESXi genauso wie VMWarePlayer oder Workstation die VM in eine bzw. mehere Dateien und der Speicherort kann bei ESXi frei gewählt werden?

Korrekt

Warum ist die Speicherung weiterer VMS im pool sicherer?
Ich plane zusätzlcih pfsense oder ipcop in einer ESXi-VM laufen zu lassen. Spricht da was dagegen?

Der SAN-Server bietet ein NFS datastore auf ZFS. Im Vergleich dazu ist ESXi alles andere als gut. Insbesondere der Storage-Part von Gratis-esxi ist schon arg langsam und minimalistisch. Up/ Downloads von VM's oder ISO's mir dem eingebauten Dateibrowser ist eine arge Quälerei. Snapshot gehen nur ein paar und mit jedem wird es langsamer wobei der ESXi-eigene Storagepart eh schon langsam ist. Und die Datensicherheit im Vergleich zu ZFS - naja.

Weitere VM's daher auf dem ZFS-SAN-Server ablegen - Wie gesagt, ist das der Sinn des Ganzen. Viel schneller, viel sicherer, Snapshots, CIFS-Zugang... Storage Features ohne Ende.

Auf das all-in-one hast du mich ja erst gebracht. Ursprünglich hatte ich ja den i3-560 vorgesehen, muss jetzt aber auf Xeon wechseln. Auch scheinen 8GB RAM zu wenig zu sein.

Wir haben mehrere VM-Server mit mehreren SAN-Storage Systemen mit 10GBe Switche im Einsatz.
All-In-One habe ich entwickelt, um die Anzahl der Server und Switche und damit der Fehlerquellen zu reduzeren.
Wir haben statt ursprünglich 4 VM-Server + 4 SAN-Server (8 Rechner) jetzt noch 4 All-In-One + Reserve/ Testsysteme.

Mein Testsystem hat aber auch nur 8GB. Reicht für den Anfang. Xeon sollte es aber schon sein.

Ich wollte eigentlich mehrere ZFS-Derivate (openindiana, NexentaCore, NexentaStor) als VM mit ESXi einrichten und bei jeder den gleichen HBA durchschleifen, also ein Plattenpool.
Es sollte aber immer nur eine VM laufen, um dann die einzelnen Derivate näher kennen zu lernen.

Das geht so ncht bzw.macht keinen Sinn. Der SAN Server läuft immer und nur er hat die Platten. Alle anderen VM's erhalten Ihre Platten virtuell vom SAN (Wie gesagt, Sinn der Übung)

Kann man bei ESXi auch die onboard SATA durchschleifen?

Sollte eigentlich exclusiv gehen (esxi muss dann aber von usb booten, Ich bin mir aber nicht sicher, ob auf dem USB-Stick auch ein datastore angelegt werden kann. Wenn nicht, dann macht es keinen Sinn)

 

[Gelöschtes Mitglied 117520]

Ihr seid ja heute echt fleißig beim Schreiben Da kommt man ja kaum beim Lesen mit.

Mein Filer ist nun fertig Alle 15 Platten laufen

Allerdings habe ich noch nen kleines Problem mit dem messen der Plattentemperaturen. Da nun alle Daten migriert sind, habe ich vorhin im BIOS nachgeschaut und SMART Status ist aktiviert.

Folgende Meldung erhalte ich:

root@karinka:/etc/avahi/services# svcs -xv
svc:/site/smartmontools:default (SMART monitoring service (smartd))
 State: maintenance since Fri Jan 07 21:32:48 2011
Reason: Restarting too quickly.
   See: http://sun.com/msg/SMF-8000-L5
   See: man -M /usr/local/share/man -s 1M smartmontools
   See: /var/svc/log/site-smartmontools:default.log
Impact: This service is not running.

"Restarting too quickly" - Ähm ja - und wie starte ich "langsam" neu bzw. wie starte ich den smartmontools-Job überhaupt von Hand?

Die Platten am Intel bzw. LSI schreiben brav ihre Temperaturen auf (die ich dann per Munin vom Intranetserver aus abrufe):

Jemand 'ne Idee? Ist Nexenta Core 3.0.1 (NCP)