Welchen RAID Controller für HP DL380 G7

[Benten]

Hallo zusammen,

ich besitze einen HP DL380 G7 (mit 3,5' Schächten) und möchte auf ihm ESXi laufen lassen.
Als Guest habe ich einen Windows Server 2012 R2, der als Domain-Controller und Dateiserver dienen soll. Neben ihm sollen noch ein paar VMs laufen (hauptsächlich Tests).

Ich habe nun 4 neue WD RED NAS 5TB hier liegen.
Zudem habe ich 2 Intel 730 480GB günstig erworben.

Nun bin ich mir nicht ganz sicher, wie ich das meiste aus diesem System herausbekomme.

Der Onboard RAID Controller (P410i) hat noch kein Cache installiert.
Ich würde gerne die SSDs im RAID1(VMs) und die WDs im RAID10 (Storage) laufen lassen.
Aber ist es eine gute Entscheidung diese beiden RAIDs an den ESXi Host zu übergeben?
Ich denke es wird performancetechnisch ungünstig sein, die 10TB als virtuelle Festplatten an den Windows Server durchzureichen oder?

Um Performance zu gewinnen, könnte ich natürlich noch das BBWC Modul mit 512MB oder 1GB einbauen. Doch bringt das bei meinem Setup wirklich einen Vorteil?
Soweit ich weiß, ist die Backplane des HDD-Käfigs auf SATA2 limitiert.., sodass ich eh nicht die volle Leistung der SSDs abgreifen würde.

Meine zweite Überlegung wäre es ein zweiten RAID Controller zu erwerben und den an den Windows Server durch Passtrough weiterzureichen. Dann könnte ich die WDs bzw. das RAID direkt im Windows Server sauber verwalten.
Dazu habe ich mir folgende Kandidaten mal näher angesehen: HP P420, LSI MegaRAID 9271-8i (PCI-E 3, für die Zukunft) und die Vorgängerversion LSI Megaraid 9260-8i.
Nach manchen Threads mögen die Proliant anscheinend keine Nicht-HP-Karten im Gehäuse , hat da jemand Erfahrungen?
Da der Server im zwar geschlossenen Rack im Büro steht, sollte dieser dennoch nicht viel lauter werden.

Ich hoffe jemand von euch kann mir ein paar Tipps geben, wie ich meinen Server am besten aufsetze, um am meisten aus ihm herauszubekommen.

Danke und Gruß
Benten

 

[DunklerRabe]

Ich würde sagen es spricht nicht viel dagegen den P410i zu benutzen. Besorg dir das Cachemodul, damit du die Schreibzugriffe auf das Array mit den WD Red cachen kannst. Für das Array mit den SSDs solltest du das Caching dann abschalten.
Devices an VMs durchreichen würde ich möglichst vermeiden, d.h. du gibst den Storage deinem ESX und stellst auf den Datastores dann den Storage für deine VMs bereit.

Der P410i macht SAS mit 6G, ich weiß aber gerade nicht auswendig ob er das auch bei SATA machen würde. Aber selbst wenn, 3G wäre auch völlig ausreichend. Die Performance kommt ja aus den niedrigen Zugriffszeiten, ich glaube nicht, dass du in der Bandbreite limitiert bist?

 

[Benten]

Danke für deine Antwort!

Ich habe mir bereits das 1GB FBWC Modul mit Batterie bestellt, dass soll wohl sehr wichtig sein

Also der Server ist mit 3x Gbit im Teamingmode ans LAN angeschlossen, daher sollten 300MB/s drin sein um auf den Fileserver zuzugreifen.

Kann man denn das Chaching pro RAID einstellen?
Ich denke die SSDs im RAID 1 an 3Gbit sollten für die VMs noch ausreichend flott sein, wie du schon sagst, die Zugriffszeit ist da vorrangig.

Mir ging es nur darum ob der Zwischenschritt mit der virtuellen Festplattengröße von 10TB für den Fileserver so gut ist.

Und ob das unter ESXi 6 möglich ist diese große Platte so an den Gast weiterzugeben.

 

[DunklerRabe]

Kann man denn das Chaching pro RAID einstellen?

Jepp, das geht

Mir ging es nur darum ob der Zwischenschritt mit der virtuellen Festplattengröße von 10TB für den Fileserver so gut ist.

Und ob das unter ESXi 6 möglich ist diese große Platte so an den Gast weiterzugeben.

Was genau sind denn da deine Bedenken? ich weiß auswendig jetzt nicht, ob es Best Practices von VMware gibt die dem bei einem einzelnen Server widersprechen würden, aber technisch sehe ich da keine Probleme.

 

[Benten]

Ich denke da an den Aufwand beim Lesen und Schreiben, da ja nun nicht direkt auf Hardwareebene geschrieben/gelesen wird.
Ich habe keine Vorstellung darüber wie gut da die Skalierung mit der Größe ist.

Deswegen hatte ich die Überlegung, aber gut möglich das man das eh nicht wahrnimmt beim reinen Fileserver.

 

[DunklerRabe]

Die extra (Storage-)Logik des ESX zwischen dem I/O der VMs und dem physikalischen Storage wird dir nicht so viel Performance wegnehmen, dass das relevant wäre. Wenn das relevant wird ist deine Umgebung eh so groß, dass du das technisch mit leistungsfähigerer Hardware, die du dann sowieso brauchst, wieder abfangen kannst.

 

[olqs80]

Danke für deine Antwort!
Also der Server ist mit 3x Gbit im Teamingmode ans LAN angeschlossen, daher sollten 300MB/s drin sein um auf den Fileserver zuzugreifen.

Nur als Hinweis. Bei einem Team aus 3x1 GBit können nur bei mehreren Clients die 3 GBit ausgelastet werden. Ein einzelner Client, auch wenn der selbst mit einer 10 GBit Karte angeschlossen ist kann nur maximal mit 1 GBit übertragen.

 

[Benten]

Das ist mir bewusst, jedoch sollte es doch durch Link Aggregation auf dem Managed Switch möglich sein diese zusammen zu legen richtig?

@DunklerRabe

Danke für deine Einschätzung! Ich werde das mal nach Erhalt meines Cache Moduls testen. Denke aber das du vollkommen Recht hast, dass es bei meinem Setup nicht spürbar ist.

 

[BurstDragon]

Ich kann dem dunklem Gefederten nur zustimmen

Wenn dein 1GB FBWC angekommen ist, eröffnet sich dir auch noch die Möglichkeit deine 4 WD-Platten in einem RAID5 zu betreiben. Damit erhällst du dann insg. ja nochmal 5TB mehr

Bzgl. der Performance und Ausfallsicherheit bräuchtest du dir keine Gedanken machen, da der 1GB FBWC trotz des RAID5 (fast) immer für sehr gute Performance sorgt und bei anstehen Plattenausfällen kann dich das iLO per Mail oder SNMP informieren

mfg Flo

 

[Benten]

Das ist auf jeden Fall ne Überlegung wert mit dem RAID 5, werd ich testen!

Das Melden werde ich auch auf jeden Fall einrichten. Danke auch für dein Feedback!

 

[DunklerRabe]

...und bei anstehen Plattenausfällen kann dich das iLO per Mail oder SNMP informieren

Hast du das mal getestet? Das basiert auf SMART und ich würde vermuten, dass das eventuell nicht funktionieren könnte, wenn man keine Festplatten mit HP Firmware verwendet

 

[BurstDragon]

Hast du das mal getestet? Das basiert auf SMART und ich würde vermuten, dass das eventuell nicht funktionieren könnte, wenn man keine Festplatten mit HP Firmware verwendet

Berechtigte Bedenken, da HP, wie fast alle großen, ziemlich restriktiv mit 3rd-Party Hardware umgeht.

Aber: Ich habe es getestet und der P410 ließt auch brav alles bei Consumer-Platten aus, diese werden über den SSA auch korrekt erkannt Ich habe auch mal testweise per hpssacli alles ausgelesen, funktioniert einwanfrei.

Habe selbst einen P410 zu Hause und der meldet immer alles fleißig an den ESXi. Da iLO ja auch nur den SmartArray pollt, gibt es dort eigentlich keine Probleme

Hier nochmal als Beispiel einen Auszug aus der CLI:

Spoiler

~ # /opt/hp/hpssacli/bin/hpssacli ctrl all show config detail

Smart Array P410 in Slot 1
   Bus Interface: PCI
   Slot: 1
   Serial Number: PACCR9VYNJJS
   Cache Serial Number: PAAVP9VYLCVY
   RAID 6 (ADG) Status: Enabled
   Controller Status: OK
   Hardware Revision: C
   Firmware Version: 6.40
   Rebuild Priority: Medium
   Expand Priority: Medium
   Surface Scan Delay: 15 secs
   Surface Scan Mode: Idle
   Queue Depth: Automatic
   Monitor and Performance Delay: 60  min
   Elevator Sort: Enabled
   Degraded Performance Optimization: Disabled
   Inconsistency Repair Policy: Disabled
   Wait for Cache Room: Disabled
   Surface Analysis Inconsistency Notification: Disabled
   Post Prompt Timeout: 0 secs
   Cache Board Present: True
   Cache Status: OK
   Cache Ratio: 25% Read / 75% Write
   Drive Write Cache: Disabled
   Total Cache Size: 512 MB
   Total Cache Memory Available: 400 MB
   No-Battery Write Cache: Disabled
   Cache Backup Power Source: Batteries
   Battery/Capacitor Count: 1
   Battery/Capacitor Status: OK
   SATA NCQ Supported: True
   Number of Ports: 2 Internal only
   Encryption Supported: False
   Driver Name: HP HPSA
   Driver Version: 5.5.0
   Driver Supports HP SSD Smart Path: False

   Array: A
      Interface Type: SATA
      Unused Space: 0  MB
      Status: OK
      Array Type: Data



      Logical Drive: 1
         Size: 2.7 TB
         Fault Tolerance: 5
         Heads: 255
         Sectors Per Track: 32
         Cylinders: 65535
         Strip Size: 64 KB
         Full Stripe Size: 192 KB
         Status: OK
         Caching:  Enabled
         Parity Initialization Status: Initialization Completed
         Unique Identifier: 600508B10010523956594E4A4A531400
         Logical Drive Label: A0065437PACCR9VYNJJS6F86
         Drive Type: Data
         LD Acceleration Method: Controller Cache

      physicaldrive 1I:0:1
         Port: 1I
         Box: 0
         Bay: 1
         Status: OK
         Drive Type: Data Drive
         Interface Type: SATA
         Size: 1 TB
         Native Block Size: 512
         Rotational Speed: 7200
         Firmware Revision: CC34
         Serial Number:             6VP078XA
         Model: ATA     ST31000528AS
         SATA NCQ Capable: True
         SATA NCQ Enabled: True
         Current Temperature (C): 31
         Maximum Temperature (C): 48
         PHY Count: 1
         PHY Transfer Rate: 3.0Gbps

      physicaldrive 1I:0:2
         Port: 1I
         Box: 0
         Bay: 2
         Status: OK
         Drive Type: Data Drive
         Interface Type: SATA
         Size: 1 TB
         Native Block Size: 512
         Firmware Revision: 01.01A01
         Serial Number:      WD-WCAU48318746
         Model: ATA     WDC WD10EAVS-32D
         SATA NCQ Capable: True
         SATA NCQ Enabled: True
         Current Temperature (C): 31
         Maximum Temperature (C): 61
         PHY Count: 1
         PHY Transfer Rate: 3.0Gbps

      physicaldrive 1I:0:3
         Port: 1I
         Box: 0
         Bay: 3
         Status: OK
         Drive Type: Data Drive
         Interface Type: SATA
         Size: 1 TB
         Native Block Size: 512
         Rotational Speed: 7200
         Firmware Revision: JP4OA3EA
         Serial Number:       JP6930HD2DPG0F
         Model: ATA     Hitachi HDS72101
         SATA NCQ Capable: True
         SATA NCQ Enabled: True
         Current Temperature (C): 29
         Maximum Temperature (C): 59
         PHY Count: 1
         PHY Transfer Rate: 3.0Gbps

      physicaldrive 1I:0:4
         Port: 1I
         Box: 0
         Bay: 4
         Status: OK
         Drive Type: Data Drive
         Interface Type: SATA
         Size: 4000.7 GB
         Native Block Size: 4096
         Rotational Speed: 5900
         Firmware Revision: SC46
         Serial Number:             Z302TCG2
         Model: ATA     ST4000VN003-1T51
         SATA NCQ Capable: True
         SATA NCQ Enabled: True
         Current Temperature (C): 27
         Maximum Temperature (C): 38
         PHY Count: 1
         PHY Transfer Rate: 3.0Gbps


   SEP (Vendor ID PMCSIERA, Model  SRC 8x6G) 250
      Device Number: 250
      Firmware Version: RevC
      WWID: 5001438007D8F5EF
      Vendor ID: PMCSIERA
      Model:  SRC 8x6G

mfg Flo

 

[Benten]

Das sieht doch gut aus! Ich bin gespannt auf die Ergebnisse die ich erziele :P