XenServer geplant, was für Storage?

[EvoluT1oN]

Hallo, ich plane einen XenServer aufzusetzen. Dieser soll auf HP Hardware realisiert werden.
Dahinter stellt sich mir allerdings die Frage, welcher Storage geeignet wäre, um genügend I/O Durchsatz zu haben, und der auch noch bezahlbar ist.

Bisher habe ich an iSCSI gedacht, allerdings bin ich was das Storage Thema betrifft nicht up2date.
Platz wird eigentlich nicht viel benötigt, insgesamt sollte eine Netto-Kapazität von 1TB herausspringen, unabhängig vom Raid-Level.

Kann mir jemand einen Vorschlag machen?
Gerne auch Eigenbau, stellt kein Problem dar, da es nicht Hochverfügbar sein muss. (aber performant)

Bisher ist noch nichts gekauft, lediglich ein HP Gigabit Managed Switch ist vorhanden.
Wenn Eigenbau stellt sich auch natürlich die Frage, welche Software in Frage kommt.
FreeNas? OpenIndiana mit napp-it?
Als Medium schweben mit SAS Platten oder SSDs vor. Habe allerdings Bedenken was die Halbarkeit der SSDs angeht.

 

[gea]

Hallo, ich plane einen XenServer aufzusetzen. Dieser soll auf HP Hardware realisiert werden.
Dahinter stellt sich mir allerdings die Frage, welcher Storage geeignet wäre, um genügend I/O Durchsatz zu haben, und der auch noch bezahlbar ist.

Bisher habe ich an iSCSI gedacht, allerdings bin ich was das Storage Thema betrifft nicht up2date.
Platz wird eigentlich nicht viel benötigt, insgesamt sollte eine Netto-Kapazität von 1TB herausspringen, unabhängig vom Raid-Level.

Kann mir jemand einen Vorschlag machen?
Gerne auch Eigenbau, stellt kein Problem dar, da es nicht Hochverfügbar sein muss. (aber performant)

Bisher ist noch nichts gekauft, lediglich ein HP Gigabit Managed Switch ist vorhanden.
Wenn Eigenbau stellt sich auch natürlich die Frage, welche Software in Frage kommt.
FreeNas? OpenIndiana mit napp-it?
Als Medium schweben mit SAS Platten oder SSDs vor. Habe allerdings Bedenken was die Halbarkeit der SSDs angeht.

Ich habe jetzt vier Systeme (OI+NFS storage für ESXi ) mit SSD im Einsatz. Ich benutze bessere MLC (Intel, Winkom Pro) Typen. Mein erstes SSD Storage habe ich vor fast 2 Jahren mit den ersten Sandforce aufgebaut. Damit hatte ich noch relative viele Ausfälle (ca 10% pro Jahr). Die neueren SSD sind viel besser.

Von der Performance ist es unschlagbar. Vor allem braucht man für ZFS kein teures ZIL device für schnelles syncrones Schreiben. Ich lege die Nutzungszeit der SSD auf ca 3 Jahre aus (=Garantiezeit) und werde die SSD dann wohl tauschen. Auch sollte man die Pools nicht mehr als ca 70% füllen, da sie sonst langsamer werden (kein Trim, Fragmentierung etc). Auch habe ich Raid-Z3 oder 3 fach mirror mit Hotfix im Einsatz. Damit dürfen 2 bzw drei SSD ausfallen. Die Rebuild-Zeiten sind so kurz, dass Probleme nicht auftauchen sollten.

Von der Hardware (bei Whitebox):
Am besten die Üblichen: SuperMicro X9 Serie mit IPMI, Xeon, soviel ECC-RAM wie geht, LSI 2008 Controller (LSI 9211 IT mode) und Intel Nic (eventuell 10 Gbe)

 

[EvoluT1oN]

Mit welchem OS stellst du dein ZFS Volume zur Verfügung?

 

[bluesunset]

FreeBSD oder Solaris/Openindiana.
Wenn du viel zuverlässigen I/O schreibend haben willst, nimm einige 2.5" 15k rpm 300GB oder 3.5" SAS HDDs. Jeweils aktuellsten Modelle.
Du kannst mit ZFS auch drei und n-Wege Mirrors erstellen. Ansonsten reicht oft ein Raid10 über 4-12 HDDs.

 

[Backbone]

Die Faustregel lautet, das viele Spindeln (also Festplaten) so ein Ding schnell machen. In kleinen Umgebungen ists ab 5-6 Disks meistens ausreichend fix. SSDs sind meiner Ansicht nach Overkill, es sei denn es sind Applikationen geplant die massive random Zugriffe erzeugen.
Wegen 10 oder 15 virtuellen Servern braucht mans jedenfalla nicht.

Backbone

 

[EvoluT1oN]

Da SSDs erschwinglich sind auch kein maßiver Platzbedarf besteht, ist es ein "nice-to-have".
Ich peile damit 2x ein Raid 10 an bestehend aus:

4x 256 GB SSDs
4x 74GB 15k HP 2,5" SAS Drives (bereits vorhanden)

1 Storageeinheit 2HE, die diese beiden Raid 10 beinhaltet, mit einem Core i3 oder einem kleinen Xeon. Darauf laufen soll dann OpenIndiana, alternativ Freenas oder FreeBSD. Zugriff via ZFS oder iSCSI, min. 2 NICs, 8GB, redundantes NT

1 XenServer 1HE, 80GB SATA Drive, alternativ SD-Karte für OS. Storageanbindung über ZFS oder iSCSI. min. 2 NICs, 24GB oder 36GB RAM, redundantes NT

Gibts Einwände?
Welche Controller eigenen sich für mein Vorhaben?
Benötige ich 2 Controller für 2x Raid 10?

 

[bluesunset]

Wieso nicht alles in einem 3 oder auch 4HE Gehäuse? Würdest deutlich günstiger und performanter wegkommen.

 

[EvoluT1oN]

Hat den Hintergrund, dass bereits ein kleiner FreeNas Server als Share im Netz läuft, und bei diesem dann der Storage einfach angehängt werden kann.
Zwar könnte ich das Freenas dann auf dem XenServer virtualisieren, aber ich würde gerne die NICs entlasten.

Zudem möchte ich zukünftig nicht immer den Umweg über den Hypervisor gehen, um an das Storage heran zu kommen.
Auch lässt sich das gesamte Storage nicht direkt durchschleifen auf eine VM, so dass ich Verwaltungstools (Monitoring des Raids, etc..) benutzen kann.

Oder hab ich hier nen Denkfehler drin und würde genau so gut fahren, wenn ich Openindiana auf einer VM installiere und dort das RAID10 Volume anbinde?
Bitte mal kurz erläutern wie Du das meinst. Danke schon mal!

 

[underclocker2k4]

Xen kann doch auch Passthrough?! So kann man das RAID direkt in der VM nutzbarmachen, egal was du da machen willst.
Du kannst dann auch direkt das RAID verwalten per Manager oder wie auch immer.
Genauso kannst du eine NIC direkt in die StorageVM schieben und damit arbeiten unabhängig von der restlichen Netzwerkstruktur.
Jetzt ist nen bisschen Xen Technik gefragt, kann man virtuelle Netze bauen? So dass du ein virtuelles Netz für die Verteilung als iSCSI Storage nutzen ohne den Rest zu beeinträchtigen.
Und natürlich kannst du das Storage auch woanders nutzen, wenn du es ausbauen möchtest, im Fehlerfall zB.

 

[EvoluT1oN]

Hi, ja man kann virtuelle Netze bauen.
Alternativ kann das aber auch über ein VLAN gelöst werden.

Wenn ich das richtig verstanden habe: Ich schleife das komplette Storage durch auf die StorageVM, stelle es mittels dieser via ZFS oder iSCSI dem XenServer wieder zur Verfügung, damit dieser dort seine VHDs ablegen kann? Die Storage VM liegt dann bspw. auf einer SD-Karte oder einer kleinen SATA Platte.

Klingt ja soweit logisch, sollte auch funktionieren. Dürfte auch günstiger sein. Aber warum sollte es performanter sein, wie bluesunset sagt?

 

[bluesunset]

Weil du nicht alle Daten über zwei physikalische Gigabit NICs drüber schieben musst bei denen die Daten ein paar mal zwischen RAM und NIC hin und her kopiert sowie mit zusätzlichem iSCSI IP-Header versehen werden müssen.
Du kannst halt dann gleich einmal richtig Geld in einen Server stecken als das Geld für Gehäuse, Netzteil und Mainboard auf zwei Rechner zu verteilen.
Je nach Alter deiner schon vorhandenen 74GB SAS HDDs kannst du dir dann auch neuere kaufen.

Die Lösung mit dem virtualisiertem Storage OS unter ESXi wurde hier im Forum schon einige male erfolgreich umgesetzt.

 

[underclocker2k4]

FS ist keine Netzwerkschnittstelle, sondern ein filesystem.

Du stellst es also so oder so per iSCSI bereit. Das StorageOS ist flexible, was auch immer.

Virtuelle Adapter sind idR als 10G ausgefuehrt, sprich also Speed ist von der Tendenz her mehr vorhanden als bei einer phys. Umsetzung.(ausser du setzt ggf. 10G ein)

Und wie gesagt, es spart Geld, was man in ggf. richtiger ServerHW und mehr SSD Storage stecken kann.

@blue
der iSCSI Header kommt trotzdem dazu, weil das Storagedevice noch immer im NW haengt und es daher per iSCSI angebunden ist. (Wahlweise eine andere Netzwerkanbindung NFS?)

Der Server weiss ja nicht, dass das storage eigentlich unter seiner Haube laeuft.

 

[Backbone]

Man kann schon iSCSI machen, das ist in der Praxis kein Problem, auch nicht wenn die Switche "nur" 1Gbit bringen. Wir sind ja hier eher nicht in einer großen Umgebung. Natürlich gehört das Storage-Lan immer separiert vom eigentlichen Datenlan, Stichwort vLans.

 

[teqqy]

Ich hänge mich hier mal dran, weil es ungefähr auch mein Vorhaben ist. Vorhandene ältere Server sollen als Test-Umgebung installiert werden. Ich würde ein HP DL380 mit entsprechend Platten ausrüsten und dort ein HW Raid erstellen und als Storage nutzen. Ein weiterer "kleiner" aber performantere Server (DL360 G6) soll dann als Hypervisior mit XenServer dienen.

Allerdings habe ich da noch Fragen dazu:

1. Welches Betriebssystem sollte/könnte man für das Storage nehmen (Openindiana mit Napp-it?)
2. Kann die kostenfreie XenServer Version auf die Shares zugreifen, oder geht das nur mit den größeren Lizenzen
3. Gibt es im Netz irgendwo Tutorials für mein Vorhaben. Mit entsprechender Abstraktion meinetwegen.

Das ganze dient lediglich als Spielwiese bzw. als Testlab. XenServer auch deswegen, weil wir nächste Woche für die Produktive Umgebung ein System auf Basis einer vorhandenen Netapp bekommen und ich dann nicht noch zusätzlich eine VMWare Konsole benötige.