Storage für VMs & Webhosting

[debauer]

Moin,

ich suche für ein "startup" das ohne Fremdkapital auskommen will eine Storage Lösung.
Stemmbar sind auf lange Sicht 5000€, auch gern geleast.

Geplant ist folgendes:
Twinserver mit je 2x Hexacore Xeon. Je ~128gb Ram. Raid 1 fürn Host direkt im Twinserver. Schon vorhanden.
Extern angedübelt ein oder 2 Storages. Am besten ein Storage mit Dual Domain und voller Redundanz. Soll jetzt angeschafft werden.
Ein Storage bevorzuge ich sehr.

Darauf sollen massig VMs laufen. Bisle last verteilt. Bei nem Host Ausfall sollte aber auch einer das alleine packen.
Virtualisiert wird mit KVM auf nem Gentoo Host. Nur Linux Gäste.

CPU und RAM sind weniger das problem. Problem sind IOPS. Von denen immer zu wenig vorhanden sind.
Daher sollten das min. 10k platten sein. Lieber 2,5" als 3,5". Strom ist teuer im RZ :-D.
Von der Menge bei 2 Storages je ~25 Spindeln. Bei einem Storage 30+.

Preislich im Rahmen wären zb HP MSA/MDS Systeme.

Nun zu den eigentlich Fragen:
Jemand erfahrung vom Hosten von >100 VMs auf einem Host?
Womit ist mit den meisten IOPS zu rechnen?
Gibts auser den HP Systemen noch weitere die man als refurbish zu ähnlichen Preisen bekommt?
Fällt sicher noch was ein.

 

[fdsonne]

größer 100VMs auf einem Host?
Bei 128GB RAM? und "nur" 12 Cores?

Ich denke mal, da wird dir ebenso schnell die Puste ausgehen, es sei denn, du brauchst fast kein RAM und fast keine CPU Performance...

Was soll denn gehostet werden!?

PS: vollredundate Storagelösungen im Bereich 5k€ wird sportlich... Speziell wenn es nicht auf einen Schlag beschaffbar ist. (klingt so wenn du sagst, auf lange Sicht)

Was stellst du dir denn am Ende so vor?
Irgendwelche Anforderungen in Sachen Infrastruktur?

Bei einer derartigen Anzahl an VMs kommt man aus meiner Sicht mit FC deutlich entspannter auf Performance als mit iSCSI oder NFS... Wobei ich sagen muss, bis dato nie vergleichbar große 10G iSCSI/NFS Systeme gebaut zu haben... Bei meinen 1G Versuchen mit iSCSI/NFS hat mir bis jetzt immer irgendwann (sehr zeitig im Vergleich) die Latenz im LAN bei normalen IP Traffic das Genick gebrochen.

PS: ich denke auch, du kommst mit ~25 Spindeln pro Storage Node nicht hin
Wir hatten hier jüngst noch ein NetApp FAS3040 Cluster am laufen... Gepaart mit je vier Shelfs bei 300GB 10k HDDs. -> das war am ende grottig in der Performance. Und mit grottig meine ich echt! richtig schlecht...
OK, die VMs teilten sich ca. 50/50 in Win und Linux. Aber bei über 120 VMs auf diesem Storagecluster war das einfach zu viel des guten.

 

[debauer]

Okey.
Zunächst sollen nicht von anfang 100 VMs darauf laufen. Eher ~10. Der "verbrauch" an Ram und CPU Leistung sind erfahrungswerte. Nicht meine, aber von jemand der im großen stil VMs hostet. Konnts auch ned glauben.
Die VMs werden einerseits als normale Vserver vermietet, aber auch als Managet Custom Hosting genutzt.
Das Storage könnte somit auch erstmal kleiner sein und gut erweiterbar. Richtung 20 Spindel sollte es schon gehen, fürn Raid 50 über 3 Raid5. Die VMs werden jeden Tag gesnapshotet, was auch wieder IOPS frisst.

Wir ham derzeit noch ne Dell Kiste die bald Migriert wird (sixcore, 24gb Ram, 2x Raid1) mit 5 VMs, ~30 gehosteten Domains & Monitoring. Das erste was in die Knie geht ist die Disk IO. CPU und Ram konnten wir selbst bei sehr großem Andrang nicht auslasten weil immer die Platten limitieren. Dabei wird schon massig im RAM gecachet.

Auf einmal beschaffen ginge sicher auch. Kapital wäre beschaffbar, muss aber eben auf lange sicht auch gegenfinanziert sein.

 

[fdsonne]

Mhh OK dann sollte das ganze quasi massiv skalierbar sein. Ich hatte mich nur an den über 100 VMs aufgehängt und an den von der Warte her eher wenig CPU/RAM sowie Plattenwünschen

PS: wenn du wirklich IOs willst, wäre ne SSD Lösung ggf. gar nicht mal verkehrt. -> kost halt imho mehr, könnte sich aber durchaus auszahlen.
Hängt halt stark vom benötigten Platz ab.
Bei uns ist es mittlerweile so, das wir teilweise TB Weise Platz "unbelegt" lassen, weil es eher auf den Speed als auf die reine Kapazität ankommt.
Mit SSDs brauchst du halt bedeutend weniger Medien für entsprechend hohe IOPS, irgendwann kommt der Punkt, wo es dann wohl günstiger ist, auf den Flashspeicher zu gehen als auf tonnenweise HDDs.

EDIT: für erhöhte IO Raten sollte man ggf. auch anstatt über Raid 5 über Raid 10 nachdenken...
Vor allem die "write IOs" sind im Raid 5 eher mau. Macht man imho zwar mit mehr Platten wett, aber ist per se wohl langsamer als Raid 10.

 

[olqs80]

Wie siehts mit einem zweiter Server aus der nur Storage macht und gentoo/kvm holt sich den Speicherplatz über nfs?
In den Server einen LSI Controller mit CacheCade Feature rein und mit dem zwei kleine (128GB) SSDs als Lese/Schreibcache für die eingebauten Platten (Raid5).
Das Feature habe ich hier schon getestet, Random IOs laufen zuerst in den SSD Cache, Sequenzielle werden erkannt und direkt auf die Platten geschrieben.
Dafür gibts auch Trial Keys: Support

Redundante Storage Controller mit Herstellersupport, skalierbar und SSD Unterstützung gibts in deinem Budgetrahmen meines Wissens nicht viele.

Falls die benötigte Leistung nicht so stark skalieren muss, reicht für den Anfang auch eine HP P2000, schau dir hier einmal die SAS Variante an. Damit kannst du bis zu 4 Server redundant anbinden und sparst die evtl zusätzlichen Anschaffungskosten für einen FC bzw 10GE Switch.

EDIT: Ich seh grad es gibt ein neues Modell, dass auch SSD Support bietet: HP MSA P2040. Dabei auch bedenken, dass du mit SSDs schnell an das Limit eines Storage Controllers kommen kannst.

 

[debauer]

mmhh.
Ich überlege schon seit gut 4 Wochen in alle Richtungen. Von einem selbstbau eines Zentralen VM Storages bin ich inzwischen komplett weg. Für Backups wirds aber selbstbau.

Komplett auf SSDs zu setzen wäre eine Idee. Weis aber noch ned wie unter bringen.
Wir haben halt Bi-Twin-Nodes. Also 4 Nodes auf 2he. Jeder Node mit 3x 3,5". Gäbe es auch mit 2,5" aber fast immer vergriffen.

Was haltet ihr von folgendem:
Jeder Node
2x 1TB Samsung EVO Raid 1~920€ (Host + sehr schneller Storage für VMs/Webhosting)
2 TB HDD Local für incrementelle Snapshots

Zentral - doppelt vorhanden
DRBD + Heartbeat Setup
ISCSI + NFS
Als langsamer Massenspeicher für VMs
~4-8x 3TB Raid 6(0)

Zentral - Backup einfach vorhanden
4-8x 3TB Raid 6
Snapshots + Files + Dumps

Vorteile:
Sehr gut Skalierbar
Preislich attraktiv
Schneller Restore bei System Ausfall.

Nachteile:
Nicht perse Hochverfügbar - Aber möglich wenn Nodes auch DRBD + Heartbeat

 

[olqs80]

Ist das jetzt kein Selbstbau? Mit den SSDs ist dein Budget doch überzogen, oder nicht?
Wieso packst du die SSDs nicht in die beiden zentralen Systeme? Einen 10GE interlink würde ich bei DRBD auf jeden Fall empfehlen.

Ansonsten ja Setup ist möglich, ich würds aber keine VM Daten lokal auf den Nodes ablegen bzw DRBD auf den Frontend Systemen nutzen. DRBD im active-active Mode ist nicht wirklich schön und da brauchst noch dazu ein Cluster file System, bei active-passive hast 2 nodes die nur idlen.

Was hast eigentlich so für VMs laufen? Bei Websystemen lässt sich viel IO abfedern durch ein passendes Caching. (memcache,varnish,...)

 

[Backbone]

Unabhängig von der technischen Lösung würde ich nochmal empfehlen den kaufmännischen Bereicht sehr sauber durchzurechnen. Hosting funktioniert eigentlich nur auf zwei Wegen. Entweder hat man ne sehr große Menge an Blech und kann Skaleneffekte nutzen um mit den marktüblichen Preisen mitzuhalten. Oder man bietet etwas so besonderes, das Kunden willens sind mehr zu zahlen. In jedem Fall ist die mit Abstand größte Hürde die ersten 12 bis 24 Monate zu überleben. Und um es mal freundlich zu sagen, wie das mit 5k€ gehen soll wäre mir schleierhaft...Ist da eigentlich schon das Backup mit bei?

 

[debauer]

Ich rechne seit Wochen
Wir haben den großen Vorteil das das Projekt von viel kostenloser Arbeit von Kolegen profitiert, ich Vollzeit eigentlich arbeite, aber den ganzen Tag für das Projekt da sein kann + monatlich mit finanzier bis es die laufenden Kosten selbst trägt.
Wir haben schon sehr viel Hardware. Darunter die Bi-Twin Nodes, AMD 16 Kern HP, Dell LTO4 5HE Autoloader, Ordentliche Switche, PDUs.
Das steht teilweise auch schon im Housing und ist Online. Kolege wohnt nur 2KM vom RZ entfernt.
"Gehalt" oder ähnliches, gibts erst in rund 6-12 Monaten.

Entweder man hat massig Kapital oder man muss sich anderst helfen.
Mit massen Hosting wollen wir nix zutun haben. Damit ist nix zu verdienen und macht auch wenig spaß. Spaß muss es machen und dementsprechend rocken ;-)

 

[konfetti]

Naja, aber die Auslegung des Storage richtet sich ja auch nach dem Verbrauch/Bedarf der VMs... - ich würde wohl auf eine Kombination aus SSDs und SAS-Platten 2.5" + 2TB 2.5" Platten setzten - die einen rein für die Snapshots bzw. eben als Backup - die anderen für den produktiven Betrieb der VMs

Ggf. sollte man halt die VMware guidelines zum Storage beachten, auch wenn nicht primär VMware eingesetzt wird, so is die Empfehlung von ca. 20VMs pro LUN sicher nicht verkehrt - kommt natürlich immer auf die Auslastung drauf an.

leider dauert es noch etwas, bis ich mir diese SSHDs zum testen fürs Storage holen kann, da ich aktuell noch mit dem Hausbau selbst beschäftigt bin, aber die SSHDs werd ich für mein VM-Storage nutzen - Diskless Virtualisierungshosts und gut

Hier in der Arbeit hat sich übrigens NFS als deutlich performanter als iSCSI herausgestellt - gut, is nur ein 1GBit Kupferlink, aber trotzdem...

 

[fdsonne]

Hier in der Arbeit hat sich übrigens NFS als deutlich performanter als iSCSI herausgestellt - gut, is nur ein 1GBit Kupferlink, aber trotzdem...

Aus meiner Sicht ist beides "Murks". Da die Latenzen im LAN extrem viel höher sind, als bei nem entsprechenden FC oder SAS Storage...
Das fällt vielleicht bei fünf, 10 oder 20 VMs nicht sehr ins Gewicht. Bei größer aber schon um so mehr... Entgegenwirken kann man da wohl nur durch mehr Kupferport und 10G -> und die Last drauf verteilen.

PS: iSCSI ansich ist ja gar nicht mal sooo verkehrt. Man sollte aber auf Hardware iSCSI HBAs gehen... Die Softwarelösungen sind idR ebenso Murks.
Meine Erfahrung geht dabei aber zu 99,9% auf das VMware Umfeld. Kann durchaus sein, das das bei anderen Gesichten anders läuft... Auch lokales Storage über ne Storage VMs im Host selbst scheint zum Teil da etwas anders zu agieren. Da nicht der "Umweg" über die LAN Infrastruktur gegangen wird, sondern das Signal kein Stück des Host verlässt.

 

[konfetti]

Ja, aber FC krieg ich einfach nicht durchgesetzt - Aussage: Dann dauert der Klick am Terminalserver halt mal ne Sekunde länger... *hust*

 

[debauer]

Über Lan möchte ich ned. SAS Extern mit/ohne Raid Controller.
Hab jetzt mal die variante mit nem Externen JBOD für ~8 Platten, mit nem LSI CacheCade Controller, 6x 3TB SAS und 2x 120gb SSD durchgerechnet. Auf 2 Server wär ich gut im Budget.
LSI 9286-8e + Cachecade + bbu ~800€
SSDs ~140€
Platten ~ 1150€
JBOD ~ 200€
~2300 Pro Server

statt LSI 9286-8e + Cachecade + bbu ginge auch 9286CV-8eCC mit nur ein wenig mehrkosten.