Neuer Server für Virtualisierung mit ESX

[PowerShellAdmin]

hallo zusammen,
ich habe bei uns 1 esxi 4.1 für den produktiven einsatz. hier laufen ~14VMs aktiv.
Darunter ein Exchange 2010 mit nem 35GB Datastore, nen SharePoint 2010 -Enterprise (viele Dienste) mit ~20GB DB und weitere kleinere Datenbank Server.
Als Hardware laufen hier 2 XEONS C2Q mit 2,6GHZ,32GB Ram und 4x500GB SAS 15k im Raid 10 an nem Perc6.
Der Arbeitsspeicher reicht noch so (28-29GB) und die CPU Auslastung ebenfalls (Hier ziehen nur der Exchange und SharePoint viele Ressourcen).

Das Problem:
Die Sicherung der Möhre dauert anstatt 6 Stunden mittlerweile gute 16Stunden - kamen 3 neue VMs seit dem dazu. Außerdem gibt es im Exchange abundan verzögerung mit Outlook. Es ist merklich langsamer geworden.

Ursache:
Ich nehme mal an die Festplatten sind Restlos überfordert, da hier auch Datenbankserver drauf laufen. Auf einem SQL Server habe ich mal Crystalmark laufen lassen. Die Raten sind meiner Meinung nach katastrophal oder liege ich hier falsch (siehe Anhang)?
In jedemfall sind diese im Vergleich zu Feb. 2011 etwa 50% der ReadLeistung.

Lösung:
neuer Server:
2x6Kern SB XEON, 64GB Ram, 8x500GB SAS 15k (2 Raid 10 a 4HDs).
ESXI 4.1 weiterhin.

Liegt hier die Ursache & Lösung oder könnte ihr mir anderes raten ?

Da der Server bei ~6000€ zzgl. MwSt liegen wird möchte ich mir vorher auch nochmal andere Meinung einholen.
Den alten Server können wir noch gut als Entwicklungsserver gebrauchen, da unsere dortigen ESXis auch ausgelastet sind.

PS: Ich weiß das SQL Server oftmals nicht virtualisiert empfohlen werden, wer aber ein wenig recherchiert wird feststellen dass dies generell kein Problem ist.
Für die Datenbank VMDisk wählt man entsprechende Treiber und setzt die Performance hoch.

 

[underclocker2k4]

Richtig, das Problem ist das Storage. (Das ist eigentlich immer das Problem beim ESX, CPU Power ist immer ausreichend vorhanden, RAM in der Regel auch, Storage ist aber ein sehr spezielles Thema)

Ein SystemUpgrade tut meiner Meinung nicht not.

Schau mal in die Stats vom ESX und schau dir an, die die CPU Last sich verhält.
Daran kannst du erkennen, ob die wirklich ein Systemupgrade brauchst oder nicht.

Ich würde mich da eher und dediziert, mit dem Storage beschäftigen.

Welche Möglichkeiten bestehen die vorhandene Maschine zu upgraden?
(was ist an Bays frei?)

Oder ist unbedingt eine neue Maschine nötig? (Support, etc)

 

[PowerShellAdmin]

Richtig, das Problem ist das Storage. (Das ist eigentlich immer das Problem beim ESX, CPU Power ist immer ausreichend vorhanden, RAM in der Regel auch, Storage ist aber ein sehr spezielles Thema)

Ein SystemUpgrade tut meiner Meinung nicht not.

Schau mal in die Stats vom ESX und schau dir an, die die CPU Last sich verhält.
Daran kannst du erkennen, ob die wirklich ein Systemupgrade brauchst oder nicht.

Ich würde mich da eher und dediziert, mit dem Storage beschäftigen.

Welche Möglichkeiten bestehen die vorhandene Maschine zu upgraden?
(was ist an Bays frei?)

Oder ist unbedingt eine neue Maschine nötig? (Support, etc)

Die Geräte sind abgeschrieben, support läuft September aus.
Wie hoch sind die Kosten für ein passendes Storage ?
Löst ein neuer Server überhaupt das Problem ?

edit: für die entwicklung benötigen wir einen weiteren ESXi, also verkommt das Gerät nicht.
wichtig ist nur ob durch durch den neuen Server und das 2. Datastore die Probleme behoben sind oder ob man eine richtiges Storagesystem braucht.
Ob wir das Gerät um ein zweites datastorage einfach nur aufrüsten -wäre ein alternativweg.
hier müsste ich nur die 76gb systemplatten rausschmeißen und den esxi aufn usbstick packen.

 

[underclocker2k4]

Ein neuer Server löst, wie gesagt, nicht das Problem.

Neue Server bieten dir in der Regel mehr Rechenpower und ggf. mehr RAM.

Das ist aber nicht dein Problem, dein Problem ist das Storage und mit der aktuellen geupgradeten Variante kommst du da auch nicht weit. (auch mit dem Vorschlag von 2x RAID10 nicht)

Hast du dir denn überhaupt schonmal neue Systeme angeschaut?
SB Xeons für DP gibt es (noch) nicht.

Dein Problem ist wie gesagt nicht der Server an sich, sondern dass die Platten sich einen Wolf laufen um die Anfragen zu bearbeiten.

Das beste ist, wenn du im Fall von 8 HDD 4x RAID1 machst.

Du brauchst IOs und keine Transfers, daher mußt du die VMs separieren, oder aber du setzt SSDs sein, die dürften aber den Preisrahmen locker sprengen.

 

[Eye-Q]

Bei Datenbanken ist RAM durch nichts zu ersetzen als durch mehr RAM. Eine schnelle Storage ist zwar schön und gut, aber wenn der DB-Server nicht nur 4, sondern 24 GB oder noch mehr RAM zugewiesen hat (vorausgesetzt natürlich es ist ein 64-Bit-Server mit entsprechendem 64-Bit-DB-Server), dann werden schon viele Zugriffe gar nicht mehr auf die Platten gemacht, sondern bleiben im schnellen RAM.

 

[underclocker2k4]

Spoiler

Angebot

Pos.MengeBild
Hersteller Produktname
Hersteller-Nr.
Bechtle-Nr.
Einzelpreis
zzgl. MwSt.
Gesamtpreis
zzgl. MwSt.
1 1

HP ProLiant DL180 G6 E5620 2,4 GHz QC
Hersteller-Nr. 590639-421
Bechtle-Nr. 636403
€ 1.913,00
€ 1.913,00
2 1

HP ProLiant Intel Xeon QC E5620 2,40 GHz
Hersteller-Nr. 590609-B21
Bechtle-Nr. 634073
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 488,00
€ 488,00
3 10

HP 4GB 1Rx4 PC3-10600R-9 RDIMM Kit
Hersteller-Nr. 593339-B21
Bechtle-Nr. 623105
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 103,50
€ 1.035,00
4 1

HP 750Watt Hot Plug redundantes Netzteil
Hersteller-Nr. 512327-B21
Bechtle-Nr. 567334
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 208,00
€ 208,00
5 1

HP eCarePack f. Proliant DL18x 3Y/4x24x7
Hersteller-Nr. UH272E
Bechtle-Nr. 513273
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 819,00
€ 819,00
6 8

HP 300 GB SAS 6Gb/s ENT DP 8,9cm HotP
Hersteller-Nr. 516814-B21
Bechtle-Nr. 592345
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 318,00
€ 2.544,00
Zwischensumme: € 7.007,00 Transaktionskostenpauschale inkl. Versandkosten: € 0,00
MwSt.
(19.0%):€ 1.331,33
Gesamtsumme:€ 8.338,33

Mal ebenzusammengestellt. Sind halt Listenpreise.

2x E5620 (2x QC)
48GB DDR3 RAM
8x 300GB 15k SAS (Option auf 4 weitere HDDs)
+ Spielkram

 

[PowerShellAdmin]

Angebot

Pos.MengeBild
Hersteller Produktname
Hersteller-Nr.
Bechtle-Nr.
Einzelpreis
zzgl. MwSt.
Gesamtpreis
zzgl. MwSt.
1 1

HP ProLiant DL180 G6 E5620 2,4 GHz QC
Hersteller-Nr. 590639-421
Bechtle-Nr. 636403
€ 1.913,00
€ 1.913,00
2 1

HP ProLiant Intel Xeon QC E5620 2,40 GHz
Hersteller-Nr. 590609-B21
Bechtle-Nr. 634073
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 488,00
€ 488,00
3 10

HP 4GB 1Rx4 PC3-10600R-9 RDIMM Kit
Hersteller-Nr. 593339-B21
Bechtle-Nr. 623105
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 103,50
€ 1.035,00
4 1

HP 750Watt Hot Plug redundantes Netzteil
Hersteller-Nr. 512327-B21
Bechtle-Nr. 567334
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 208,00
€ 208,00
5 1

HP eCarePack f. Proliant DL18x 3Y/4x24x7
Hersteller-Nr. UH272E
Bechtle-Nr. 513273
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 819,00
€ 819,00
6 8

HP 300 GB SAS 6Gb/s ENT DP 8,9cm HotP
Hersteller-Nr. 516814-B21
Bechtle-Nr. 592345
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 318,00
€ 2.544,00
Zwischensumme: € 7.007,00 Transaktionskostenpauschale inkl. Versandkosten: € 0,00
MwSt.
(19.0%):€ 1.331,33
Gesamtsumme:€ 8.338,33

Mal ebenzusammengestellt. Sind halt Listenpreise.

2x E5620 (2x QC)
48GB DDR3 RAM
8x 300GB 15k SAS (Option auf 4 weitere HDDs)
+ Spielkram

also ich kriege bei Dell 2xXEONS 6C & 32GB Ram (option auf 64) und 4x500GB SAS 15k (Option 8) , 3jahre support => 4700

 

[underclocker2k4]

Wie gesagt, Listenpreise.

Stell mal das Angebot rein.
Ich bin ja noch nicht fertig. ^^

Spoiler

Angebot

Pos.MengeBild
Hersteller Produktname
Hersteller-Nr.
Bechtle-Nr.
Einzelpreis
zzgl. MwSt.
Gesamtpreis
zzgl. MwSt.
1 1

HP ProLiant DL385 G7 6128 2.0GHz Top Val
Hersteller-Nr. 470065-384
Bechtle-Nr. 646168
€ 1.498,00
€ 1.498,00
2 1

HP ProLiant AMD Opteron 6128 2,0 GHz 8C
Hersteller-Nr. 585330-B21
Bechtle-Nr. 635404
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 271,00
€ 271,00
3 24

HP 4GB 1Rx4 PC3-10600R-9 RDIMM Kit
Hersteller-Nr. 593911-B21
Bechtle-Nr. 622367
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 103,60
€ 2.486,40
4 1

HP 460Watt Hot Plug redundantes Netzteil
Hersteller-Nr. 503296-B21
Bechtle-Nr. 562673
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 178,00
€ 178,00
5 1

HP eCare Pack für DL38x 3Y/NBD+DMR
Hersteller-Nr. US622E
Bechtle-Nr. 646898
€ 105,00
€ 105,00
6 4

HP 300 GB SAS 6Gb/s ENT DP 6,4cm HP
Hersteller-Nr. 507127-B21
Bechtle-Nr. 568847
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 242,00
€ 968,00
7 1

HP Slimline SATA DVD-RW Laufwerk
Hersteller-Nr. 481043-B21
Bechtle-Nr. 544161
€ 84,80
€ 84,80
Zwischensumme: € 5.591,20 Transaktionskostenpauschale inkl. Versandkosten: € 0,00
MwSt.
(19.0%):€ 1.062,33
Gesamtsumme:€ 6.653,53

2x Opteron 6128 (2x 8Core 2GHz)
24x 4GB RAM = 96GB
4x 300GB 15k SAS

Support ist hier mager, müßte man mal nachhaken.

 

[fdsonne]

also ich kriege bei Dell 2xXEONS 6C & 32GB Ram (option auf 64) und 4x500GB SAS 15k (Option 8) , 3jahre support => 4700

Diese Dell Konfig bringt dir nur nicht viel, weil du wiederum nur vier HDDs hast, und auch nur die 32GB RAM. (und bei ~29GB Verbrauch ist nicht auszuschließen, das der ESXi intern schon knausrig wird und Teile des RAMs nicht voll den VMs gibt, dazu kommt, das der 4.xer ESXi bei 32GB RAM gut 3-6GB davon irgendwo hin frisst, die man so nicht nutzen kann...)

Dazu hat underclocker ein 24/7 CarePack mit 4h Reaktionszeit eingebaut, ob du das brauchst, musst du selbst wissen, aber das ist quasi die zweit beste Option die es gibt. Darüber gibts nur noch CarePacks mit garantierter Wiederherstellungszeit von 4-8h.

 

[PowerShellAdmin]

Spoiler

Angebot

Pos.MengeBild
Hersteller Produktname
Hersteller-Nr.
Bechtle-Nr.
Einzelpreis
zzgl. MwSt.
Gesamtpreis
zzgl. MwSt.
1 1

HP ProLiant DL180 G6 E5620 2,4 GHz QC
Hersteller-Nr. 590639-421
Bechtle-Nr. 636403
€ 1.913,00
€ 1.913,00
2 1

HP ProLiant Intel Xeon QC E5620 2,40 GHz
Hersteller-Nr. 590609-B21
Bechtle-Nr. 634073
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 488,00
€ 488,00
3 10

HP 4GB 1Rx4 PC3-10600R-9 RDIMM Kit
Hersteller-Nr. 593339-B21
Bechtle-Nr. 623105
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 103,50
€ 1.035,00
4 1

HP 750Watt Hot Plug redundantes Netzteil
Hersteller-Nr. 512327-B21
Bechtle-Nr. 567334
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 208,00
€ 208,00
5 1

HP eCarePack f. Proliant DL18x 3Y/4x24x7
Hersteller-Nr. UH272E
Bechtle-Nr. 513273
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 819,00
€ 819,00
6 8

HP 300 GB SAS 6Gb/s ENT DP 8,9cm HotP
Hersteller-Nr. 516814-B21
Bechtle-Nr. 592345
Wichtiger Hinweis

• Keine Rücknahme möglich

€ 318,00
€ 2.544,00
Zwischensumme: € 7.007,00 Transaktionskostenpauschale inkl. Versandkosten: € 0,00
MwSt.
(19.0%):€ 1.331,33
Gesamtsumme:€ 8.338,33

Mal ebenzusammengestellt. Sind halt Listenpreise.

2x E5620 (2x QC)
48GB DDR3 RAM
8x 300GB 15k SAS (Option auf 4 weitere HDDs)
+ Spielkram

also ich kriege bei Dell 2xXEONS 6C & 32GB Ram (option auf 64) und 4x500GB SAS 15k (Option 8) , 3jahre support => 4700
@ram da hast du sicher recht, aber der Exchange und SharePoint laufen mit 10GB Ram ganz gut. Klar hätte der Exchange noch gerne paar mehr, aber dass ist nicht das Problem.


@IO Zugriffe: Das stimmt sicherlich, dann wären das 2. Punkte.
a) Festplattenstrategie und b) Serverhardware.

a) Festplattenstrategie:
Situation 1)
Kostentechnisch wären 8 SSDS (Intel 320 120GB) kein Problem.
Problem 1: Speicher begrenzt, im Raid5 ~ 700GB
Problem 2: keine Enterprise SSD, hat nix im Server verloren

Situation 2)
edit:

Hohe Priorität
würde hier 2 Teams mit je ~300GB SAS haben (2xRaid1).
Aufgabe Team 1=Exchange Server Hub & CAS
Aufgabe Team 2=SharePoint (SQL Server + Frontend/Service Server)

Normale Priorität
würde hier 2 Teams mit je ~500GB Sas haben (2xRaid1)
Hier würden die restlichen VMs verteilt werden zwischen Team 3 und 4.

Macht diese Konstelation Sinn ? klingt ja nichtmal so verkehrt, nur vermehrt sich die Frage ob man es so tun sollte

Situation 3)
Storage System

???

Ich würde zu einem neuen ESXi Host tendieren mit 64GB Ram & passendes Storage


Das alte System ist mit 32GB zurzeit vollbestückt (Ramaustausch notwendig um mehr zu kriegen) und unser derzeitige Entwicklungsesxi (15bis20VMs mit guten 12 SQL Server) frisst viel Ram, HD und an Leistung.
Der Support läuft ebenfalls für das bestehende System aus.


@Angebot: DellPreise sind ganz gut. Sind mit Dell zufrieden, will ungern zu HP wechseln, nahezu alle Clients und Server sind bei uns von Dell. (wenn man ~1000€ sparen würde könnte man anfangen zu diskutieren)
Hier sollten 32GB noch dazu & womöglich anstatt 4 dann 8 hds.

Spoiler

PowerEdge R510 Rack Chassis, Up to 8x 3.5" Hot Plug
HDDs, Supports 750W Hot Swap PSUs, LCD Diags, C2,
TPM
4.700,00 4.700,00 SR
Intel Xeon E5645 Prozessor (2,40GHz, 6C, 12MB Cache, 5,86
GT/s QPI, 80W TDP, Turbo, HT), DDR3-1333MHz
1 SR
R510 EMEA1 Ship Docs No Power Cord
(English/French/German/Spanish/Russian/Hebrew)
1 SR
PE R510 Rack Bezel 1 SR
32GB Memory for 2CPU (4x8GB Dual Rank LV RDIMMs)
1333MHz
1 SR
Additional Intel Xeon E5645 Processor (2.40GHz, 6C, 12M
Cache, 5.86 GT/s QPI, 80W TDP, Turbo, HT)
1 SR
1GB USB Laufwerk, Intern, Kein Hypervisor inklusive 1 SR
600GB SAS 6Gbit/s 15k 3,5Zoll Festplatte Hot Plug 4 SR
PERC H700 Integrierter RAID Controller, 512MB NV Cache,
Für 8x Festplatten Gehäuse
1 SR
16X DVD-ROM Drive SATA (R510/R515) 1 SR
SATA Cable for Optical Drive for 8xHDD Chassis 1 SR
Redundantes Netzteil (2 PSU) 750W, Für 8x und 12x Hot Plug
Festplatten Gehäuse
1 SR
2x Rack Stromverteiler Netzkabel 1 SR
iDRAC6 Express 1 SR
Kein Betriebssystem 1 SR
PE R510 Electronic System Documentation and OpenManage
DVD
1 SR
Dell PowerEdge Hardware Vor-Ort Installationsservice nicht
ausgewählt
1 SR
Ready-Rack-Gleitschienen 1 SR
C24 Hot-Swap 8HD - R10 for PERC 6i/H200/H700, Min. 4
Max. 8 Hot Plug Drives
1 SR
PowerEdge Order - Germany 1 SR
Base Warranty 1 SR
3Yr Basic Warranty - Next Business Day - Minimum Warranty 1 SR
3Yr ProSupport and Next Business Day On-Site Service 1 SR
Declined Proactive Maintenance 1 SR

 

[konfetti]

hallo zusammen,
...Das Problem:
Die Sicherung der Möhre dauert anstatt 6 Stunden mittlerweile gute 16Stunden - kamen 3 neue VMs seit dem dazu. Außerdem gibt es im Exchange abundan verzögerung mit Outlook. Es ist merklich langsamer geworden...

Viele VMs in einem einzigen Datastore sind das eigentliche Problem, dann ist noch die Frage zu klären - wie läuft das Backup und was für Backup wird eingesetzt?

hallo zusammen,
...PS: Ich weiß das SQL Server oftmals nicht virtualisiert empfohlen werden, wer aber ein wenig recherchiert wird feststellen dass dies generell kein Problem ist.
Für die Datenbank VMDisk wählt man entsprechende Treiber und setzt die Performance hoch.

Wir haben Kunden, die virtualiseren zig 100 DB-Server MSSQL auf ESX-Farmen - ohne Probleme und auch ohne große HDD-Last -> RAM, RAM und noch mehr RAM.

Wir haben uns wegen der Unified Messaging Dienste unseres Exchange für eine physische Maschine entschieden, mit 16GB RAM und 4x 300GB SAS HDDs - die 16GB sind voll ausgelastet -> hier wird demnächst auch nochmal aufgestockt -> 24GB endausbau, evtl. aber dann doch nicht mehr physisch sondern auf unseren ESX'en - die ebenfalls nochmal um 24GB pro Server auf dann 80GB ausgebaut werden.

Hintergrund: Der Sharepoint der seit 2 Monaten läuft vernicht Resourcen ohne Ende - vorallem wegen dem installierten Searchserver, dabei ist er aber auch echt geil, weils finden viel Schneller geht - der MSSQL-Server der Anfangs mit 4GB lief, hat imho 12GB, der Sharepoint-App Server vorher 6 jetzt 12GB - mehr können wir nicht zuteilen, weil die nämlich den Speicher voll und "privat" nutzen, während andere VMs zum größeren Teil den RAM mit anderen Servern Teilen.

Aber seit dem die Dinger mehr RAM haben, ist die IO-Last auf den Platten zurückgegangen, Backups gehn auch wieder schneller durch - hier wurde der Task auch angepasst, das die Server nicht mehr parallel sondern seriel gesichert werden, zumindest die, die auf dem selben Datastore liegen.

VMware selber hatte irgendwo ein Whitepaper zum Storage, in dem Stand: für performante Systeme max. 10-20 VMs pro Datastore bzw. bei Datenbankservern 5-10 - wobei hier immer von Singeldisk VMs ausgegangen wird.

Bei uns ist es (leider?) so, das die Systeme eine OS-vDisk haben und eine APP-vDisk, diese wurden bei den neuen Systemen Zeitgleich angelegt, liegen also nah beieinander - beim booten evtl. wichtig.
Die älteren haben nach und nach mehr Speicher bekommen - "zerstückelte" Plattenplätze, also Fragmentierte Aufteilung ist ein Problem, grade dann bei Last-intensiven Dingen.

Ich würde also hier erstmal darauf setzen, statt einem großen Datastore, mehrere kleine zu haben, Snapshots nur solange sie notwendig aufheben, und schnellstmöglich löschen - Snapshots sind zumindest bei uns beim Backup auch noch ein Problem - vorallem weil der "Client" gesichert wird, nicht die VM vom ESX-host.
Dann würde ich versuchen den RAM weistestgehend so zu vergeben, wie er von den Systemen auch benötigt wird, einer VM, die eigentlich nur 2GB nutzt volle 6 oder mehr zu geben macht keinen Sinn, hier fängt es an - dafür dann dem Exchange-Sever locker mal 12-16GB (am besten nach den Empfehlungen von M$) RAM vergeben - wirkt wunder

Edith meinte grad so...
wir haben übrigens Fujitsu Server, ein ESX mit 2 Quad, zusätzlicher NIC und 48GB RAM - allerdings nur den 2 Platten fürs OS - rest ist Net.App - zentrales Storage - knapp 5k - FTS macht ganz gute Kampfpreise, hohl Dir doch da mal nen Angebot ein
-> wir haben außerdem nicht nur einen ESX - single Point of Failure - sondern 2 - VMs gleichmäßig verteilt, macht immernoch 11VMs pro ESX

 

[underclocker2k4]

@funky

Nimm mal bitte die Quotes von mir raus, die blähen den Thread auf. (hab meine innen Spoiler gebracht)

Was kostet denn der Dell mit 64GB?

Siehe mein anderes Angebot zu einem Opteron HP.
CPU Power in vergleichbaren Regionen, dafür aber 96GB Ram, sprich 3x oder 1,5x soviel RAM.

Im Vergleich zum 32GB Dell sind das <1k Aufpreis, zum 64GB Dell vermute ich mal garkein Aufpreis, oder eher gespart.

Und mit 96GB RAM, kannste den DB Server RAM zuschanzen, dass die sich freuen werden.

EDIT:

nonEnterpriseSSDs würde ich nur für bestimmte Sachen nehmen, die wirklich Performance brauchen, aber nicht 100%ig kritisch sind und auch immer schnell zu backuppen sind.
Das sind schon sehr spezielle Fälle, meist Testsachen halt.
Von daher, ganz klar NoGo, wie du auch sagtest.

Bezüglich der Teams, es ist sinnvoll das so weit wie möglich aufzuteilen. Das ist ein Problem, was der ESX seit eh und je hat. Man braucht zwingend IOs, sonst werden die VMs, je nach Last, elendig lahm.
Dazu nimmt man bei Systemlösungen eben mehrere Datastores und bei Clustern und größeren Umgebungen eben FC-Systeme. Letztere kosten halt Geld und machen bei kleineren Lösungen nicht immer Sinn.

 

[PowerShellAdmin]

@Sicherung
Ich sichere die VMs mit Trilead VM Explorer auf eine NAS bei uns.
Die Sicherung erfolgt über ein physikalisches System und läuft sehr gut und problemlos

@Datastorage

Hohe Priorität
würde hier 2 Teams mit je ~300GB SAS haben (2xRaid1).
Aufgabe Team 1=Exchange Server Hub & CAS
Aufgabe Team 2=SharePoint (SQL Server + Frontend/Service Server)

Normale Priorität
würde hier 2 Teams mit je ~500GB Sas haben (2xRaid1)
Hier würden die restlichen VMs verteilt werden zwischen Team 3 und 4.

Macht diese Konstelation Sinn ? klingt ja nichtmal so verkehrt, nur vermehrt sich die Frage ob man es so tun sollte

@Snapshots: werden gelöscht, sind keine auf dem produktiven Server vorhanden, die Problematik ist mir bekannt.

@VDisk: Beim Exchange & und SharePoint bestehen 2 VDisks je System (System & Datastore), bei unwichtigen System läuft der SQL Server direkt auf C:\ (MS CRM usw).

@Ram: die angepeilten 64GB wären die richtige Wahl

@Anzahl VMs: Im Team 1 und Team 2 wären dann je 2 VMs pro Datastorage. Die restlichen ~10VMs wären auf 2 Datastorages verteilt (niedere Priorität)

@Serverpreise: Denke wir sind mit Dell sehr gut bedient, wir nutzen die ja einheitlich und Preisvergleiche mit HP waren bis jetzt immer schlechter - Haben einen sehr guten Kundenberater. Mit den 4x300GB SAS und 32GB Ram sollte der Server dann bei ~6000-6500 liegen.

@Serveranschaffung: Ich würde behaupten eine Neuanschaffung macht sinn (alte abgeschrieben, auslaufender support und wir können das System weiterverwenden) oder ist das zu kurzsichtig ?

Falls ich hier was nicht beachtet habe oder Blödsinn schreibe bitte korrigieren ... lerne immer gerne neues dazu !

 

[underclocker2k4]

32GB für 6k?

Da bekommt man bei HP 96GB und kann auch noch 2 HDDs extra einsacken.

Eine homogene Umgebung schön und gut, aber was hilft es einem, wenn man für den Preis bei dem einen Hersteller beim anderen fast noch ein 2. kleines System oben drauf bekommt.

Server kann man ja Mischen wie man will, da kann man sich alle Hersteller ins Haus holen und trotzdem läuft alles zusammen.
Einzig verschiedene Ansprechpartner sind ein "Problem", aber da würde ich mich nicht drauf versteifen, kommunikativ genug sollte man als Admin ja sein.

EDIT:
Support ist das A und O, ohne kann man sich vom besten Server nix kaufen, außer man hat entsprechend viel Redundanz an Server rumstehen.

 

[PowerShellAdmin]

32GB für 6k?

Da bekommt man bei HP 96k und kann auch noch 2 HDDs extra einsacken.

Eine homogene Umgebung schön und gut, aber was hilft es einem, wenn man für den Preis bei dem einen Hersteller beim anderen fast noch ein 2. kleines System oben drauf bekommt.

Server kann man ja Mischen wie man will, da kann man sich alle Hersteller ins Haus holen und trotzdem läuft alles.
Einzig verschiedene Ansprechpartner sind ein "Problem", aber da würde ich mich nicht drauf versteifen, kommunikativ genug sollte man als Admin ja sein.

EDIT:
Support ist das A und O, ohne kann man sich vom besten Server nix kaufen, außer man hat entsprechend viel Redundanz an Server rumstehen.

inkl. aller SAS HDs (4x600 15k, 4x300 15k) , berücksichtigt?
HP habe ich bereits verglichen und war 1000-1500€ teurer. Habe ich ein Fehler in meiner Rechnung, übersehe ich was oder hast du die Festplatten nicht berücksichtigt ?

 

[underclocker2k4]

Oben drüber (auf den Post auf den ich bezog) stehen 4x SAS drinne.
http://www.hardwareluxx.de/community/17574947-post955.html

Da ist nochmal das Angebot.

Da kannste nochmal 4 SAS dazunehmen und bist (wie gesagt, laut Liste, da ruft man ma bei, in dem Fall, Bechtle an und sagt so und so, dann gehen die nochmal runter)
6,5k, also genauso viel wie der Dell.

Hast dafür 4x 2er 300SAS RAID und 96GB RAM.
Dell: 2x 2er 300SAS RAID, 2x 2er 600SAS RAID und 32GB RAM.

Da würde ich ehrlich gesagt nicht lange fackeln.
(Der HP würde mit 32GB RAM nur 5k kosten, sprich 1,5k weniger als der Dell mit fast gleicher Ausstattung.)

EDIT:
Generell sollte man sich mal ein paar Configs raussuchen, die einen guten Preis für die HW haben.
Und dann nimmt man die Config (ohne Preis) und geht zu den Herstellern und läßt die mal rechnen.

 

[fdsonne]

Dann würde ich versuchen den RAM weistestgehend so zu vergeben, wie er von den Systemen auch benötigt wird, einer VM, die eigentlich nur 2GB nutzt volle 6 oder mehr zu geben macht keinen Sinn, hier fängt es an - dafür dann dem Exchange-Sever locker mal 12-16GB (am besten nach den Empfehlungen von M$) RAM vergeben - wirkt wunder

Exchange ist lange nicht das Problem, der läuft auch mit sehr wenig RAM und wenigen CPUs sehr performant, zumindest dann, wenn man den lokalen Client Cache im Outlook nutzt. Dann macht nämlich der Client auf seiner HDD quasi alles und nur Änderungen werden im Hintergrund in der DB vom Exchange übertragen. Was dann unsichtbar für den Client geschieht. Logisch sollte man die Ressourcen nicht zu niedrig ansetzen.
Wir hatten damals ~90GB Exchange DB aufgeteilt auf ca. 200MA mit 6GB RAM und zwei vCPUs im Exchange 2007. Und das lief erste Sahne.
Maildurchsatz waren ca. 30GB pro Monat von/nach extern. Interner Durchsatz nicht mit eingerechnet.

Beim Sharepoint sieht das schon ganz anders aus. Wobei dort ja elegante Clusterfunktionen geboten werden.
Den DB Server sollte man bei hoher Last vom Frontendserver trennen. Eventuel sogar den SearchServer vom Frontend Server auslagern.
Unsere Sharepoint DB war damals ~200GB groß. Wir hatten alles in einem auf nem 2003 Std. R2 32Bit im Einsatz. Die Performance war noch ganz OK. Aber wenn der SearchDienst losrammelte, war die Performance im Keller... Das Aufteilen brachte hingegen extrem gut Punkte

was genau? Der managed Agent geht generell nicht oder auf ESX5 nicht?

Und falls man kein OpenManage benutzt, dann sieht glaube ich ESX keine Disks sondern nur den virtuellen RAID Container oder?
Kenne das ansonsten nur über LUNs ...

Wird zeit das ich mal die neuen Versionen teste.

Und wie ist das mit den Keys, ich habe einen ESX4i Key, weiß aber nicht ob der auch bei 4.1 geht. Und eben den Key für ESX5i.

Kann man den vSphere Client 5 auch offiziell bei älteren ESX Versionen benützen?

Du kannst beim ESXi keine Agents nachinstallieren, das geht nur im echten ESX!
Für den 4.xer ESXi gibts seit ganzer Weile angepasste Images mit eingebauten Agents. Das gibts im Moment für den 5er noch nicht. Weil die Serverhersteller wohl noch nicht so weit sind...

Zum Key. Der 4.0er ESXi Key läuft nur mit dem 4.0er ESX/ESXi. Der 4.1er nur mit dem 4.1er und der 5er nur mit dem 5er.

Bezüglich der Teams, es ist sinnvoll das so weit wie möglich aufzuteilen. Das ist ein Problem, was der ESX seit eh und je hat. Man braucht zwingend IOs, sonst werden die VMs, je nach Last, elendig lahm.
Dazu nimmt man bei Systemlösungen eben mehrere Datastores und bei Clustern und größeren Umgebungen eben FC-Systeme. Letztere kosten halt Geld und machen bei kleineren Lösungen nicht immer Sinn.

Die I/Os steigen auch im Raid mit steigender Plattenanzahl. Das dürfte nicht das Thema sein. Problematischer sind Datenraten bei Random Zugriffen, denn die steigen nicht im Raid mit steigender HDD Anzahl. Irgendwann wir die HDD quasi nur noch mit Kopfbewegungen beschäftigt sein, was die Randomdatenrate extrem in den Keller treibt. Da hilft dann nur das Verteilen der Last auf mehrere physisch getrennte Arrays.
Leider scheint genau das Thema IOs für wichtig erachtet zu werden und das Thema Randomzugriff/Kopfbewegungen gern unter den Tisch gekehrt zu werden. -> das Problem habe ich bei mir @Work leider auch. Wo man an 12 HDD Raid 6 Volumes festhällt, obwohl das sehr Contraproduktiv ist.

@Serveranschaffung: Ich würde behaupten eine Neuanschaffung macht sinn (alte abgeschrieben, auslaufender support und wir können das System weiterverwenden) oder ist das zu kurzsichtig ?

Nein durchaus so richtig

 

[underclocker2k4]

Wenn bei IOs nix mehr rüberkommt, ist einem dabei auch nicht geholfen, das sollte klar sein und so mein ich das auch nicht mit den IOs. (durchaus klar, dass die an sich stupide steigen, wenn die Plattenanzahl stimmt)

Daher sind "wir" ja auch dabei, das Storage breitzuziehen, damit eben mehr Randomzugriffen mit entsprechender Performance hinten rauskommen und der ESX wieder flüssiger läuft.

alt: 4HDDs @RAID 10
neu: 4-8 HDDs in 2er packages RAID1

 

[PowerShellAdmin]

Oben drüber (auf den Post auf den ich bezog) stehen 4x SAS drinne.
http://www.hardwareluxx.de/community/17574947-post955.html

Da ist nochmal das Angebot.

Da kannste nochmal 4 SAS dazunehmen und bist (wie gesagt, laut Liste, da ruft man ma bei, in dem Fall, Bechtle an und sagt so und so, dann gehen die nochmal runter)
6,5k, also genauso viel wie der Dell.

Hast dafür 4x 2er 300SAS RAID und 96GB RAM.
Dell: 2x 2er 300SAS RAID, 2x 2er 600SAS RAID und 32GB RAM.

Da würde ich ehrlich gesagt nicht lange fackeln.
(Der HP würde mit 32GB RAM nur 5k kosten, sprich 1,5k weniger als der Dell mit fast gleicher Ausstattung.)

EDIT:
Generell sollte man sich mal ein paar Configs raussuchen, die einen guten Preis für die HW haben.
Und dann nimmt man die Config (ohne Preis) und geht zu den Herstellern und läßt die mal rechnen.

bei 6500€ sind das 64GB Ram, 2CPU 6Core IntelCPU
@HP: Da passen 12 3,5" SAS Hds rein ?

AMD 8Core CPU -> nicht Leistungsfähiger als Intel 6Core (HT! ) und weniger Takt
4x600GB SAS fehlen
96 statt 64 GB Ram
Dell 8x3,5" HD HP 8x2,5 ? gehen mit Expander wohl nochmal 4 oder 8 rein.

So wie ich das sehe ist der Rohpreis ähnlich, aber nicht besser beim HP.
4 SAS HDs mit 600GB sind nochmal mind 1200€ => 6700 zzgl. MwSt.

 

[fdsonne]

Wenn bei IOs nix mehr rüberkommt, ist einem dabei auch nicht geholfen, das sollte klar sein und so mein ich das auch nicht mit den IOs. (durchaus klar, dass die an sich stupide steigen, wenn die Plattenanzahl stimmt)

Daher sind "wir" ja auch dabei, das Storage breitzuziehen, damit eben mehr Randomzugriffen mit entsprechender Performance hinten rauskommen und der ESX wieder flüssiger läuft.

alt: 4HDDs @RAID 10
neu: 4-8 HDDs in 2er packages RAID1

Mir ist das durchaus klar
Aber ich wollte darauf hinweisen, das auch in prof. sizing Guides oft nur die Rede von IOs und Anzahl der HDDs ist. Und man dann gerne eben um mehr IOs zu generieren mehr HDDs in ein Array packen soll. So gelesen bei MS (Exchange sizing Guide) und bei VMware für die Auslegung der Storages...

Und überzeug mal den Chef anhand von Argumenten wenn der sich voll und ganz auf dieses blöde Stück Papier stüzt und mit seinem Halbwissen ankommt. Das ist schwer bis unmöglich, ist so, leider wahr...

Da hilft eigentlich nur selbst benchen... Und dann die Ergebnise zu vergleichen. Aber das machen nur die wenigsten.

Wir haben hier @Work ein Storage von ner halben Million Euro im RZ stehen. Durchgängig mit 12 HDDs@Raid 6. Dazu noch dieses Array dann auf 500GB LUNs aufgeteilt 15k SAS 300GB Platten und 4-8GBit FC Anbindung.
Die Performance bei Randomzugriffen ist grottig lahm...
Logisch tuckern da einige Maschinen drauf. Aber performancetechnisch zieht ein 4x15k HDD Raid 10 das 12x15k HDD Raid 6 deutlich ab bei Random Access. (getestet mit der selben Belastung durch VMs)

 

[underclocker2k4]

@funky
Ähm, nein.

Ich habe dir 2 Angebote "gemacht"

1x mit dual Xeon (QC) DL180 G6
1x mit Dual Opteron (8core) DL385 G7

Der Xeon, nimmt 12x 3,5er SAS auf. (auch LFF genannt)

Der Opteron nimmt 8x 2,5er SAS auf. (auch SFF genannt)
Es gibt aber einen Drive Kit mit 8x 2,5er SAS. (HP Partnumber 607248-B21), braucht aber noch extra controllerports, da der 410er nur 8Port ist.
(Zusatz: der kommt beim DL385 rechts rein, da wo das ODD drinne ist, was rausfliegen würde)

Zum Opteron Angebot:
Dort sind leider nur, ich grad sehe 10k SAS drinne. (nicht wie vorher angenommen 15k)
Man könnte aber, über extern auch andere HP HDDs einbauen.
Festplatten: Systemspezifische Festplatten | heise online Preisvergleich
Wo wir grad dabei sind:
Festplatten: Systemspezifische Festplatten | heise online Preisvergleich
(sind Bruttopreise, also -19%)

Sprich man könnte bei Bechtle die Minimalausführung nehmen und dann extern nachkaufen. Oder Bechtle aufs Dach steigen und damit nen bissle Druck machen.
(sofern man Bechle nimmt)

 

[PowerShellAdmin]

@funky
Ähm, nein.

Ich habe dir 2 Angebote "gemacht"

1x mit dual Xeon (QC) DL180 G6
1x mit Dual Opteron (8core) DL385 G7

Der Xeon, nimmt 12x 3,5er SAS auf. (auch LFF genannt)

Der Opteron nimmt 8x 2,5er SAS auf. (auch SFF genannt)
Es gibt aber einen Drive Kit mit 8x 2,5er SAS. (HP Partnumber 607248-B21), braucht aber noch extra controllerports, da der 410er nur 8Port ist.

Zum Opteron Angebot:
Dort sind leider nur, ich grad sehe 10k SAS drinne. (nicht wie vorher angenommen)
Man könnte aber, über extern auch andere HP HDDs einbauen.
Festplatten: Systemspezifische Festplatten | heise online Preisvergleich
Wo wir grad dabei sind:

Festplatten: Systemspezifische Festplatten | heise online Preisvergleich
Sprich man könnte bei Bechtle die Minimalausführung nehmen und dann extern nachkaufen. Oder Bechtle aufs Dach steigen und damit nen bissle Druck machen.

Naja aber beide Angebote sind ja nicht besser als dass durch Dell. Allerdings sind das ja keine Endpreise, lasse mir mal von Bechtle von der Dell Cfg nen Preis geben.
Befürchte aber dass es nicht besser wird, da wir bei Dell weit unter den Webpreisen liegen.

 

[underclocker2k4]

Was ist denn beim 2. Angebot merklich schlechter?

Dell:
2x Xeon 6core
4x 300er SAS
4x 600er SAS
64GB RAM
6,5k

HP/Bechtle
8x 300er SAS
96GB RAM
6,5k
(grob hochgerechnet, steht ja so konkret net da)

Sprich zwar 2x 300GB weniger Storage, dafür aber 32GB (50%) mehr RAM.
Mehr RAM bekommst du nur durch größere Module rein und diese kosten ordentlich.
(das ist der Vorteil von den G34 Opterons, die haben 12 Module pro CPU)

Wie gesagt, man könnte die HDDs auch extern kaufen, aber nen konkretes Angebot, mit aktuellen Rabatten ist nie verkehrt.

Wenn du dann von jedem eins hast, kannst du dem jeweils anderen mal vorführen(mit Gesamtpreis) und dann soll er nochmal über sein Angebot nachdenken.

(Sofern denn das billiger ist, er wird ja wohl kaum sein günstigeres Angebot teurer machen, obwohl.... )

EDIT:
Eben den Edit oben gesehn.

CPU Power ist nicht dein Problem, die 16core des Opterons packen das spielend, genauso wie es 8HT core von QC Xeons machen würden.

Bezüglich der HDDs, da sollte sich was machen lassen.

Unterm Strich kommt man mit gleicher Storagebestückung auf den gleichen Preis.

Sprich, 16core Optereon vs 12 HTcore Xeons und 96 RAM vs 64GB RAM.

Und da, wie gesagt, die CPU nicht das Problem ist, wiegt der RAM Vorteil hier deutlich.

(Server haben ganz andere Anforderungen an CPUs als es unsere Spielerechner machen, ein ESX Server lebt nicht von der CPU Power, sondern vom RAM und dem Storagesystem.

 

[PowerShellAdmin]

Was ist denn beim 2. Angebot merklich schlechter?

Dell:
2x Xeon 6core
4x 300er SAS
4x 600er SAS
64GB RAM
6,5k

HP/Bechtle
8x 300er SAS
96GB RAM
6,5k
(grob hochgerechnet, steht ja so konkret net da)

Sprich zwar 2x 300GB weniger Storage, dafür aber 32GB (50%) mehr RAM.
Mehr RAM bekommst du nur durch größere Module rein und diese kosten ordentlich.
(das ist der Vorteil von den G34 Opterons, die haben 12 Module pro CPU)

Wie gesagt, man könnte die HDDs auch extern kaufen, aber nen konkretes Angebot, mit aktuellen Rabatten ist nie verkehrt.

Wenn du dann von jedem eins hast, kannst du dem jeweils anderen mal vorführen(mit Gesamtpreis) und dann soll er nochmal über sein Angebot nachdenken.

(Sofern denn das billiger ist, er wird ja wohl kaum sein günstigeres Angebot teurer machen, obwohl.... )

Also wären bei ~6500 exkl. 8 300er dabei.
Nachteil 4x300 anstat 4x600
10k anstatt 15k
kein ht
weniger takt
mehr kerne (trotzdem weniger cpuleistung)

Der vorteil liegt im speicher, aber die anderen punkte macht es ja nicht unebdingt weg. telefonisch sollte da aber ja auch nochmal was gehen, die kriegen direkt das dell angebot in die hände dann bin ich mal gespannt.

 

[fdsonne]

Also wären bei ~6500 exkl. 8 300er dabei.
Nachteil 4x300 anstat 4x600
10k anstatt 15k
kein ht
weniger takt
mehr kerne (trotzdem weniger cpuleistung)

Der vorteil liegt im speicher, aber die anderen punkte macht es ja nicht unebdingt weg. telefonisch sollte da aber ja auch nochmal was gehen, die kriegen direkt das dell angebot in die hände dann bin ich mal gespannt.

Irgendwie hab ich so das Gefühl, du streubst dich vor anderen Angeboten!?
HT ist völlig uninteressant, der Takt ebenso, was am Ende rumkommt, gibt die Leistung vor... Zudem ist CPU Power absolut nicht dein Problem.

Übrigens ein Hinweis, wir hatten damals bei Bechtle 2xDL380G6 + 1xDL180G6 + MSA2312fc + 8x450GB SAS 15K Platten + VMware Advanced sechs CPU Kit inkl. VCenter Server + 2xFC 8GBit 8 Port Switche und diverse HBAs für die Server + SAS 8 Band Autoloader LTO4 bei Bechtle gekauft.
Liste hat der Spaß über 50k Euro gekostet. Projektpreis nach Verhandlung waren ~31k
Nur so nebenbei... Vom Listenpreis geht noch einiges. Bei deinem Dell Angebot hingegen wohl eher nicht mehr. Zumahl der Support beim Dell dort wohl schlechter ist.

 

[underclocker2k4]

Jo, Speicher ist das A und O beim Virtualisieren, neben einem entsprechend breit aufgestelltem Storage.

15k SAS sind schön, aber eben nicht ganz so wichtig, wichtiger ist eine Lastverteilung, sprich mehrere Arrays.

Leider hat HP keine kleinen Server mit 3,5er HDDs, das würde alles ein wenig besser machen. (3,5er HDDs sind halt billiger und es gibt entsprechend große auch in 15k)

Wenn du mit Bechtle hantierst, kannste denen mal entsprechende Angebote von Extern zu den HDDs geben.

Das ist die aus der Opteronzusammenstellung.
HP 300GB 6G SAS 10K SFF DP ENT HDD (507127-B21) | Geizhals.at Deutschland
(gleicher Preis, aber Brutto)

15k SFF, die sollten sich besorgen lassen:

300GB
512547-B21
oder
450GB
516816-B21
oder
600GB
516828-B21

Sollens mal die Muskeln spielen lassen.

 

[konfetti]

wieso eigentlich immer 3.5"HDDs? - nimm die 2.5er 15k SAS und gut.
Das ganze kann man kleiner verpacken - wenn man auf Rack-Platz nicht achtgeben muss gut, aber der Verbrauch? - man sollte auch hier bei nem Server nachhaltig und langfristig planen. - unsere ESXe brauchen - mit Storage eingerechnet - durch Virtualisierung bei mehr Leistung rund 1000W weniger als die alten Systeme auch mit vorherigen ESX auf 3.5" Basis - das rechnest jetz auf den Tag/Monat/Jahr hoch - man kann also durchaus auch am richtigen Ende sparen

 

[PowerShellAdmin]

Also ersteinmal: Natürlich nehme ich Angebote an, nur dann will ich auch wissen warum Daher erstmal vielen Dank für die Diskussion und sry falls mein kritisches Hinterfragen erstmal unhöfflich klingt. - ist garnicht so gemeint.

Der HP Server klingt gut, schade finde ich dass mit den 10k HDs- Nehme an das hier kaum Unterschiede spürbar sind, Zugriffszeiten sollten sich hoffentlich nicht allzuviel nehmen.

Konzeptionell sehe ich das momentan etwa so:

4 Datastorages:
Exchange:2x300 GB Raid 1 : Exchange CAS & HUB VM
SharePoint:2x300GB Raid 1: SharePoint Backend/DB & Frontend/Appflication VM
Rest1:2x450GB - 600GB Raid1:1 teil restlicher VMs
Rest2:2x450GB -600GB Raid1:2.teil restlicher VMs

Ressourcen Pools
Exchange: 25GB Ram CPU Prio hoch
SharePoint 25GB Ram CPU Prio hoch
Rest1 & 2 54GB Ram CPU Prio normal

Werde mir hier mal mit Bechtle Kontakt aufnehmen und das Ganze besprechen und ein Angebot anfordern.
Dann auch gleich in der Wunschkonfiguration und das bei Dell nochmal gegen fordern und vergleichen.

 

[underclocker2k4]

Storageverteilung kann man erstmal so machen.

Der Exchange braucht idR nicht soviel RAM. Da würde ich lieber nochmal 15GB auch den SP draufpacken.

Es gibt von HP auch 15k SAS 2,5er, das ist nicht das Thema, da soll Bechtle mal Eventualpositionen einpflegen.

 

[xrated]

wieso eigentlich immer 3.5"HDDs? - nimm die 2.5er 15k SAS und gut.

Ich würde meinen das eine 3,5" 15k schon noch etwas schneller und günstiger ist, dafür aber auch mehr Strom und Platz braucht

---------- Beitrag hinzugefügt um 14:11 ---------- Vorheriger Beitrag war um 14:10 ----------

Zumahl der Support beim Dell dort wohl schlechter ist.

Hockt der Support von HP immer noch irgendwo in Russland oder Rumänien? Fand ich eigentlich ne Zumutung.