Multi-Sockel-Hardwaretreff Part 2

[fdsonne]

Hmmm wenn das jetzt nur Performance Probleme gewesen währen, hätte ich vielleicht auf Probleme mit den Platten oder so getippt, aber so...
Die Logs der VMs bringen auch nichts aussagekräftiges? Sind alle VMs betroffen oder nur bestimmte VMs oder Hosts?

eigentlich alle...
Wobei es am subjektiv auffälligsten bei XP, 2003 und 2008 Server VMs ist.
2012 und 2008 R2 laufen etwas geschmeidiger. Und unsere Linux Büchsen sind alle samt ohne GUI -> da kann ich nix feststellen an Performanceverlust.
Kollege meinte aber zweitweise gehen irgendwelche Replikationen von OpenLDAP und MySQL in die Hose, weil zu viel Zeit benötigt wird.


Hatte mich auch vorhin noch durch die VMware IO Analyser Appliance gewühlt. Die Werte sind aber auch irgendwie extremst grausig
Schmeckt mir alles nicht so recht. Aber so wirklich habe ich auch kein Bock jetzt das alte NetApp Storage noch genau unter die Lupe zu nehmen. Die neue Kiste ist schon da. Fehlen aber noch die 8G FC Switches... Die wohl noch 2-3 Wochen brauchen...

 

[DunklerRabe]

@Steggi: Ich werde entweder Dual Sockel 1366 Supermicro Boards einbauen oder das JBOD Power Board CSE-PTJBOD-CB1, mal sehen! Vermutlich letzteres. In beiden Fällen ist der zusammengefasste Stecker für das Frontpanel genau richtig!
Ich muss mir nur noch überlegen wie viele ich mal bestelle!

edit: So, ich hab mal vier bestellt. Ich hab ein paar Ideen für neue Storagelösungen

 

[.nols]

Ich glaub jetzt muss ich mir auch noch so ein Gehäuse bestellen, damit hab ich ja nochmal Upgrademöglichkeiten für mein Storage Server

 

[Patric_]

passt da ein normales ATX-NT und -MB rein?

 

[Steggi]

mhh - interessant, wir aber viel Kabelsalat geben - so ein Modul hat mein Chenbro auch und -> die Kabel sind ein graus.

Naja, ist schon mehr als mit ner direkten 8087er Verbindung, aber mit ein paar Kabelbindern geht das schon, zumal du die Kabel an mehreren Stellen durch die Lüfterwand führen kannst (was bei mir eh Sinn macht, da es 2 Controller gibt)

@Steggi: Ich werde entweder Dual Sockel 1366 Supermicro Boards einbauen oder das JBOD Power Board CSE-PTJBOD-CB1, mal sehen! Vermutlich letzteres. In beiden Fällen ist der zusammengefasste Stecker für das Frontpanel genau richtig!

Klar, für SM Boards ist der Anschluss natürlich genau richtig, nur werkelt bei mir im Storage (noch) kein SM Brett... Bei dem währe ich dann zumindest sicher, dass es mit den 1,1A Strom, die jeder Lüfter zieht, auch klar kommt^^

Das mit dem JBOD Power Board klingt interessant. Willste damit die Platten via Expander und externem SAS Kabel anbinden, oder wie läuft das?

So, ich hab mal vier bestellt. Ich hab ein paar Ideen für neue Storagelösungen

Joa, solange die noch zum Schleuderpreis raus gehen... Wobei ich hab für mehr eh keinen Platz (jut, ich hab jetzt ne HE mehr im Vergleich zum alten Case und trotzdem mehr Platz für Platten) und das Case ist eh erst mal nur halb voll. Die andere Hälfte mach ich jetzt erst mal mit 2,5" Platten voll

passt da ein normales ATX-NT und -MB rein?

Board ja, Netzteil nein. Du kannst aber andere Netzteileinschübe z.B 500W 80+ Platinum einsetzen (PWS-501P-1R)

 

[DunklerRabe]

Ohne Expander im Chassis, einfach Kabel rausführen. Das Powerboard sorgt nur für eine vernünftige Bedienung, d.h. das Frontpanel funktioniert. Bzw. zumindest der Powerknopf. Nebenbei kann es noch zwei Lüfter versorgen. Natürlich könnte man aber genau so noch einen Expander mit einbauen, der mit einem Molex Stecker vom Netzteil versorgt wird. Der HP Expander wäre damit nur raus, die meisten anderen könnte man da also einsetzen.

Platz hab ich dafür eigentlich auch nicht, ich suche noch immer nach einem ~22 HE Rack. Ich hab aber jetzt beschlossen das anders zu lösen, ich fahr morgen mal zu IKEA

Ich würd mit dem nein beim ATX Netzteil übrigens nicht so ganz voreilig sein. Sicherlich ist es nicht vorgesehen, aber zumindest als HDD Enclosure kann man das definitiv mit einem ATX Netzteil betreiben. Wenn noch ein Mainboard eingebaut ist könnte es schwer werden bzw. einen Dremel notwendig machen

 

[Steggi]

Ich hab aber jetzt beschlossen das anders zu lösen, ich fahr morgen mal zu IKEA

Jaja... das Lackrack lässt grüßen^^ So ersparste dir dann wohl auch die 65€ für die Schienen

Ich würd mit dem nein beim ATX Netzteil übrigens nicht so ganz voreilig sein. Sicherlich ist es nicht vorgesehen, aber zumindest als HDD Enclosure kann man das definitiv mit einem ATX Netzteil betreiben. Wenn noch ein Mainboard eingebaut ist könnte es schwer werden bzw. einen Dremel notwendig machen

Klar, wenn kein Board drinn ist, kann man das Netzteil sicherlich einfach so rein legen, aber mit Board würd ich mich eher fragen, WOHIN mit dem Netzteil. Zum hinlegen ist das Board im Weg und zum hinstellen ist das Case nicht hoch genug

 

[DunklerRabe]

Ja, Schienen spar ich mir damit. Und es bringt noch ein paar andere Annehmlichkeiten. LACK Beistelltisch mit Rollen - Birkenachbildung - IKEA wirds wohl werden, aber die Miniräder lass ich weg. Die werden wohl für die offizielle Belastbarkeit von 25 kg sorgen. Ich werds aber wohl mobil halten, ist im Zweifelsfall immer besser, und auf so einen Möbeltransportroller stellen!

Völlig richtig übrigens was das Board angeht, das wird im Weg sein. Aber um das genau zu beurteilen muss ich mir das mal genau anschauen. Das wäre nicht der erste Netzteilumbau

 

[underclocker2k4]

@Rabe
Wir haben auch irgendwo nen Lack Bilderthread.

 

[DunklerRabe]

Ist das eine Aufforderung Bilder zu posten, wenn ichs fertig gebaut habe?

 

[Everest2000]

Naja, ist schon mehr als mit ner direkten 8087er Verbindung, aber mit ein paar Kabelbindern geht das schon, zumal du die Kabel an mehreren Stellen durch die Lüfterwand führen kannst (was bei mir eh Sinn macht, da es 2 Controller gibt)



Klar, für SM Boards ist der Anschluss natürlich genau richtig, nur werkelt bei mir im Storage (noch) kein SM Brett... Bei dem währe ich dann zumindest sicher, dass es mit den 1,1A Strom, die jeder Lüfter zieht, auch klar kommt^^

Das mit dem JBOD Power Board klingt interessant. Willste damit die Platten via Expander und externem SAS Kabel anbinden, oder wie läuft das?



Joa, solange die noch zum Schleuderpreis raus gehen... Wobei ich hab für mehr eh keinen Platz (jut, ich hab jetzt ne HE mehr im Vergleich zum alten Case und trotzdem mehr Platz für Platten) und das Case ist eh erst mal nur halb voll. Die andere Hälfte mach ich jetzt erst mal mit 2,5" Platten voll



Board ja, Netzteil nein. Du kannst aber andere Netzteileinschübe z.B 500W 80+ Platinum einsetzen (PWS-501P-1R)

OK - kann auch sein das bei Chenbro es halt blöd lief - aber egal, die Teile sind bestellt^^.

 

[Steggi]

Mahlzeit,

hat grade mal jemand die Kopierperformance für W2K8 Shares für mich?
Stehe nämlich grade vor dem Problem, dass sämmtliche Shares, egal ob SMB oder NFS eine eher schlechte bis grottige Performance liefern (SMB: 50/90, NFS: 12/37 Write/Read)
Am Netzwerk scheint es schonmal nicht zu liegen. NetIO zeigt mir im Schnitt 103 MB/s zwischen den Maschienen.
Die SAS Platten im Server schaffen knappe 300 MB/s, bieten also genug "Wumms"

Interessant ist, dass während der Bechmarks die "Aktive Zeit" im Ressourcenmonitor auf den Servern immer auf 100% geht und die Performance der Platten auf ein Minimum zurück geht. Dabei ist es egal, auf welches Array der Benchmark zugreift... Auf die Platten finden sonst natürlich keine weiteren Zugriffe statt, aber es kann noch nicht sein, dass Netzwerkzugriffe die Platte zu 100% auslasten, während die gleichen Zugriffe lokal kaum die Platten belasten... Irgendwie steh ich da grade etwas aufm Schlauch

 

[DunklerRabe]

Ich habe grade zufällig ein paar Angebote bei eBay entdeckt, die ganz lohnenswert scheinen. Nein, es ist keine Werbung von mir!
Vielleicht ist ja was für euch dabei:

Intel Xeon Quad Core Prozessor L5520 Workstation Server PC Computer Socket 1366 | eBay
CPU Prozessor Step SLBF3 Intel QUAD-CORE XEON X5570 2.93Ghz/8M/1366 | eBay
SuperMicro X6DHE-XB 2x Intel Xeon 3600MHz 8192MB HDD Fehlt SATA Onboard 10/100/1 | eBay

Zu den CPUs muss man wohl nicht viel sagen. Das sind nicht die aktuellsten Modelle, sind noch originale Nehalems. Könnte aber noch lohnenswert sein, falls jemand nochmal eine Sockel 1366 Kiste aufrüsten will/muss. Und da man auch noch einen Preis vorschlagen kann kriegt man sie vielleicht noch etwas billiger.

Das Chassis ist, glaube ich, ein SC932 oder SC933. Der Anbieter gehört zu Delwi IT Remarketing, genau die Bude, die auch die Systeme in dem SC836 Chassis verkauft. Genauso wie in dem Angebot ist auch hier die Hardware absolut ranzig, das Case eignet sich aber fast genau so gut wie das SC836. Es passen keine EEATX Boards rein, sondern nur EATX, und es hat 15 statt 16 HDD Bays, ist dafür aber auch nochmal einen Tick billiger. Über Preis vorschlagen kann man vielleicht noch ein paar Euro herausschinden. Zusammen mit dem oben erwähnten SuperMicro JBOD Power Board eignet sich das Case wohl ganz gut aus Storageerweiterung für ein bestehendes System.

 

[PhreakShow]

Mahlzeit,
hat grade mal jemand die Kopierperformance für W2K8 Shares für mich?

Kann dir nur sagen, dass generell die SMB-Performance bei 2k8R2 bzw auch bei Win7 ziemlich geil ist. Hab hier nicht viel Storage, nur 4x 2TB Samsung F4 im Raid5. Das lastet Gbit voll aus, also dauerhaft >100MB/s. NetIO zeigt ~120MB/s.

 

[Steggi]

Von beiden Storages aus auf mein Notebook mit SSD schafft der auch die volle GBit Bandbreite, aber in die andere Richtung nicht.

Aktuellstes Beispiel: Durch diese Probleme hats mir heute Morgen eine VMDK von meinem WSUS zerschossen und jetzt läuft grade die Rücksicherung mit sage und schreibe 3MB/s Und ja, der Backupserver liefert mit seinen 6 Platten auch mehr als genug Duchsatz.

Btw: Diese 3MB/s lasten das RAID5 aus 3 WD RE4 zu knapp 90% aus *kotzsmiley* der Backupserver schafft das mit noch keinen 5% im Ressourcenmonitor

 

[Everest2000]

Ich habe grade zufällig ein paar Angebote bei eBay entdeckt, die ganz lohnenswert scheinen. Nein, es ist keine Werbung von mir!
Vielleicht ist ja was für euch dabei:

Intel Xeon Quad Core Prozessor L5520 Workstation Server PC Computer Socket 1366 | eBay
CPU Prozessor Step SLBF3 Intel QUAD-CORE XEON X5570 2.93Ghz/8M/1366 | eBay
SuperMicro X6DHE-XB 2x Intel Xeon 3600MHz 8192MB HDD Fehlt SATA Onboard 10/100/1 | eBay

Zu den CPUs muss man wohl nicht viel sagen. Das sind nicht die aktuellsten Modelle, sind noch originale Nehalems. Könnte aber noch lohnenswert sein, falls jemand nochmal eine Sockel 1366 Kiste aufrüsten will/muss. Und da man auch noch einen Preis vorschlagen kann kriegt man sie vielleicht noch etwas billiger.

Das Chassis ist, glaube ich, ein SC932 oder SC933. Der Anbieter gehört zu Delwi IT Remarketing, genau die Bude, die auch die Systeme in dem SC836 Chassis verkauft. Genauso wie in dem Angebot ist auch hier die Hardware absolut ranzig, das Case eignet sich aber fast genau so gut wie das SC836. Es passen keine EEATX Boards rein, sondern nur EATX, und es hat 15 statt 16 HDD Bays, ist dafür aber auch nochmal einen Tick billiger. Über Preis vorschlagen kann man vielleicht noch ein paar Euro herausschinden. Zusammen mit dem oben erwähnten SuperMicro JBOD Power Board eignet sich das Case wohl ganz gut aus Storageerweiterung für ein bestehendes System.

Das Gehäuse wird wohl bei mir auch mal kommen, nur bin ich unschier, wie "laut" das ganze ist.

 

[daheym]

Laut (habe 2 davon im Rack zuhause)
Die 80er Lüfter im Gehäuse kannst du evtl. durch was leiseres tauschen, allerdings machen die schon ordentlich Wind um die Platten genügend zu kühlen.
Am nervigsten sind aber die 40er Lüfer in den redundanten Netzteilen.

 

[Steggi]

Och, wenn da die gleichen Lüfter drin stecken wie im SC836, dann lassen sich die 80er problemlos mit 5 oder 7 Volt betreiben

 

[underclocker2k4]

Da sind Sunon Lüfter drin. Hinten sind 2x 80er und in der Mitte 4 90er. Damit ist es von der Strömung her besser als das 836er. (beim 933er gehen die Lüfter fast über die gesamte Breite)

 

[DunklerRabe]

Die Lüfter kann man ja immer austauschen oder eben mit geringerer Spannung betreiben. Natürlich wird es im Werkszustand ganz klassisch laut sein.
Ich glaub wenn meine vier SC836 hier sind bestell ich nochmal zwei der SC932/SC933, da ich zwei SC836 vermutlich eh an einen Freund weiterreichen werde.

Kennt eigentlich jemand den Unterschied zwischen SC932 und SC933? Ich hab da eben schnell mal drübergeschaut, aber keinen Unterschied entdeckt.

 

[Everest2000]

Papst -> S-Force PWM Lüfter und ruhe ist da -> sind neben Noctua meine Lieblingslüfter und machen ordenlich Druck.

 

[daheym]

Dann kosten die Lüfter aber mehr als das Gehäuse

 

[konfetti]

Auch das Case gibts ürigens bei Delwi direkt

SuperMicro X6DHE-XB 2x Intel Xeon 3600MHz 8192MB HDD Fehlt SATA Onboard 10/100/1000 RJ 45 19" Rack 3

 

[DunklerRabe]

Ach, dann haben sie das heute neu eingepflegt
Gestern war das noch nicht im Shop. Da ist es auch schon 5 Euro billiger, evtl. lohnt es sich aber vorher mal bei eBay einen Preisvorschlag zu versuchen.

 

[Steggi]

Nein, dass war vorher schon da :P Zuminstest ist das schon seit dem 14. drin...

 

[fdsonne]

Mahlzeit,

hat grade mal jemand die Kopierperformance für W2K8 Shares für mich?
Stehe nämlich grade vor dem Problem, dass sämmtliche Shares, egal ob SMB oder NFS eine eher schlechte bis grottige Performance liefern (SMB: 50/90, NFS: 12/37 Write/Read)
Am Netzwerk scheint es schonmal nicht zu liegen. NetIO zeigt mir im Schnitt 103 MB/s zwischen den Maschienen.

Die Frage ist, was wird übertragen!?
SMB ist ab 2008/Vista schonmal sehr sehr flink unterwegs... Es ist somit spielend möglich, 1GBit Durchsatz zu bekommen bei SMB Traffic.

Auf die Anzeigen da im Ressourcenmonitor kann man sich nicht 100% verlassen Das mal so nebenbei... Denn das Tool selbst kann gar nicht wissen, wann 100% erreicht sind, sondern scheint das irgendwie intern über Durchschnitte zu ermitteln.
Auch kommt es massivst darauf an, was für Daten übertragen werden.

Aber mal ein paar Sachen, was sein könnte:
- Cache Settings der Platten, des Raids bzw. Filecache (im RAM) von Windows...
- Ungewollt getätigter Random Access anstatt sequenziell?
- Nutzung irgend eines Tools, was ggf. nicht die Leistung voll ausfahren kann?
- Reinfuschende Software ala Virenscanner auf Quell und/oder Zielseite?
- Netzwerkinfrastruktur, welche ggf. via QoS oder anderen Verfahren bei Volllast auf der Datenstrecke zwischen Client und Server einbremst?
- Irgend ein Router, der ggf. überlastet ist?

PS: kannst du verifizieren, ob dein Notebook auch rauszu mit über keine Ahnung 90-100MB/sec "schieben" kann bei SMB?
Und kannst du mal andere Protokolle verwenden? -> FTP bietet sich an um den Gegentest zu machen...

 

[TCM]

Auf die Anzeigen da im Ressourcenmonitor kann man sich nicht 100% verlassen Das mal so nebenbei... Denn das Tool selbst kann gar nicht wissen, wann 100% erreicht sind, sondern scheint das irgendwie intern über Durchschnitte zu ermitteln.

Ich dachte, der nimmt einfach den Linkspeed als 100%?

 

[fdsonne]

Bei der NIC mag das gehen... Aber die activity Anzeige der HDDs!? Die Anzeige soll ja verdeutlichen, wie viel Last in Prozent auf der HDD/dem Array anliegen -> und das ist eher schwer überhaupt zu errechnen, noch dazu massivst Kontentabhängig.

 

[Steggi]

Die Frage ist, was wird übertragen!?

In diesem Falls sowohl 2GB "kleine" Files via ATTO als auch große Dateien mit 30 oder mehr Gigabyte.

SMB ist ab 2008/Vista schonmal sehr sehr flink unterwegs... Es ist somit spielend möglich, 1GBit Durchsatz zu bekommen bei SMB Traffic.

Das scheint bei meinen Kisten wohl noch nicht so ganz angekommen zu sein...

Auf die Anzeigen da im Ressourcenmonitor kann man sich nicht 100% verlassen Das mal so nebenbei... Denn das Tool selbst kann gar nicht wissen, wann 100% erreicht sind, sondern scheint das irgendwie intern über Durchschnitte zu ermitteln.
Auch kommt es massivst darauf an, was für Daten übertragen werden.

Naja nicht darauf verlassen ist eine Sache, wenn da aber eine 20GB VMDK aus dem Backup mit 3MB/s via NFS auf ein Raid 10 aus flotten SAS Platten geschrieben wird, und du im Explorer noch nicht mal mehr wirklich das Laufwerk öffenen kannst, dann isses ne Andere...

Aber mal ein paar Sachen, was sein könnte:
- Cache Settings der Platten, des Raids bzw. Filecache (im RAM) von Windows...

Die Caches sind soweit vorhanden aktiv.

- Ungewollt getätigter Random Access anstatt sequenziell?

Sollte eigentlich nicht der Fall sein. Die Platten sind alle defragmentiert und große Files kommen eigentlich selten random

- Nutzung irgend eines Tools, was ggf. nicht die Leistung voll ausfahren kann?

Eigentlich auch nicht. Siehe Bilder weiter unten

- Reinfuschende Software ala Virenscanner auf Quell und/oder Zielseite?
- Netzwerkinfrastruktur, welche ggf. via QoS oder anderen Verfahren bei Volllast auf der Datenstrecke zwischen Client und Server einbremst?
- Irgend ein Router, der ggf. überlastet ist?

Nein, das Netzwerk ist in Ordnung, und die NICs auch. An der Quad NIC im Server kommen zwar nochmal ein paar MB mehr bei SMB Zugriffen über die Leitung, mehr aber auch nicht.

PS: kannst du verifizieren, ob dein Notebook auch rauszu mit über keine Ahnung 90-100MB/sec "schieben" kann bei SMB?

Jep, kann ich. Die SSD da drinne sollte mehr als genug Duchsatz bieten

Und kannst du mal andere Protokolle verwenden? -> FTP bietet sich an um den Gegentest zu machen...

Muss ich nachher mal schauen. Aber ich habe an dem Controller im Server einfach mal eine meiner alten SSDs dran gehangen, und sofort war die Leitung voll...

Zuallererst, liefern sowohl die SAS Platten als auch die SATA Platten die volle Performance. Das merk ich sowohl in der vCenter VM, die auf dem Storage mitläuft als auch im direkten Kopieren von einer 120GB VMDK vom SAS aufs SATA Array mit weit über 200MB/s. Zudem folgendes ATTO Ergebniss vom SAS Array:

Greifen wir nun auf dieses SAS Array via SMB zu, schaut das ganze dann so aus:

Leseleistung ist OK, aber schreibend sollte da mehr drinn sein, vor allem, wenn man am gleichen Controller (PERC H310) eine SSD dran hängt, dann schauts nämlich so aus, wie es sein sollte...

Zum Thema NFS: Lesend sind auch hier inzwischen 80-100MB/s laut ATTO mit nem 2GB File drin, schreiben geht aber nur noch mit schlappen 3MB/s und sobald geschrieben wird, kann man anderwertig auf das Array kaum bzw garnicht mehr zugreifen.

 

[DunklerRabe]

Meine vier SC836 sind da, praktisch geliefert auf Palette
Großartig übrigens, dass jedem Server zwei Stromkabel beiliegen und dann auch noch Schuko auf C13!
Jedem Server fehlt übrigens eine Slotblende hinten, da steckten vermutlich die 3ware 9650SE-16ML drin, die Delwi auch noch in rauhen Mengen anbietet. Leider etwas teuer für meinen Geschmack, ist ja schon ein etwas älteres Modell.