[Sammelthread] HP ProLiant N36L/N40L/N54L Microserver

[prx]

Hat jemand schon mal Probleme mit Debian Squeeze gehabt? Ob es mit Lenny besser liefe? Running out of ideas.

Ich habe bei meinen Tests am einen Ende Squeeze auf dem N36L und am anderen einen VDR-Rechner, der auf Etch basiert aber wohl mit einem Kernel aus der Lenny-Generation arbeitet. Nein, die Version vom Linux spielt m.E. keine Rolle.

Wenn auf der betreffenden Disk grad eine RAID-Initialisierung läuft, dann gerät Traffic natürlich in Kollision mit der Initialisierung, selbst wenn bessere Systeme da priorisieren oder verdrängen.

Hast du beim Schreiben das "async" ausprobiert, mal mit mal ohne? Mit synchronen NFS (default) geht bei mir die Rate drastisch runter, wobei allerdings der onboard-Controller tätig war, ein RAID-Controller mit aktivem Schreibcache könnte helfen (ist aber ohne Batterie/USV riskant).

Zum Netzwerk hatte ich bereits geschrieben womit ich getestet habe. 70MB/s sind eine miserable Rate für Gbit, es sein denn man misst noch andere Parameter als nur das Netzwerk. Ich habe zwischen dem HP und einem 7 Jahre alten XP-Rechner solche Raten. Vermutlich hat sich im XP über die Jahre zu viel Müll wie Virenscanner, Firewalls etc da eingeklinkt. Mit Knoppix-CD auf ebendieser Kiste bin ich wieder am Anschlag.

---------- Beitrag hinzugefügt um 14:15 ---------- Vorheriger Beitrag war um 13:59 ----------

Ich komme per NFS bei einem 10GB

Teste das auch mal mit Filegrössen, die deutlich unter der RAM-Kapazität des Servers liegen - und warte vorher, bis der Server seinen RAM-Cache komplett auf Disk synchronisiert hat. Es geht bei solchen Tests ja massgeblich darum, zwischen Effekten des Netzwerkprotokolls und Effekten der Disk zu unterscheiden.

 

[GuaRd!aN]

Okay, dann breche ich den Lenny Download mal ab. Bei 2000er DSL ist das eine Wohltat.

Den Test habe ich natürlich auf dem alten MDRAID gemacht nach der Initialisierung. Und gerade warte ich selbige ab, um es dann zu testen, ob ich einfach zu viel Leistung auf das Software XOR verbrate. Ich glaube es aber mittlerweile auch nicht mehr, weil ich auf eine Single Disk (per dd bekomme ich ~90MB/s) auch auf entsprechend langsame Raten komme.

Zu meinem Netzwerk kann ich nicht viel sagen, ich müsste da mal ein recht "sauberes" Netz testen, weil ich hier im Heimnetz mit einigen Streamingclients usw. doch recht viel Traffic habe. Ich werde das bei Gelegenheit mal mit einem älteren Longshine Gbit Switch testen, vielleicht kommt da ja etwas Licht ins Dunkle.

Was mich einfach wundert ist folgendes: Ich habe auf einem ATOM D525 mit 4Gbyte RAM und einem 3Ware problemlos höhere Raten erzielt, und da das MDRAID unter Schreiblast NIE über 60% CPU Load gelaufen ist, denke ich nicht, dass das die Ursache sein kann?

Also das async habe ich getestet bzw. ich hatte es von vorn herein so eingerichtet bei den exports. Aber die Speed bleibt eben.

Filegrößen habe ich auch schon diverse Probiert, von MP3 Größe, bis Debian CD Iso (700MB) ich komme immer an die 40/42mb, und dann geht nichts mehr. Den Transfer habe ich immer vom neuen Server aus initiiert. Aso nicht passiv drauf geschoben. Ein Defekt am Gerät kann es ja offensichtlich nicht sein, weil sonst würde die Kiste ja gravierende Fehler machen. Für mich bleibt entweder: zu wenig RAM oder das Betriebssystem. Wobei für einen reinen NFS / SMB Fileserver sollten 2GB reichen, oder sehe ich das falsch? Auch wenn eth0 langsam erscheint, ist es schneller als das, was am Ende übrig bleibt.

Kannst du mir mal ganz grob schreiben, wie du dein System aufsetzt?

 

[prx]

Ich habe grad mal ein paar iperf Tests durchgeführt. Trotz Test in Produktionsnetz und teils uralten Maschinen und Betriebssystemen liegen die Raten bei 900 Mb/s. Wenn du in einem leeren Netz nur 700 Mb/s kriegst, dann kommt mir das etwas merkwürdig vor.

 

[GuaRd!aN]

Okay den Punkt sehe ich, dann werde ich mein Testenvironment mal ändern. Ich verstehe zwar nicht, warum die Performance des alten Servers höher als die des neuen ist, aber nichts genaues weiß man nicht. Ich werde sobald ich dazu gekommen bin mal die genauen Results posten.

Äußerst komisch:

Also folgende Tests:

1.10 GBytes (941 Mbits/sec) 677 MBytes (566 Mbits/sec)
Laptop -------------- Server (N36L) --------------- D525 (Atom)
| |
|-------------------------------------------------------|
685 MBytes (573 Mbits/sec)

Die Richtungen sind vergleichbar.

Dann habe ich getestet: Copy via midnight commander (mc) -> 40mb/s Copy (auch NFS) via Gnome Dateimanager 70mb/s.
Ich finde das verhalten äußerst komisch, wenn ich das mal so sagen darf. xD

 

[prx]

Sorry, aus dieser "ASCII-Grafik" werde ich nicht schlau.

Bei NFS-Transfers bitte die Richtung immer hinzuschreiben, evtl. auch mal den Output von "mount".

Einflüsse von Pufferegrössen minimiert man, indem man statt mit MC mit dd bs=1M kopiert. Ich weiss nicht ob das eine Rolle spielt, aber meine Tests liefen durchgängig ohne MC.

 

[GuaRd!aN]

Hehe okay, stimmt, zusammenfassend lässt sich sagen, dass das Problem offenbar durch meinen alten Server entsteht. Jeder iperf Test in jede Richtung gibt lediglich ~650Mbit/s her. Zwischen meinem Notebook und dem Server läuft der Transfer in beide Richtungen mit ~950Mbit/s. Dementsprechend scheint es so, als existierte gar kein echtes Problem.

Kopierst du von Maschine zu Maschine per NFS immer mit dd? Wie gehst du dabei genau vor?

 

[prx]

Kopierst du von Maschine zu Maschine per NFS immer mit dd? Wie gehst du dabei genau vor?

Für die betreffenden Tests habe ich "dd" verwendet, weil ich nur da genau weiss, wie die Requestgrössen aussehen. Und habe diese auch mal durchprobiert, was keinen grossen Unterschied ergab. Aber bei "dd" ist der Fall eindeutig. Ausserdem zeigt das die Rate an.

NFS lesen mit Caching:
Server: dd if=/dev/zero of=1GB bs=1M count=1000
Client: dd if=/mnt/mountpoint/1GB of=/dev/null bs=1M

NFS schreiben:
Client: dd if=/dev/zero of=/mnt/mountpoint/1GB bs=1M count=1000

Die Client-Platte spielt so keinerlei Rolle und da der Server mit 3GB viel mehr Speicher hat als das File gross ist, ist aufgrund Caching auch die Serverplatte nicht wirklich relevant. Wenn der Transfer von/zu Platte läuft ist es etwas langsamer, aber da sind Unterschiede zwischen Plattenkonfiguration und RAID-Controllern natürlich ein wesentliches Thema.

Auf 70MB/s kommt ich beim Schreiben in Hauptanwendung für sehr grosse Files (Filme wegspeichern im VDR) trotzdem. Reicht mir.



---------- Beitrag hinzugefügt um 15:53 ---------- Vorheriger Beitrag war um 15:51 ----------

Hehe okay, stimmt, zusammenfassend lässt sich sagen, dass das Problem offenbar durch meinen alten Server entsteht.

Ist darin der Ethernetcontroller mit einfachem PCI angebunden? Das würde diese Raten locker erklären, denn damit sind 1 Gb/s effektiv nicht erreichbar.

 

[DaReal]

Gut, also FreeNAS hat wohl irgendwie ne Limitierung bei ~65MB/s schreiben und 55MB/s lesen über Samba

 

[GuaRd!aN]

Ist darin der Ethernetcontroller mit einfachem PCI angebunden? Das würde diese Raten locker erklären, denn damit sind 1 Gb/s effektiv nicht erreichbar.

Habe gerade mal ein bisschen mit lspci geschaut, es scheint so, als ob das Mainboard irgendeinen 66MHz PCI Bus implementiert, also reden wir von theoretischen 266MB/s die auf dem Bus möglich wären. Kann natürlich gut sein, dass sich da irgendwelche Geräte die Resourcen teilen.

Ich werde das mal etwas erweitern und genauer testen, auch mit dem Switch mit dem das Setup dann laufen wird. Vermutlich doktor ich daran schon total lange unnötig rum. Sobald das Raid via MDRAID (habe den Controller gerade wieder entfernt) gesynct ist, werde ich das mit dd mal testen, von meinem Notebook /dev/zero auf die Disk vom Server.

 

[Grendelbox]

Gilt das auch für den eSATA-Slot hinten am Gerät? Das würde meine Bluescreens erklären...

das kann ich dir nicht sagen, ich hatte mit dem AMD AHCI Treiber ständig Bluescreens beim Direkten Entfernen von Platten aus der Backplane.
(Auch nach deinstall im Gerätemanager)

@koaschten:

Natürlich kann der Onboard SATA Kontroller keinHOTSWAP.
Hab ich ja auch gar nicht behauptet.
Aber mit dem M$ AHCI Treiber kann man zumindest die Platten im Gerätemanager sauber entfernen und wieder hinzufügen, und zwar ohne dauernden Reboot und Bluescreen-Absturz.

 

[XTaZY]

Unterstütz der intern verbaute Raid-Controller den HDD Spindown ?

Ich hab nix dazu finden können

 

[guidol]

Ist beim Server die GB LAN onboard ?

Ja

 

[NoiseKiLLeR]

die netzwerkkarte ist per PCIe angebunden, und schaft bei mir die 120mb/sek durchsatz locker, das eigene system sollte allerdings auch mit den datenmengen klar kommen, wen im pc ne lahme platte verbaut ist dan brauch man sich nicht wundern wen nur 50-60mb raus kommen. zumal softwareraid wen in benutzung auch für datenmengen ungeeignet ist, da muss ein hardwareraid ran . die CPU ist im system vom HP einfach zu schwach um diese Aufgabe zu managen, klar wen wen nur freenas system drauf läuft dan bleibt genug für cpu über

Habe gerade mal ein bisschen mit lspci geschaut, es scheint so, als ob das Mainboard irgendeinen 66MHz PCI Bus implementiert, also reden wir von theoretischen 266MB/s die auf dem Bus möglich wären. Kann natürlich gut sein, dass sich da irgendwelche Geräte die Resourcen teilen.

Ich werde das mal etwas erweitern und genauer testen, auch mit dem Switch mit dem das Setup dann laufen wird. Vermutlich doktor ich daran schon total lange unnötig rum. Sobald das Raid via MDRAID (habe den Controller gerade wieder entfernt) gesynct ist, werde ich das mit dd mal testen, von meinem Notebook /dev/zero auf die Disk vom Server.

---------- Beitrag hinzugefügt um 02:07 ---------- Vorheriger Beitrag war um 02:06 ----------

hm energiespar modus funktioniert wen du das meinst, im prinzip das selbe allerdings greift das OS ständig drauf zu, zumindest bei mir von daher merk ich davon nix.

Unterstütz der intern verbaute Raid-Controller den HDD Spindown ?

Ich hab nix dazu finden können

 

[XTaZY]

hm energiespar modus funktioniert wen du das meinst, im prinzip das selbe allerdings greift das OS ständig drauf zu, zumindest bei mir von daher merk ich davon nix.

Gut dann werd ich mir mal was für mein kommendes Schmuckstücküberlegen

 

[GuaRd!aN]

die netzwerkkarte ist per PCIe angebunden, und schaft bei mir die 120mb/sek durchsatz locker, das eigene system sollte allerdings auch mit den datenmengen klar kommen, wen im pc ne lahme platte verbaut ist dan brauch man sich nicht wundern wen nur 50-60mb raus kommen. zumal softwareraid wen in benutzung auch für datenmengen ungeeignet ist, da muss ein hardwareraid ran . die CPU ist im system vom HP einfach zu schwach um diese Aufgabe zu managen, klar wen wen nur freenas system drauf läuft dan bleibt genug für cpu über

Da hast du recht, sollte bei der SSD und GBit LAN aber nicht das Problem sein, lokal schaffe ich 145MB/s lesend und 120MB/s schreibend - mein Notebook hat nur SATA 1.5. Die Disk schafft eig +200MB/s.

Die Leistung der CPU scheint nicht das Problem zu sein. Mir ist klar, dass die XOR engine nur auf Softwarebasis emuliert wird. Allerdings muss dabei meiner Meinung nach eine Kosten/Nutzen Abwägung machen. So ein Controller verbraucht recht viel Leistung. Ich denke aber, ich habe das Problem ausgemacht.Zwischen neuem und altem Server erreiche ich - warum auch immer - nur 42MB/s. Zwischen meinem Laptop und den beiden komme ich lesend auf 90MB/s und schreibend auch nur knapp darunter.

Wenn der neue betankt ist, werde ich den alten auch auf Software RAID umbauen. Ich denke die beiden 3Wares sind a) alt und b) werden sie in nicht richtig gelüfteten Serversystemen fatal heiß. Dann werde ich das Ganze mal erneut benchen.

Weiß jemand, ob es ein Spartpart Netzteil für die Kiste gibt? Bzw: Ist das ein standardisiertes Netzteil?
Hat jemand mit dieser Netzwerkkarte Erfahrungen gemacht? Ich bräuchte eine zweite NIC. Den 16x Slot würde ich gern ungenutzt lassen.

 

[prx]

die netzwerkkarte ist per PCIe angebunden

Ich hatte mich auf den Ethernet-Adapter in seinem alten Server bezogen, der offenbar nicht über 700 Mbit/s hinaus kommt. Die Anbindung im HP hat das Problem ja nicht.

die CPU ist im system vom HP einfach zu schwach um diese Aufgabe zu managen

Rechenleistung und Speicherdurchsatz eines RAID Controllers liegen regelmässig weit unterhalb der Haupt-CPU und Rechenleistung des Rechners wie Speichertransferrate auch des Microservers sind im Prinzip ausreichend für RAID-5 im begrenzten Umfang des HPs. Zumindest solange man seinen Server mit normalen SATA-Disks bestückt und nicht bis zum Rand mit Sandforce-SSDs vollstopft.

RAID Controller können dennoch schneller sein, aber nicht so sehr aufgrund überlegener Leistung, sondern weil sie belasteten Servern Arbeit abnehmen, weil sie - insbesondere wenn per Batterie gepuffert - einen erheblich wirksameren Schreibcache enthalten können und weil sich ihre Arbeit sich nichts ins Korsett des Betriebssystems integrieren muss. Vielleicht auch einfach, weil besser programmiert als manche Fake-RAID Treiber.

 

[bogomir21]

Um die Netzwerkgeschwindigkeit zu testen und die Festplatten außen vor zu lassen, nutze ich eine Ramdisk auf beiden Geräten. Gute Erfahrung mit "Dataram Ramdisk gemacht" (Freeware) unter Windows, bei Linux gibt es bestimmt vergleichbares.

Mal eine Frage, im oberen Einschub was gehört da für eine Halterung hinein? Ich vermute irgendwelche schmalen Plasteschienen, möchte da eine 3,5er Platte fest einbauen. Welche Lösung habt ihr umgesetzt? Danke schon mal.

 

[prx]

Mal eine Frage, im oberen Einschub was gehört da für eine Halterung hinein?

Ich tippe drauf, dass die "Halterung" nur aus den 4 Schrauben besteht, die ohne irgendwelche Schienen einfach nur auf das optische Laufwerk geschraubt werden und sich in den Rahmen einklinken. Macht HP anderswo auch so.

 

[GuaRd!aN]

Genau so wird es gemacht, es sind Führungsschienen im Schacht mit Verrieglung hinten am Anschlag. Funktioniert ganz gut, allerdings empfinde ich den Einbau eines CD-Roms als Platzverschwendung. Mit einem kleinen PCIe1x Controller würde so ein 4x 2,5" Wechselrahmen viel Sinn ergeben. Allerdings passen da nicht alle.

Weiß jemand ob das Chieftec Modell passt?

Viele Grüße

 

[Grendelbox]

Hat jemand mit dieser Netzwerkkarte Erfahrungen gemacht? Ich bräuchte eine zweite NIC. Den 16x Slot würde ich gern ungenutzt lassen.

Was hast Du denn genau vor...?

Wenn es nur einen einfache zusätzlich Netzverbindung sein soll
dann bist Du mit der Intel sicherlich gut aufgehoben.
Die INTEL Nics sind ja für ihre guten Performance-Werte bekannt.
Ich konnte allerdings bei der Intel 1000 CT nirgends das LowProfile Blech erspähen...
Die HP NC112T gibt es definitiv mit LowProfile Blech...kostet aber wieder mehr.
http://h20195.www2.hp.com/v2/GetPDF.aspx/c01710672.pdf


Sollte es Trunking sein, dann würde ich lieber den x16 Slot für
eine HP NC382T PCIe4x Dualport Low Profile opfern .
Denn die Onboard Broadcom und die Intel werden zusammen nicht als Team laufen.

http://h20195.www2.hp.com/v2/GetPDF.aspx/c01567756.pdf

HP NC382T, 2x 1000Base-T, PCIe x4 (458492-B21) | gh.de (geizhals.at) Deutschland

mit der kannste dann inkl. der schon vorhandenen Broadcom Onboard NIC
mit der Broadcom BACS Suite sogar einen 3GBit Trunk erstellen (einen passenden Gbit-Switch der das unterstützt natürlich vorausgesetzt)

 

[prx]

Wenn man schon nachrüstet, dann kann man ggf. auch darauf achten, dass der Adapter Jumbo Frames verkraftet. Tut der interne bekanntlich nicht.

 

[bogomir21]

Wo bekommt man die Führungsschienen für den Schacht her. Gibt es ne Bestellnummer oder dergleichen oder Maße für Eigen- oder Umbau?

 

[prx]

Wo bekommt man die Führungsschienen für den Schacht her. Gibt es ne Bestellnummer oder dergleichen oder Maße für Eigen- oder Umbau?

Groschen noch nicht gefallen? Die Mechanik selbst ist schon im Schacht drin und die 4 Schrauben befinden sich innen an der Tür. Das Einzige was beim Schacht fehlt ist das SATA-Kabel.

 

[Grendelbox]

Wenn man schon nachrüstet, dann kann man ggf. auch darauf achten, dass der Adapter Jumbo Frames verkraftet. Tut der interne bekanntlich nicht.

naja, wer sich wirklich das Jumbo Frames gefrickel antun will...bitte.
Damit kann man sich aber auch sehr viele Netzprobleme einhandeln.
Mir persönlich ist ein 100% stabiles & sauber laufendes Netzwerk lieber.

 

[prx]

naja, wer sich wirklich das Jumbo Frames gefrickel antun will...bitte.

Stimmt schon, aber man muss es ja nicht zwangsläufig verwenden. Nur wär das eben ein mögliches Kriterium bei der Auswahl des Adapters.

 

[bogomir21]

@prx Nein, keine Ahnung, Schrauben sind in Tür vorhanden aber die Führungsschienen? Bei mir im Schacht ist da nur die Aussparung in Höhe von 8mm und Schienen liegen keine bei.

 

[guidol]

Mal eine Frage, im oberen Einschub was gehört da für eine Halterung hinein? Ich vermute irgendwelche schmalen Plasteschienen, möchte da eine 3,5er Platte fest einbauen. Welche Lösung habt ihr umgesetzt? Danke schon mal.

Eigentlich muesstest Du dazu nur die 3.5" Platte in einen 5.25" Rahmen einbauen, der an der Seite jeweils die vier Schraubenloecher hat (ich weiss gerade nicht ob die oberen oder unteren genutzt werden). An den Rahmen kommen dann die vier mitgelieferten Schrauben (silber) fuer Optical DiskDrive und schon kannst Du das Laufwerk einschieben und damit auch reinrasten lassen. Bei dem 5.25" Rahmen dann am besten einen nehmen, der die Platte gleich akkutisch entkoppelt.
Zusaetzlich Schienen von HP braucht es dazu nicht.

 

[prx]

@prx Nein, keine Ahnung, Schrauben sind in Tür vorhanden aber die Führungsschienen? Bei mir im Schacht ist da nur die Aussparung in Höhe von 8mm und Schienen liegen keine bei.

Die Schrauben werden ohne jede Schiene direkt ins Optische geschraubt. So wie sie sind, nackt und bloss. Anschliessend schiebt man das Laufwerk oben rein bis es einrastet. Die Schraubenköpfe selbst sind die von dir verzweifelt gesuchte Schiene.

 

[Grendelbox]

Stimmt schon, aber man muss es ja nicht zwangsläufig verwenden. Nur wär das eben ein mögliches Kriterium bei der Auswahl des Adapters.

Zuerstmal muss die Karte ja im Lowprofile Slot Platz haben.
Damit reduziert sich die Auswahl an möglichen Karten schon mal gewaltig.

Netzwerk LAN/Modems/Netzwerkkarten PCIe 1000 1000Base-T, low profile | gh.de (geizhals.at) Deutschland
...wobei hier die HP NC382T fehlt...warum auch immer.

Es bleiben defakto nur wenige Intel und Broadcom
Chipsätze zur Auswahl übrig, die in den Microserver passen. (Realtek habe ich mal bewusst ausgeklammert!)
Da ich im Microserver ja bekanntlich schon eine Broadcom onboard habe,
bevorzuge ich hier logischerweise die reine Broadcom-Lösung (HP NC382T).
Das ist nunmal eine professionelle Server-NIC und keine Frickelbude.
Ein Server soll ja stabil und sauber laufen in professioneller Umgebung.
Hab noch nie gesehen/gehört das jemand bei uns im Rechenzentrum an den Jumboframes rumspielt hat, unsere Netzwerker würden uns vermutlich den Allerwertesten aufreißen

 

[prx]

Hab noch nie gesehen/gehört das jemand bei uns im Rechenzentrum an den Jumboframes rumspielt hat, unsere Netzwerker würden uns vermutlich den Allerwertesten aufreißen

Yep, das würde ich ;-). Aber zu Hause würde ich das rein aus Neugierde mal probieren, da ist es überschaubar.