Server zum Storage umbauen

[Steggi]

Nabend,

wie die Überschrift ja schon sagt, habe ich vor den DC1 zu einem Storage Server umzubauen. Die vorhandene Hardware soll dabei aus Kostengründen größtenteils erhalten bleiben. Die noch darauf laufende System wandert in eine VM.

Die aktuelle Konfiguration sieht wie folgt aus:

Gehäuse: EYE-3830 3HE Schwarz mit 420W Netzteil, je 2x 5,25 Links und rechts
Board: Intel SE7501CW2
Sonstiges: Intel PCI-X Dual GBit NIC
Alles weitere steht in meiner Sig

Die vorhandenen alten IDE Platten (2 im Wechselrahmen, die anderen fest verschraubt), sowie der alte Raidcontroller fliegen raus.

Dafür soll ein PCI-X SATA Raidcontroller mit 8 Ports sowie zwei passende Wechselrahmen für die Platten eingebaut werden. Insgesammt sollen 6 oder 8 (wenn die internen 3,5" Schächte mitbenutzt werden sollten) Platten mit je 2TB eingebaut werden.

Als Controller dachte ich an einen 3ware 9550SX oder einen LSI MegaRaid.
Als Backplane habe ich den 3-Bay Quickport von Sharkoon anvisiert

Was haltet ihr von der Konfiguration, und kennt jemand evtl vergleichbare Controller/Backplanes die preislich günstiger ausfallen?

 

[fdsonne]

Schau auf jedenfall vorher das der Controller mit Arrays größer 2TB umgehen kann. Das können nur recht wenige PCI-X Controller

EDIT:
der 3ware 9550SX scheint das aber zu können

 

[H_M_Murdock]

Der 3Ware 9550 kann Arrays > 2 TB und diese falls das OS mit so großen Volumes umgehen kann auf Wunsch sogar in kleinere Happen aufteilen (AutoCarving nennt sich das).

Eine einzelne Platte darf an dem Controller aber max. 2 TB groß sein, mehr geht bei 3Ware erst an den aktuellen SAS Modellen aber da wirst du fürchte ich auch bei anderen PCI-X Controllern kaum mehr Glück haben.

Ich hab den 9550SX-16ML im Fileserver seit ein paar Jahren Einsatz und hatte vorher mal den 9550SXU-8LP, insgesamt bin ich äußerst zufrieden.
Funktioniert schlicht so wie man's erwartet.

Zur Performance kann ich nicht allzu viel sagen weil ich die Kiste fast allein verwende und das wie gesagt nur als NAS per Gigabit LAN und noch dazu in einem System das sicherlich kaum dazu in der Lage ist den Controller extrem zu fordern aber in den Testberichten aus Zeiten wo der aktuell war kam er immer ziemlich gut weg.

Welches Betriebssystem willst du denn einsetzen?

Und was hast du mit dem Storage genau vor?
Datengrab oder Storage für VMs?

 

[Steggi]

Eine einzelne Platte darf an dem Controller aber max. 2 TB groß sein, mehr geht bei 3Ware erst an den aktuellen SAS Modellen aber da wirst du fürchte ich auch bei anderen PCI-X Controllern kaum mehr Glück haben.

Ja das weiß ich^^ Aber größere Platten werden eh nicht benötigt (und sind auch aktuell noch nicht so gut im Preis/GB Verhältniss)

Welches Betriebssystem willst du denn einsetzen?

Als System soll Openfiler dienen. Hatte damit gestern Benchmarks auf nem FSC Primergy RX100 S2 gefahren und bin damit jetzt erst mal soweit zufrieden. Leider hat Openfiler den internen Raidcontroller nicht korrekt erkannt, und zeigte mir statt dem Array zwei einzellne Platten die dann per Soft Raid wieder zusammen gebastelt werden mussten. Bei Raid 1/0 geht das ja noch, aber ein Raid 5 + Spare kostet dann schon Leistung. Deswegen sollte auf jeden Fall eine gute Treiberunterstützung vorhanden sein.

Und was hast du mit dem Storage genau vor?
Datengrab oder Storage für VMs?

Beides. Im Moment sind erst mal 2 Datastores (mit jeweils eigener Anbindung) geplant, und der Rest dient als normale Freigabe (SMB und NFS)

Wobei wenn ich gerade so drüber nachdenke, frage ich mich, ob man die Backups der VMs dann nicht direkt über die freigegebenen Datastores machen kann... Währe zumindest mal eine Überlegung im vergleich zu kommerzieller Software und mehr oder wenigerer guten freien Backupscripts.

 

[konfetti]

naja, dazu musst du aber die vms konistent bekommen, einfach mal die virtuelle Disk wegkopieren ist nicht

 

[fdsonne]

vcb kann das wegsichern der VM als kompletten Container quasi sicherstellen...
Wäre vllt ne Alternative.

Zum Sichern der VM direkt auf Dateisystemebene sollte die VM aber aus sein, oder allermindestens suspendet. Sonst gibts murks (ich glaub das kann man nichtmal wegkopieren ohne Volumeshadowcopy zu nutzen)

 

[Colttt]

also das mit Openfiler würde ich mir nochmals überlegen, da es anscheinend nicht wirklich weiter entwickelt wird, die letzte version ist aus dem jahre 2008.. dann doch eher freenas..

und wenn du später SSD am Controller einsetzen möchtest, dann greif zum Megaraid, das unterstützt direkt SSDs

 

[Steggi]

@Colttt: Bezüglich des Alters von OpenFiler magst du zwar recht haben, aber solange Freenas bei NFS eine so schlechte Schreibperformance hinlegt hab ich anscheinend keine Wahl. Siehe http://www.hardwareluxx.de/communit...h-nfs-vs-iscsi-fuer-esx-datastore-787066.html

SSDs werden nicht verbaut. Das würde nicht viel bringen, da da der Flaschenhals die Bandbreite der GBit Verbindungen ist. Könntest du mir einen guten MegaRaid empfehlen? Habe bis jetzt immer nur 3Ware Controller eingesetzt, allerdings ist der letzte 8x 9550SX vor ein paar Tagen im Markplatz schon verkauft worden und in der Bucht sind mir fast 170€ eigentlich etwas zu teuer (vor allem wenn man bedenkt dass der auch nicht neu ist)

 

[H_M_Murdock]

Wenn du da drauf VMs betreiben willst wird weniger die Bandbreite vom GBit LAN zum Flaschenhals als vielmehr die IOPS die dein RAID zu erbringen vermag.

Da lohnt sichs dann ggf. schon SSDs oder zumindest Platten ab 10k RPM einzusetzen (da kommen dann bei SATA nur Velocis in Frage) und ganz wichtig auch die VM Datastores vom Rest zu trennen.

Und die VMs auf keinen Fall mit auf irgend n großes RAID 5 sondern in ein vom Rest getrenntes RAID 1 oder 10 verfrachten.

Wobei sich natürlich die Frage stellt wie viele VMs es werden sollen und wie viel die auf der Platte wüten.
Aber mit "einfach nur Plattenplatz" ist es bei VMs nicht getan, da stehst du rel schnell an massiven Anforderungen an die Performance in Sachen IOPS.
Bandbreite wird da erst viel später zum Problem.

 

[Steggi]

Da lohnt sichs dann ggf. schon SSDs oder zumindest Platten ab 10k RPM einzusetzen (da kommen dann bei SATA nur Velocis in Frage)

Hmmm an sich zwar ein guter Rat, aber ich werde da vorher nochmal mit IOMETER drüber gehen. Im Moment zeigt allerdings noch keiner der beiden ESXe schwächen bei den lokalen Datastores. Auch nicht der ESX1 der aus Kostengründen und der geplanten Umstellung als Datastore nur ein Raid 1 aus zwei normalen Notebookplatten bietet.

und ganz wichtig auch die VM Datastores vom Rest zu trennen

Das sowieso. Zudem bekommen die Datastoreanbindungen ein eigenes VLAN und eigene NIC's. Für die normalen SMB Freigaben reicht eine einzelne (eigene) GBit Anbindung.

Und die VMs auf keinen Fall mit auf irgend n großes RAID 5 sondern in ein vom Rest getrenntes RAID 1 oder 10 verfrachten.

Getrennt ja, aber bei einem Raid 1 könnte der Platz in Zukunft eng werden, und für ein Raid 10 + normalem Storage könnte es im Gehäuse eng werden. Will möglichst nur 6 Platten in die Wechselrahmen einbauen, um bei Ausfällen nicht den Server zerlegen zu müssen. Schätze mal, dass es wohl zwei Raid 5 werden (dann aber wohl oder über ohne Spare )

Wobei sich natürlich die Frage stellt wie viele VMs es werden sollen und wie viel die auf der Platte wüten.

Im Moment läuft der ESX1 im 24/7 Betrieb mit 12 VMs (darunter zwei Datenbankserver). Hinzu kommen dann dämnächst noch das komplette System der alten Hardware hinzu, woraus dann das Storage wird, sowie der darauf laufende virtualisierte Mailserver.
Der andere ESX läuft Tagsüber mit 3 VMs und einigen Testservern.

In wie fern das in Zukunft noch mehr werden weiß ich noch nicht.

Edit, habe gerade mal über 5 Min IOMETER mit default Einstellungen laufen lassen, und bin doch schon etwas überrascht

ESX1 (SAS Raid 1)

IOps 211.113.937
Read IOps 141.397.257
Write IOps 69.716.680

ESX2

IOps 233.927.074
Read IOps 156.688.287
Write IOps 77.238.787

NFS

IOps 354.830.671
Read IOps 237.620.451
Write IOps 117.210.220

 

[fdsonne]

Hmmm an sich zwar ein guter Rat, aber ich werde da vorher nochmal mit IOMETER drüber gehen. Im Moment zeigt allerdings noch keiner der beiden ESXe schwächen bei den lokalen Datastores. Auch nicht der ESX1 der aus Kostengründen und der geplanten Umstellung als Datastore nur ein Raid 1 aus zwei normalen Notebookplatten bietet.

Im normal Zustand mag das stimmen. Aber ich werf einfach mal anstehende Wartungs/Patcharbeiten in den Raum
Ich verzweifel an unseren Arbeits ESXen immer wenn die Hosts gepatcht werden müssen und ein VMWare Tools Update ansteht.

Denn dann müssen alle VMs nach Install der Tools rebootet werden. Sequenziel jede VM einzeln geht problemfrei. Auch zwei drei VMs geht problemfrei.
Aber fahr mal die VMs alle gleichzeitig hoch oder runter bzw. installier auf allen gleichzeitig die VMWare Tools.
Das geht nicht. Du wirst den Karren voll gegen die Wand setzen.
Bei 12 VMs kost das schon ne Menge an Zeit, wobei im privaten Umfeld diese Zeit wohl nicht soooo extrem kritisch ist. Bei uns im Firmenumfeld kost jede Minute Ausfall quasi wertfolle Arbeitszeit für die MA. Ich bin also möglichst so gestimmt, die Zeitfenster bei Wartungs/Patcharbeiten so kurz wie möglich zu halten oder den ganzen Spaß Nachts durchzuführen, wo idR keiner arbeitet.

Und ja, ich musste auch erst auf die Nase fallen bis ich das mitbekommen habe
Denn der Installer der VMWare Tools hängt sich auf wenn es ihm zu lange dauert beim Installieren
Mal so eben 10 VMs gleichzeitig zu betanken ist nicht drin, wenn die VM OS Partitionen alle samt auf dem selben physischen Datenarray liege (bei uns ein Raid 10 aus 4x450GB SAS 15k Platten über 8GBit FC angebunden)

 

[Steggi]

Aber fahr mal die VMs alle gleichzeitig hoch oder runter bzw. installier auf allen gleichzeitig die VMWare Tools.
Das geht nicht. Du wirst den Karren voll gegen die Wand setzen.

Ja, dass das ganze dann nicht gerade Flott über die Bühne geht hab ich schonmal gemerkt

Ich bin also möglichst so gestimmt, die Zeitfenster bei Wartungs/Patcharbeiten so kurz wie möglich zu halten oder den ganzen Spaß Nachts durchzuführen, wo idR keiner arbeitet.

Ja, das versuche ich auch. Wobei das bei mir nicht so kritisch ist, auch wenn die Server im Produktivbetrieb sind. Lediglich der Ausfall des VPN Servers währe doof, da dann keiner der Entwickler mehr Zugriff hätte

Und ja, ich musste auch erst auf die Nase fallen bis ich das mitbekommen habe

Genau das versuche ich wenn möglich zu vermeiden und mache mich vorher schlau

Denn der Installer der VMWare Tools hängt sich auf wenn es ihm zu lange dauert beim Installieren
Mal so eben 10 VMs gleichzeitig zu betanken ist nicht drin, wenn die VM OS Partitionen alle samt auf dem selben physischen Datenarray liege (bei uns ein Raid 10 aus 4x450GB SAS 15k Platten über 8GBit FC angebunden)

Das sich der Installer aufhängt habe ich noch nicht gemerkt. Habe aber auch noch nie alle VMs gleichzeitig upgedated.

 

[fdsonne]

Welchen Grund das Aufhängen hat, habe ich bis jetzt nicht mitbekommen...
Aber das ganze ist reproduzierbar... Und vor allem, wenn die Kisten dann dort stehen (meist beim NIC/Maustreiber aktualisieren) kann man daneben sitzen und warten, es passiert nix weiter. Betankt man dann aber quasi als Beispiel noch eine weitere Maschien, so kann es sein, das diese innerhalb von Sekunden die Installation frisst. Und auch nen Reboot macht.

Ich hatte es aber auch schon das bei massiver Auslastung unsere 2003 Server VMs teils 30-45min zum Boot brauchten. Die Konsequenz war, das so einige Dienste nicht gestartet wurden usw.

 

[H_M_Murdock]

Das Problem mit den nicht gestarteten Diensten kenn ich aus meiner virtuellen vSphere 4.1 Testumgebung.
Die läuft komplett virtuell auf VMWare Workstation.
Eine VM davon ist mit Windows Server 2008 R2 fürs Virtual Center zuständig, und wenn ich die daheim incl den anderen um 60 sekunden Zeitversetzt von der 7.2k Platte boote startet oft das VirtualCenter nicht.

In der Arbeit wo der ganze Spaß auf ner 15k SAS Platte liegt und noch dazu die Nexenta Maschine die 60 Sekunden vor der VC Maschine startet auf ner extra Platte liegt funktionierts jedes Mal wunderbar.

Das Problem bei der Virtualisierungsgeschichte ist halt dass es wenn man da noch etwas unbedarft anfängt immer alles wunderbar aussieht bis halt mal ein paar VMs gleichzeitig hohe Last erzeugen. So einen Fall provozieren denk ich die wenigsten mal bewusst um zu testen was die Umgebung hergibt.
Und dann tritt sowas im Produktivbetrieb ein und man fällt auf die Nase.

 

[Steggi]

Eine VM davon ist mit Windows Server 2008 R2 fürs Virtual Center zuständig, und wenn ich die daheim incl den anderen um 60 sekunden Zeitversetzt von der 7.2k Platte boote startet oft das VirtualCenter nicht.

Naja meinst du nicht, dass sich das ganze in einem Raid 5 Verbund anders verhält als auf deiner einzelnen Platte? vCenter läuft übrigens bei mir als Demo auf nem seperaten Rechner

In der Arbeit wo der ganze Spaß auf ner 15k SAS Platte liegt und noch dazu die Nexenta Maschine die 60 Sekunden vor der VC Maschine startet auf ner extra Platte liegt funktionierts jedes Mal wunderbar.

Bin deswegen gerade am überlegen, ob es sich lohnen würde die vorhandenen 2,5" SAS mit zu verwenden. Die drehen zwar mit 10K haben aber nur 73GB pro Platte und in wie fern diese doch schon etwas älteren Platten mit heutigen mithalten können weiß ich jetzt nicht so wirklich.
Jut, dann müsste allerdings noch ein weiterer Controller mit dazu.

 

[Colttt]

@Colttt: Bezüglich des Alters von OpenFiler magst du zwar recht haben, aber solange Freenas bei NFS eine so schlechte Schreibperformance hinlegt hab ich anscheinend keine Wahl. Siehe http://www.hardwareluxx.de/communit...h-nfs-vs-iscsi-fuer-esx-datastore-787066.html

SSDs werden nicht verbaut. Das würde nicht viel bringen, da da der Flaschenhals die Bandbreite der GBit Verbindungen ist. Könntest du mir einen guten MegaRaid empfehlen? Habe bis jetzt immer nur 3Ware Controller eingesetzt, allerdings ist der letzte 8x 9550SX vor ein paar Tagen im Markplatz schon verkauft worden und in der Bucht sind mir fast 170€ eigentlich etwas zu teuer (vor allem wenn man bedenkt dass der auch nicht neu ist)

also ich würde wetten das alles nur ne einstellungssache ist und man FreeNAS auch einstellen kann fragt sich halt nur wo..

und als controller seetzen wir 3Ware 9750-4i SAS2 ein.. wenn du keine SSD nutzen willst, dann brauchst du auch nicht unbedingt einen Mega-RAID controller..

 

[Steggi]

also ich würde wetten das alles nur ne einstellungssache ist

Das dass an ner Einstellung liegt, weiß ich auch.

und man FreeNAS auch einstellen kann fragt sich halt nur wo..

Ja, google hat mir auch ein brauchbares Ergebniss geliefert, wie man NFS auf asynchron stellen kann, nur macht das unter FreeNAS keinen Unterschied

und als controller seetzen wir 3Ware 9750-4i SAS2 ein.. wenn du keine SSD nutzen willst, dann brauchst du auch nicht unbedingt einen Mega-RAID controller..

Der 9750 bringt mir nicht viel. Brauche PCI-X. Und warum sollen die MegaRaid Controller von LSI nur für SSDs gut sein Letztendlich muss das Teil ja nur ein flottes Hardware Raid bereitstellen und mindestens 8 Ports mitbringen und für PCI-X ausgelegt sein.

 

[fdsonne]

Naja meinst du nicht, dass sich das ganze in einem Raid 5 Verbund anders verhält als auf deiner einzelnen Platte? vCenter läuft übrigens bei mir als Demo auf nem seperaten Rechner

Ja, das Raid 5 verhällt sich anders, nämlich noch schlimmer
Ein Raid 5 ist als OS Datenlager völlig deplaziert. Einfach aus dem Grund, die Paritätsdatenberechnung erzeugt sehr hohe Rechenlast. Und um so kleiner die Files werden, desto schlimmer wird der Spaß. Die OS Partitionen werden idR recht stark durch schreib und lese Zugriffe belastet. Dazu kommt teils starke Fragmentierung (wobei das ab Vista/2008 Server besser gewurden ist)
Und das ganze nicht sequenziell sondern im random... Das ist nix für ein Raid 5. Vergleichbar mit Datenbankzugriffen.

Was ein Raid 5 bringt, ist eine höhere Datenrate beim Lesen und eventuel auch beim Schreiben zu ner Single Platte. Aber hier hingt der Vergleich. Denn bei mindestens drei HDDs für Raid 5 sollten diese drei HDDs als Single Platten auch einzeln nebeneinander getestet werden.
Sprich sagen wir drei VMs erzeugen Last auf einem Raid 5. Und im Vergleich dazu identische Last auf drei Single Platten... (je eine VM pro HDD)
Wer wird wohl das Rennen machen? -> Das Raid 5 definitiv nicht...

Im allgemeinen ist es Ratsam die VMs so aufzuteilen, das eben jeweils immer nur gruppenweise Last auf ein und das selbe physische Array gegeben wird.
Sprich es ist ratsam den Fall auszuschließen, das eine VM das komplette Storage lahm legt.
Nix anderes ist ohne virtuelle Lösungen ja schon standard. Nämlich man trennt Datenparitionen vom OS und Datenbanken von Datenpartitionen usw.
Komischerweise wollen bei VMs immer alle alles zusammen auf ein physisches Array packen

Das was in "größeren" virtuellen Umgebungen entscheidend ist, sind IO Werte und Zugriffszeiten. Sequenzielle Datenraten sind ziemlich weit hinten in der Liste...
Wenn du aber die Möglichkeit hast hier schnelle 2,5" 10k HDDs zu verbauen, würde ich doch vier dieser Teile als OS Datastore einrichten und im Raid 10 fahren oder vllt gar in zwei Raid 1 Arrays (wobei letzteres mit 73GB Platten sinnfrei wäre)
Das Raid 5 über die anderen Platten kann dann als Datenstorage dienen, beispielsweise für Fileservergeschichten oder weis der Geier.

 

[Steggi]

Ja, das Raid 5 verhällt sich anders, nämlich noch schlimmer
Ein Raid 5 ist als OS Datenlager völlig deplaziert. Einfach aus dem Grund, die Paritätsdatenberechnung erzeugt sehr hohe Rechenlast. Und um so kleiner die Files werden, desto schlimmer wird der Spaß. Die OS Partitionen werden idR recht stark durch schreib und lese Zugriffe belastet. Dazu kommt teils starke Fragmentierung (wobei das ab Vista/2008 Server besser gewurden ist)
Und das ganze nicht sequenziell sondern im random... Das ist nix für ein Raid 5. Vergleichbar mit Datenbankzugriffen.

Gut, wenn du da bereits aus Erfahrung sprichst... Wobei die Rechenlast hier allerdings auf den Controller abfällt. Mit der Fragmentierung hast du recht. Wobei sich das bei den 4 W2K3 Servern noch halbwegs in grenzen hält. Die ext3 Partiotionen der Linuxkisten brauchen ja normalerweise keine Defragmentirung.

Im allgemeinen ist es Ratsam die VMs so aufzuteilen, das eben jeweils immer nur gruppenweise Last auf ein und das selbe physische Array gegeben wird.
Sprich es ist ratsam den Fall auszuschließen, das eine VM das komplette Storage lahm legt.

Jup, dass sollte kein Problem sein, da die meisten VMs von früher noch mehrere virtuelle Platten haben.

Wenn du aber die Möglichkeit hast hier schnelle 2,5" 10k HDDs zu verbauen, würde ich doch vier dieser Teile als OS Datastore einrichten und im Raid 10 fahren oder vllt gar in zwei Raid 1 Arrays (wobei letzteres mit 73GB Platten sinnfrei wäre)
Das Raid 5 über die anderen Platten kann dann als Datenstorage dienen, beispielsweise für Fileservergeschichten oder weis der Geier.

So hätte ich immerhin noch ne Verwendung für die alten Platten wobei ich da dann vielleicht ein Raid 10 aus 6 Platten machen würde (sind ja noch zwei externe 3,5" Schächte frei) Müsste da mal schauen wie die Preise für nen zusätzlichen SAS Controller währen und wie viel treurer ein 8x gegenüber einem 4x währen. Auf die Art würde dann auch ein 4x SATA Controller reichen für die Storageplatten Zusätzlich hätte ich dann auch noch 2 SAS Platten auf Reserve

 

[fdsonne]

Gut, wenn du da bereits aus Erfahrung sprichst... Wobei die Rechenlast hier allerdings auf den Controller abfällt. Mit der Fragmentierung hast du recht. Wobei sich das bei den 4 W2K3 Servern noch halbwegs in grenzen hält. Die ext3 Partiotionen der Linuxkisten brauchen ja normalerweise keine Defragmentirung.

wir hatten mehrere Monate auf der Arbeit ein Raid 5 aus 3x300GB SAS 15k Platten über iSCSI angebunden. Auf diesem Array lagen alle VM OS Partitionen drauf. Das ist wirklich grottig... Jetzt mit der selbem Geschichte nur eine HDD mehr im Raid 10 für meine Spieleumgebung auf Arbeit gehts deutlich fluffiger. Wobei man auch sagen muss, die Spieleumgebung erzeugt auch etwas weniger Last...

Ferade die 2003er Server sind nicht zu verachten. Denn das OS ansich scheint teils stark zu fragmentieren. Auch auf der OS Partition. Ich weis gar nicht ob man die defragmentierungsroutine automatisiert laufen lassen kann. Bei Vista/2008 und neuer geht das ja automatisch, wenn keine Last anliegt. Im besten Fall wird jede Nacht also die Struktur glatt gezogen...

Die Rechenlast auf den Controller abzuwältzen ist zwar der richtige Ansatz, aber auch der nur das liefern, was er kann. Die Zugriffszeiten steigen bei massiv gleichzeitigen Zugriffen im Raid 5 deutlich stärker als bei nem Raid 10 oder gar im Vergleich zu Single HDDs.

Jup, dass sollte kein Problem sein, da die meisten VMs von früher noch mehrere virtuelle Platten haben.

Das ist auch nicht zu vernachlässigen das Problem. Wir haben selbst noch ein paar migrierte Server, die mehrere damals physische HDDs dann in virtuelle Container gepackt haben.
Das Problem ist, dem Client OS in der VM ist nicht bewusst, wann etwas unter der VM auf der gleichen physischen Hardware läuft.
Das heist, gleichzeitige Zugriffe auf eben diese verschiedenen virtuellen Platten, die alle samt auf dem selben physichen Hardwarearray liegen, könnten dieses ebenso lahm legen.

So hätte ich immerhin noch ne Verwendung für die alten Platten wobei ich da dann vielleicht ein Raid 10 aus 6 Platten machen würde (sind ja noch zwei externe 3,5" Schächte frei) Müsste da mal schauen wie die Preise für nen zusätzlichen SAS Controller währen und wie viel treurer ein 8x gegenüber einem 4x währen. Auf die Art würde dann auch ein 4x SATA Controller reichen für die Storageplatten Zusätzlich hätte ich dann auch noch 2 SAS Platten auf Reserve

Jupp, das ist richtig, vllt tuts gar ein 12 Port größerer Controller, der dann sowohl die SAS als auch die SATA HDDs verwaltet.
Müsste man schauen, was kostentechnisch günstiger kommt...

 

[Colttt]

Das dass an ner Einstellung liegt, weiß ich auch.

Ja, google hat mir auch ein brauchbares Ergebniss geliefert, wie man NFS auf asynchron stellen kann, nur macht das unter FreeNAS keinen Unterschied

du meinst das mit der sysctl.conf?! hast du mal async in die /etc/exports mit eingetragen? wäre bestimmt mal nen versuch wert..

Der 9750 bringt mir nicht viel. Brauche PCI-X. Und warum sollen die MegaRaid Controller von LSI nur für SSDs gut sein Letztendlich muss das Teil ja nur ein flottes Hardware Raid bereitstellen und mindestens 8 Ports mitbringen und für PCI-X ausgelegt sein.

nee da haste mich falsch verstanden.. für eine lange lebensdauer bei ssd und optimaler performance sollten die RAID-Controller SSDs unterstützen und das tut die MegaRaid-Reihe von LSI..

 

[Steggi]

du meinst das mit der sysctl.conf?!

Genau das. Hab danach auch mal das System neu gestartet, aber die Schreibrate war immernoch bei etwa 15MB/s

hast du mal async in die /etc/exports mit eingetragen? wäre bestimmt mal nen versuch wert..

Ne, bis jetzt noch nicht. Werd ich aber mal testen. Wenns klappt währe das natürlich super. Nachteil im Moment währe da allerdings, dass nach nem Neustart diese Änderung wieder weg ist --> Live CD + 64MB Stick für die Config. Zum testen reichts ja^^

 

[Steggi]

So, ich hab das ganze mit der /etc/exports mal getestet, aber das hat auch nix gebracht.

1. Ist die Datei bei FreeNAS komplett anders aufgebaut als normal.
2. Lässt sich die von mir neu geschriebene Config auch nicht wirklich neu laden, da es den "exportfs" Befehl nicht gibt. Keine Ahnung ob die exports via /usr/sbin/nfsd reload neu geladen wird

vfs.nfsrv.async=1 in der syscrtl.conf brachte auch nix.

So langsam hab ich keine Lust mehr auf FreeNAS, wenn die Schreibrate bei 10-15MB vor sich hin schnarcht. Da setze ich dann noch lieber den (wenn auch etwas veralteten) Openfiler ein, der nicht nur vernünftige NFS Schreibraten bietet, sondern auch allgemein etwas flotter erscheind (jut, dafür ist das Webinterface davon sowas von extrem lahm )

 

[Colttt]

evtl mal im freenas-forum nachgefragt?!

wäre doch schon komisch wenn ein solch bekanntes produkt solch einen üblen schnitzer drin hätte..

 

[Steggi]

evtl mal im freenas-forum nachgefragt?!

Ich selber noch nicht, aber ich habe den ein oder anderen Post diesbezüglich gelesen. Unter anderem auch den mit der syscrtl.conf

Hab jetzt gerade auch mal die aktuelle RC3 getestet, und da gibt es diese Einstellungen noch nicht mal mehr (oder noch nicht) und die Geschwidigkeit ist genau so grottig wie bei der aktuellen stable

 

[Colttt]

hmm das is blöd..

wie hastn du dann nfs gemountet??
FreeNAS forum • View topic - NFS Performance for ESX VM Storage Volume

 

[Steggi]

wie hastn du dann nfs gemountet??

Alte oder neue Version, oder im ESX? Oder was meinst du jetzt genau? In beiden Fällen lief die Konfiguration über das Webinterface.

FreeNAS forum • View topic - NFS Performance for ESX VM Storage Volume

Der TE dort hat das Problem ja beim Kopieren seiner Daten vom nicht, sondern nur beim ESX. Ich aber schon Hatte auch schon von meiner Workstation aus versucht aufs NFS zu schreiben, und komme da auch nur auf 10-15MB Schreibend. Lesend etwa 80MB

 

[Colttt]

naja wenn man es mountet kann man auch nochmal einstellen ob sync(default) oder async genutzt werden soll..

versuch mal beim mounten auch async zu nehmen..

ansonsten bin i langsam am ende mit meinem wissen und würde direkt im freenas forum nachfragen

 

[Steggi]

naja wenn man es mountet kann man auch nochmal einstellen ob sync(default) oder async genutzt werden soll..

versuch mal beim mounten auch async zu nehmen..

Entweder bin ich blind, oder nur zu doof aber ich finde da norgendwo eine Möglichkeit das Array async zu mounten *grübel*

ansonsten bin i langsam am ende mit meinem wissen und würde direkt im freenas forum nachfragen

Hab ich auch schon, aber bis jetzt noch keine Antwort. Naja dann werd ich wohl bei Openfiler bleiben, oder mir selber ein Linux zusammenbasteln. Hab ja noch etwas Zeit bis alle Teile da sind. In den nächsten Tagen kommen erstmal der SATA Wechselrahmen und der 9550SXU

 

[Colttt]

steht doch alles in der man mount :P
mount -t nfs -o async /pfad/zu/nfs/ /dein/lokaler/pfad

sollte so eigentlich klappen, statt async kannst du auch defaults nehmen dann wirds mit rw, suid, dev, exec, auto, nouser und async gemountet..

oder mir selber ein Linux zusammenbasteln.

na das ist doch mal nen super ansatz wozu auch ne GUI?! (is ernst gemeint)

---------- Beitrag hinzugefügt um 21:08 ---------- Vorheriger Beitrag war um 21:07 ----------

steht doch alles in der man mount :P

mount -t nfs -o async /pfad/zu/nfs/ /dein/lokaler/pfad

sollte so eigentlich klappen, statt async kannst du auch defaults nehmen dann wirds mit rw, suid, dev, exec, auto, nouser und async gemountet..

oder mir selber ein Linux zusammenbasteln.

na das ist doch mal nen super ansatz wozu auch ne GUI?! (is ernst gemeint)