Heimserver als besseres NAS für Videoschnitt

[visevision]

Wollt mal fragen wie das mit der Performance eines Homeservers mit folgender Hardware aussieht (ist so nen mist weil das schon vorhanden ist und preiswert werden soll):

Pentium 4 Mobile mit 1,73 ghz
Asrock P4VM 800
1 gig ram
weiter hin soll ein Raid Controller (Software) und ne
gigabit Netzwerk karte angeschafft werden.
System kommt auch ne extra platte ans Board und an den Controller sollen vorerst mal 3x 320 Gb Platten.

Meine frage reicht das um über gigabit Netzwerk flüssig Videos zu schneiden?? (Benutze Premiere als Software)

Thx for Help

 

[derMeister]

Ich werf mal so in den Raum, das Dein Gbit-Netzwerk der Flaschenhals sein wird.
Ich würde, falls möglich eine Firewire Verbindung vorschlagen, falls der Rechner nicht zu weit weg steht. Mit Firewire sind ca 55Mb/Sec möglich bei guten Controllern.

 

[visevision]

Firewire = 400 Mb/Sec und Gbit = 1000 Mb/Sec da mach ich mir eigtl. weniger sorgen zumal das auch über nen Switch geht der sehr gut ist.

 

[Arokh]

MB != Mb

 

[o$$!ram]

sind eher 40MB/s beim Firewire und ~ 100MB/s beim GB-LAN - aber das auch nur wenn der controller direkt @ nb hängt oder per PCI-E angebunden is ... sonst bremst der PCI-Bus und dann schaffst ca. 60-70MB/s

P.S. ich hoff das stimmt jetzt

 

[fdsonne]

Firewire kannst knicken, ist meist sowieso über PCI angebunden und somit wieder im PCI Flaschenhals drin!
Im übrigen das Board hat gar kein FireWire so wie ich das gerade sehe
klick mich: --> Asrock Seite

Alle Geräte am Bus teilen sich die möglichen 133MB/sec
also bleibt für Platte und NIC im besten Fall gerade mal die hälfte übrig!
Ob deine Platte dann auch noch durchgängig die ca 60-65MB/sec liefern können, im Lesen sowohl im schreiben bleibt auch fraglich!

Schätze mal du wirst so bei ca 30-40MB/sec landen, bei schlechten NICs sogar noch drunter!

Zum Videoschneiden reicht das denke mal immer noch aus, aber es geht halt merklich langsamer, besser kommst da wenn du mehrere einzellplatten in einen Rechner baust und dort dann immer von Platte zu Platte arbeitest um Optimalen Speed zu erhalten!

 

[visevision]

naja soll ja Raid 5 für die platten werden was eigtl. reichen müsste von der Performance her

 

[fdsonne]

ist egal läuft sowieso über den PCI BUS und wenn der Dicht ist, dann gehts halt nicht schneller!

Wie gesagt richte dich auf ca. 30-40MB/sec ein, wenn überhaupt!
Bei billig Switch und billig NIC(s) wirds noch weniger!
Und die Verkablung ist auch wichtig, bei 110m Kabelweg wirds auch nix

Das Softwareraid so wie du das planst hat im höchstfall auch nur 60-100MB/sec beim lesen, beim schreiben kannst dich so auf ca 20-25MB/sec einrichten, vllt sogar noch weniger weil deine CPU sehr schwach ist und diese die XOR Verknüpfung durchführen muss!

 

[bondfreak]

sofern das über software möglich ist, würde ich 2 netzwerkkarten á 1 GBit holen und die dann sozusagen zu einer zusammenfassen ... halt das Teaming von den neueren NVIDIA Boards. damit hast du nahezu doppelte bandbreite...sollte eigentlich ausreichen.

 

[fdsonne]

@bondfreak
Aber nicht wenn beide NICs über den gleichen PCI Bus angebunden sind und dieser nur 133MB/sec liefern kann!

Und das Board besitzt nur einen PCI Bus und es gibt keine Onboard NIC welche via PICe oder anders angebunden ist!

Wenn die Platte beim schon Beispielsweise 50MB/sec beansprucht, dann nutzen selbst 4 NICs nix, man bekommt es einfach nicht durch den BUS durch!

 

[visevision]

Naja zum Thema Rechner der war selber videoschnitttauglich. Einzigster Unterschied er soll jetzt die Daten im Netzwerk bereitstellen (heißt Videoberechnung läuft dann auf dem Client) somit wär die cpu für xor Berechnungen immer frei (hab keine ahnung was da nötig ist, kann mir aber nicht vorstellen das nen Hardware Raid mehr als 1 ghz hat)

P.S.: nen Tipp für nen guten nicht zu teuren Software Controller bräuchte ich auch noch (sollte Raid 5 beherrschen und 4 oder 6 sata Ports haben)

 

[fdsonne]

wie wärs hier mit oder mit dem?

Sind beide von Highpoint, ist nicht die Überfliegerkarte, aber egal!
ne 8Port SATA Raidcontrollerkarte mit Hardware XOR Einheit und Cache wirst du für PCI glaube nicht finden, wenn dann für PCI-X wobei die Karten wiederum teilweise auch in normalen PCI Slots laufen!
Welche genau weis ich jetzt aber nicht

mit nem per Softwareberechneten Raid 5 kann es schon vorkommen das ein 2,8GHz Xeon bei 4-8 Platten zu 80-90% Ausgelastet ist, allein damit die Daten auf die Platten kommen!
vom Speed her ist ein Softwareraid total lahm, ...
kannst vergessen, da kommste net über die 25MB/sec drüber raus!

Musst aber selber wissen wo du sparen willst, aber am Raidcontroller würde ich es garantiert nicht!

Im übrigen kannst du nicht ne normale CPU mit nem Prozessor vergleichen der nur für eine bestimmte Aufgabe hergestellt ist!
Der spezial Chip kann das viel schneller als die CPU es könnte, dafür kann die CPU vieles machen, wofür sonst haufenweise spezialchips gebraucht würden, ...
sozusagen mal einfach gesagt!

Du kannst auch deine Grafik in Games via CPU berechnen lassen, nur bekommst da keine spielbaren Frames hin!

 

[visevision]

so hab heut mal mit Notebook und Home pc Videoschnitt probiert über lan. das geht ganz gut und Netzwerkauslastung ist gering aber ich denke die Zugriffszeiten sind ganz entscheidend.

Deshalb gleich die nächste frage: Wie kann ich die verbessern?

 

[uOpt]

Wenn Du sowohl die Platten als auch GbE an den 32bit/33MHz PCI bus haengst dann produzierst Du da einen ganz schoenen Engpass. Mehr als 50 MB/sec werden da wohl nicht bei rauskommen.

 

[derMeister]

Nur zur Erinnerung, verwendet wird ein P4 mit 1,7Ghz, das ist nicht gerade ein Musterstück für Videobearbeitung und selbst ~50Mb/sec sollten den noch gut auslasten.

 

[visevision]

also nochmal das ist ein Server der nicht die Videoberechnung übernimmt das macht der Client der auf die Projektdateien zugreift (welche auf dem Server liegen) er muss wirklich nur Daten bereitstellen, es läuft kein Videoschnittprogramm drauf

 

[brainbug6]

nochmal so als kleine Anmerkung:

Wenn du ein Raid 5 aufbaust dann hast du zwar eine Read Performance von 60-90 MB/s, aber beim schreiben siehts mau aus, viel mehr als 5 MB/s wirst du nicht aufs Array schaufeln können. Wenn du auch eine hohe Write Performance benötigst ist Raid5 für dich das falsche (denk mal über Raid0+1 nach)

PS: Raid5 ist vorallem für Datenbanken ausgelegt (Viel Lese, wenig Schreib zugriffe)

 

[mr.no-name]

denk mal über Raid0+1 nach

Ich würde eher auch Raid10 setzen, da dies in gewisser Weise sicherer als 0+1 ist.

 

[brainbug6]

@ mr.no-name

Ich bin jetzt mal gespannt warum ein Raid 10 sicherer als ein Raid0+1 ist.
Ein Raid 0+1 bedeutet 2 Laufwerke als Raid0 Array, und das ganze im Stripe von 2 Stück zu Raid1 zusammengefasst. Was ist denn für dich Raid10

 

[fdsonne]

zwischen 0+1 oder 1+0 besteht eher weniger ein Unterschied!
von der Sicherheit her nehmen die sich nix, kann in beiden Fällen eine Platte ausfallen, ...

@brainbug6
wie kommst du darauf das ein Raid 5 nur 5MB/sec bringt?
wo hast du diese Werte her?

Das würde bedeuten das in nahezu jeder Produktiv-Umgebung wo ne allgemeine Dateiablage vorhanden ist und diese von mehreren Mittarbeitern gleichzeitig genutzt wird, diese ja alle zusammen nur mit 5MB/sec schreiben dürften, und das ist definitiv nicht so!

Selbst ein Softwareraid kommt sicher auf ca 15-15MB/sec beim schreiben, aber halt mit erheblicher belastung für die CPU und bei dem kleinen P4 könnte das schon zu viel sein, ...

 

[mr.no-name]

zwischen 0+1 oder 1+0 besteht eher weniger ein Unterschied!
von der Sicherheit her nehmen die sich nix, kann in beiden Fällen eine Platte ausfallen, ...

Dass Raid0+1 (bzw. 01) das selbe sein soll wie Raid10 könnte man leicht denken, dem ist aber nicht so:

Beim Raid0+1 wird ein Raid1 über zwei Raid0-Arrays gebildet.
Wenn wir nun von der kleinsten sinnvollen Variante, also 4 Platten, ausgehen besteht der Raid0+1 Verbund aus z.B. den Platten A, B, C und D, wobei A und B im Raid 0 sind, ebenso wie C und D, und dann AB und CD als Raid1 zusammengefasst. Nun darf eine beliebige Platte ausfallen. Wenn dies jetzt Platte A ist, ist einer der Raid0 Verbünde kaputt, sodass C und D nicht kaputt gehen dürfen, höchstens Platte B.

Beim Raid10 sieht das allerdings etwas anders aus:
Es ist ein Raid0 Verbund über mehrere Raid1-Arrays.
Nehmen wir wieder den 4-Platten-Fall an mit A, B, C und D. Also ein Raid1 aus A und B und eines aus C und D. Diese beiden als Raid0 verbunden.
Nun fällt z.B. Platte A aus und damit ist das Raid1 von A und B außer Kraft und wird nurnoch von Platte B gehalten. Nun darf aber immernoch Platte C oder D, nur nicht B, ausfallen, also zwei Möglichkeiten.

Daher dürfen bei beiden Möglichkeiten maximal 2 Platten ausfallen, aber ab dem Ausfall einer beliebigen Platte ist beim Raid0+1 das zweite Raid0-Array sehr kritisch, alle Platten dort müssen heile bleiben.
Dies wirkt sich natürlich bei mehr als 4 Platten noch extremer aus. Es dürfen zwar jeweils maximal 50% der Platten ausfallen, allerdings ist beim Raid0+1 ab dem ersten Ausfall die andere Hälfte der Plattenzahl ungesichert, beim Raid10 ist ab dem ersten Ausfall nur das Gegenstück der ausgefallenen Platte ungesichert, alle restlichen Platten befinden sich noch in funktionierenden Raid1 Verbünden.

Ach ja - tut mir leid, wenn die ganze Sache etwas seltsam erklärt und klugscheißerisch rüberkommt, aber ich denke, solche Kleinigkeiten sind oft dennoch wichtig

Links:
http://de.wikipedia.org/wiki/RAID#RAID-10-Verbund
http://de.wikipedia.org/wiki/RAID#RAID_0.2B1

 

[fdsonne]

Im Prinzip hast du recht, nur die Sache mit der Warscheinlichkeit usw. stimmt nicht soganz!

Da gabs glaube im Hausaufgabenthread mal ne Heiße Diskusion über sowas!
die Warscheinlichkeit das das komplette Array ausfällt, bleibt die gleiche
Obwohl es eigentlich so aussieht das es nicht so wäre, aber man darf eine Warscheinlichkeitsrechnung nie aufeinander aufbauend rechnen lassen!
Sondern muss immer von der gleichen Basis aus rechnen, ...!

Das mit dem 0+1 und 1+0 ist schon klar!
aber im Grunde sollte es klar sein das man bei so nem Raid nur eine Platte ausfallen lassen kann/darf)

Denn in beiden Fällen kann es der Fall sein das der Ausfall der zweiten Platte das komplette Array lahm legt!

Aber mal was anderes?
wie Managen das die Controller?
habe ehrlich gesagt noch keinen Controller gesehen der da nen Unterschied macht!

 

[brainbug6]

Auf die Werte mit 5MB/s bin ich leider selbst sehr schmerzlich gekommen.
Hatte einen LSI Megaraid 150-4 Controller mit 4 Platten im Raid5 laufen. Lesen lief mit 60-70 MB/s prima, nur das schreiben kam mir mit ca. 5MB/s zu langsam vor. Alles ausprobiert. Keine Besserung. Also Controller getauscht, Promise SX geholt. Gleiches Prob. Also wieder zu LSI zurück, diesmal den 150-6. Hatte dann stark darauf getippt das es am 32Bit PCI lag, hab mittlerweile den Controller in einem neuen Board mit 64Bit PCI (Dell Server) aber ich komme beim Schreiben nicht über 5-6MB/s (Getestet habe ich das ganze mit einer ca. 1GB großen Datei die ich auf das Raid geschaufelt habe)

Nach einigem Suchem im Netz bin ich dann auch auf ein paar Leute gestoßen die das gleiche "Problem" haben. Hab dann einen Test gefunden, bei dem die ganzen Raid5 Controller nur bei 3-4MB/s liegen:

http://hardware.thgweb.de/2004/06/1...g_4_kanal_controller_im_vergleich/page13.html

Aber ich lasse mich gerne eines besseren belehren, gerade wenn dadurch mein Datendurchsatz steigt. Hatte aus genau diesem Grund auch überlegt von meinem Raid5 zu einem Raid10 zu wechseln.
Hinzugefügter Post:
Aber damit währe das Raid10 noch immer sicherer als ein Raid5, denn bei beiden kann eine Platte ausfallen. Wenn eine weitere ausfällt ist beim Raid5 aus, beim Raid 10 kann man (oder frau) glück haben.

Wie steht ihr eigentlich zu dem Thema verschiedene Plattenhersteller im Raid Verbund ? Dachte früher immer es sei besser alle 4 Platten vom gleichen Hersteller, Typ und Modell. Habe jetzt von einer anderen Seite gehört man sollte verschiedene Hersteller oder Typen verbauen, da die Wahrscheinlichkeit das zwei gleiche Platten dichtgefolgt nacheinander ausfallen größer sei.....

 

[fdsonne]

Das stimmt, man baut keine Platte aus der gleichen Revision zusammen in ein Array!
Denn wenn eine Platte aussteigt, können die anderen wohl auch ziemlich schnell danach dran kommen!

Verschiedene Hersteller geht im Prinzip, nur kann es zu Performance Verlust kommen!
Am besten gleiche Platten mit Unterschiedlichen Revisionen nehmen!

Bei SCSI oder SAS Platten fällt der Unterschied nicht mehr so doll aus, was verschiedene Hersteller angeht!


Also ich hab mit dem Controller siehe Sig. beim schreiben ca. 50-60MB/sec schon erreicht, dieser ist via PCIe 1x angebunden, das Gigabit Lan (Quelle der Daten) hängt direkt an der Southbridge!

Der Rechner wo die Daten her kamen war ein Raid 0 aus 2 IDE Platten, auch mit Gigabit Lan via PCIe!
Hinzugefügter Post:
gemessen hab ich die sache anhand der LAN-Auslastungskurve im Taskmanager, via Everest mit der Durchsatzanzeige und mit der Stoppuhr

 

[brainbug6]

Wie groß war die Datei ?
Ich hatte das ganze wiegesagt mit einer 1GB großen Datei ausprobiert,
diese habe ich sowohl von der Systemplatte aufs Raid Array verschoben (Systemplatte am onboard Sata Controller, Raid Controller im gleichen Rechner im 64Bit PCI Steckplatz) => 5MB/s
Dann das gleiche von einem Raid0 übers Gigabit Netz geschoben => 5MB/s
Was ich jetzt nicht ganz verstehe, warum kommen die in dem Test denn auch nur auf 3-4MB, andere erzählen aber das 50-60MB funzen ?!?!

 

[mr.no-name]

@fdsonne: Okay, stimmt - man sieht immer wieder, dass man an viele Dinge nicht mit dem "üblichen" Denken, sondern mit Stochastik rangehen muss

Wegen der Sache, wie man ein Raid10 oder 01 anlegt:
Habe das zwar noch nie gemacht, aber evtl. gehts ja so, dass man erst entsprechende Raid 0 bzw. Raid 1 macht und diese dann nachher zu Raid 1 oder 0 zusammenfasst.

 

[fdsonne]

@brainbug
Keine Ahnung vllt ist der Raid-Kontroller auch Schrott bzw. dessen Bios etwas Murks!

Ich habe knappe 300GB Daten vom alten auf den Neuen Rechner kopiert!
und da waren so gut wie alle Daten dabei, von 1KB - mehrere GB große Files!

@no-name
richtig, es ist nicht alles so wie es aussieht!

Mhh das mit dem Controller wüsste ich nicht wie das gehen soll, weil man meines Wissens nach kein Array aus einem Array bauen kann!
sondern dies wiederum nur via Softwareraid geht!
also als Beispiel 2x je 2 HDDs ins Raid 1 hängen und dann via OS diese in ein Raid 0 zusammen fassen!
Schmiert das OS richtig ab, sind die Daten meist auch weg, ...
also mies

Währe interessant zu wissen wie das die Kontroller machen
also eher 1+0 oder eher 0+1!

 

[brainbug6]

Also an meinem Controller kann wähle ich einfach Modus Raid10 aus, wie er das intern anlegt, who knows...

Ich dachte ja auch erst das das Problem mit 5MB/s an meinem Controller liegt, deswegen habe ich ja 3 verschiedene Controller getetstet, bei allen das gleiche ergebniss. Dann ein anderes Mobo, gleiches ergebniss. Und dann hab ich meiner Erfahrungen in diesen Bench Ergebnissen bestätigt gesehen...

http://hardware.thgweb.de/2004/06/1...g_4_kanal_controller_im_vergleich/page13.html

Hab da noch was über Raid5 gefunden:

http://www.vdr-wiki.de/wiki/index.php/RAID#RAID_5
"Nachteil ist, dass der Schreibzugriff deutlich langsamer ist, da zuerst der Paritätsblock berechnet und gespeichert werden muss. "


Hab hier nochmal einen ganz interessanten Link gefunden:

http://www.administrator.de/index.php?content=c587cc93095408e9354e3759d02fd460

Kommen wir zu den Raidleveln.... vorallem hier wird häufig eines genannt: Raid 5. Zu Unrecht, weil es eines der langsamten Raid Level darstellt. ZU Recht, weil es zugleich auch eines der kostengünstigen Raidlevel ist. In der Raidwelt gibt es viele Raidlevel angefangen von Raid 0 -7, Raid 9, Raid 0+1, Raid 1+0, JBOD, Raid 5+1, Raid 5+0 etc.....
Alle haben Ihre Vor- und Nachteile, wobei vorallem in der Praxis folgende anzutreffen sind:

 

[fdsonne]

Richtig, nur man weis halt nur nicht wie er es angelegt wird!
steht sowieso meist Raid 10 da!

was hast du für ne CPU in deinem Rechner und welchen Controller nutzt du?
weil wie gesagt hatte mit 6 Platten IDE im Softwareraid 5 via 2003 Server sogar mehr als 20MB/sec
waren aber auch 6 Platten, dafür sehr alte mit nur 13GB

Das die Paritätsdaten vorher berechnet werden müssen, ist ja klar
wenn du nen Ordentlichen Controller mit eigener Recheneinheit und Cache hast geht das auch nix!
Ansonsten sollte die CPU nicht zu schwach sein, ...

 

[brainbug6]

Hatte einen LSI Megaraid 150-4,
dann den Promise SX, und jetzt sitzt ein LSI Megaraid 150-6 in meinem Dell 600SC Server. (CPU 1.8GHz, Der Raidcontroller hat eine eigene XOR Einheit)