Jetzt mag ich nicht unfreundlicher als üblich sein, aber da sitzt wohl mehr Geld als Ahnung. Überschlag das doch mal: Lockere 1000MB/s über 4 Platten (oder wirds ein Z2? Wär empfehlenswert...aber nicht bei der Menge) macht 250 MB/s pro Einheit. Das macht deine Platte mit Glück auf der alleräußersten Spur mit, und danach fällts in sich zusammen. SATA1-2-3 liegt bei 150-300-600 MB/s, SAS bei Dualports bei dem Doppelten. Frage in die Runde, ob wir da überhaupt ein SAS2-Interface brauchen...
Caching schön und gut, aber wenn voll (weils nicht auf Disk weiter geht), dann voll. Zumal du beim Medienserver kaum auf Sync Writes bestehen wirst. Für alle anderen Späße gibts RAM, und der ist trotz aller Rufe immer noch spottbillig. In der umgekehrten Richtung, also von Disk zum Client, nützt dir alles Gecache nur überschaubar viel, weils halt einfach nicht schneller von Platte nach kommt.
Dein Problem heißt nicht "hat mein dicker Xeon genug Power" (ja, hatter, siehe mein System), dein Problem sind enorm glatte Teller mit Flugrost, von denen du entweder nicht genug hast um 10GbE dicht zu machen, oder die du halt (aus Kapazitäts- und daher Kostengründen?) nicht gegen vielfach schnellere SSDs tauschen willst. Aber fang halt mal mit dem System an und taste dich an das Wunschlevel an Performance ran. Auch sagen wir 600MB/s, d.h. SATA3-Speed übers Netzwerk, sind schonmal ne feine Sache. Wenn dann tatsächlich ZFS die Bremse sein sollte, gehts gern hier weiter.
Expander würd ich übrigens nur für ein reines SAS-System empfehlen (und auch nur, wenn das Board nicht mehr PCIe hergibt). Da du SAS-Platten haben willst wär das okay, zieht aber alle angeschlossenen Platten zusammen auf die Linkgeschwindigkeit zwischen HBA und Expander runter, für 10GbE also u.U. dämlich. Zweiter Controller wär die Wahl.
