Fujitsu TX1320 M1: wie erweitern mit 3,5" LFF?

[jimbolo]

Hallo Zusammen,

ich habe hier gerade einen Fujitsu TX1320 M1 mit der 4x 2,5" Swap Bay. KLICK: Datasheet

Auf dem Mainboard sind - so wie ich das sehe - noch 2 SATA Ports frei.

Nun möchte ich weiterhin als Langzeitarchiv 3,5" Platten nutzen (2 Stück, im Idealfall noch mit Platz zum Ausbau auf 4, SATA reicht, SAS nicht gewünscht).

Auf dem System ist Proxmox installiert und ich nutze ZFS.

Was ist die geschickteste Art, hier weitere 3,5" Platten zu nutzen? Externe Gehäuse? SATA-Multiplex oder direkt? Mit SCSI kenne ich mich nicht aus ... was hat es mit LUN oder JBOD auf sich? Ich stelle es mir vereinfacht gesagt so vor: ich kaufe irgendetwas, baue die Platten ein, stöpsele es an und bekomme die zusätzlichen Platten so durchgereicht, dass ich im Proxmox (BSD) einen neuen ZFS Pool erstellen kann.

Da es ein Archiv ist, müssen die Platten auch nicht dauerhaft laufen (Strom aus ist i.O.).

Bin gespannt auf Vorschläge!

 

[jimbolo]

Niemand? 🙁

 

[Stueckchen]

Wie bzw. was möchtest du denn erweitern? Mit etwas basteln passt in den tx1320m1 auch noch zwei 3.5" Hdds intern rein. Ohne Basteln nur eine, SATA hat das Mainboard 6 Anschlüsse.

 

[jimbolo]

Danke Dir schonmal für Deine Antwort.

Wie bzw. was möchtest du denn erweitern?

Ich möchte zur Erweiterung des Speicherplatzes noch vorhandene 3,5" Platten nutzen, mindestens (2) Stück (RAIDZ Mirror), im Idealfall noch mit Platz für insgesamt (4) 3,5" Drives. Das wäre das "was".

Das "wie" - naja, das ist genau die Frage. Kann ich eine Hardware dazu kaufen (bspw. externe Festplattencases), in die ich die weiteren Platten einbaue? Wenn ja, wie schließe ich die Platten am besten an? Gibt es etwas wie "SATA Multiplexing", d.h. dass ich irgendwie (4) Platten an die (2) SATA Mainbord-Anschlüsse bekomme? Oder muss ich eine weitere PCIe Karte kaufen?

Gibt es noch andere Möglichkeiten, das softwareseitig zu lösen? Ich bin über LUN, JBOD und SCSI gestolpert, weiß das aber leider nicht einzuordnen. 😕

Mit etwas basteln passt in den tx1320m1 auch noch zwei 3.5" Hdds intern rein.

Wo sollen die denn dann unter kommen? Eine beim 5,25" Slot für das RDX Drive? Oder muss das DVD-Laufwerk dann raus? 🙂

SATA hat das Mainboard 6 Anschlüsse

Ich habe noch (2) freie entdeckt, die (4) sind nicht einzeln ausgeführt sondern über einen "Spezialstecker" an die Backplane der 4x2,5" Platten angeschlossen. Oder habe ich mich da verguckt? 🧐

 

[asche77]

Du kannst externe Festplatten (Gehäuse) per USB3, eSATA, external SAS, Thunderbolt, FireWire, ... anschließen.

Relevant dürfte USB3 und external SAS sein. Für letzteres bräuchtest Du einen HBA mit externen Anschluss.

ESATA könntest Du notfalls auch einen der internen SATA Anschlüsse per Adapterkabel zu eSATA wandeln und das aus dem Fujitsu herausleiten.

In allen Fällen sollten die Disks individuell (grob gesagt also JBOD) angesprochen werden (können) und nicht als RAID - letzteres machst Du ja über ZFS.

 

[jimbolo]

@asche77 Danke dir schonmal für die Tipps!

Du kannst externe Festplatten (Gehäuse) per USB3, eSATA, external SAS, Thunderbolt, FireWire, ... anschließen.

USB nutze ich schon für inkrementelle Backups und alles andere bietet der Fujitsu leider nicht ... FireWire möchte ich eigentlich auch ohnehin vermeiden, da habe ich so gut wie keine Hardware im Bestand.

Für letzteres bräuchtest Du einen HBA mit externen Anschluss.

Könntest du mir einen Link zu einem passenden raussuchen? Einfach nur, damit ich mal weiß, nach was ich genau suchen muss. Für was steht denn die Abkürzung HBA eigentlich?

ESATA könntest Du notfalls auch einen der internen SATA Anschlüsse per Adapterkabel zu eSATA wandeln und das aus dem Fujitsu herausleiten.

Auf die Idee kam ich auch schon. Ist aber, wie du auch schreibst, eher "unschön", wenn da ein Rüssel aus dem Rechner hängt. 😁

In allen Fällen sollten die Disks individuell (grob gesagt also JBOD) angesprochen werden (können) und nicht als RAID - letzteres machst Du ja über ZFS.

Genau, das ist klar. Ich habe (und möchte auch) keine RAID PCI Karte. Es soll bei ZFS bleiben.

Gibt es eine Storage Lösung, die ich über ein SATA Kabel anschließen kann und dennoch (4) 3,5" Platten ansteuern kann, sodass ich mit ZFS arbeiten kann?

 

[asche77]

Gibt es eine Storage Lösung, die ich über ein SATA Kabel anschließen kann und dennoch (4) 3,5" Platten ansteuern kann, sodass ich mit ZFS arbeiten kann?

Nein. SATA ist praktisch gesehen Punkt zu Punkt. Ausnahmen --> zB https://www.hardwareluxx.de/community/threads/sata-port-multiplier.1182812/

Du kannst natürlich auch statt HBA einen weiteren SATA controller als PCIe Karte einbauen und dort anschließen.

 

[Stueckchen]

Ich möchte zur Erweiterung des Speicherplatzes noch vorhandene 3,5" Platten nutzen, mindestens (2) Stück (RAIDZ Mirror), im Idealfall noch mit Platz für insgesamt (4) 3,5" Drives.

Bei ZFS ist das nur Mirror, RaidZ ist ein Raid5 bzw. Z2 ein 6, ein Raidz Mirror wäre ein gepiegeltes Raidz also RAID 51

Wo sollen die denn dann unter kommen? Eine beim 5,25" Slot für das RDX Drive? Oder muss das DVD-Laufwerk dann raus? 🙂

RDX slot passt 1x 3.5 rein. Wenn das DVD raus Fliegt und man da eine Metallnase "entfernt" passen in DVD+RDX zwei übereinandern.

Ich habe noch (2) freie entdeckt, die (4) sind nicht einzeln ausgeführt sondern über einen "Spezialstecker" an die Backplane der 4x2,5" Platten angeschlossen. Oder habe ich mich da verguckt? 🧐

Ja 2+4 =6

Du kannst ein Vierfach/Fünfach Syno oder QNAP oder Fantec Erweiterungs Gehäuse per USB oder SATA>ESata anschließen. Bist du mit 200-300€ glaube ich dabei.
Die SAS Alternativen sind eher rah und noch teuerer, aber auch besser.

Oder du host dir noch ne NAS.


Sonst vll auch eine Überlegung, auf Mirror zu verzichten, und regelmäßig(er) eine Backup extern machen, da Mirror ja nur recht maginal mehr Datensicherheit bietet.

 

[jimbolo]

Du kannst natürlich auch statt HBA einen weiteren SATA controller als PCIe Karte einbauen und dort anschließen.

Was ist denn der Unterschied zwischen "HBA" und einem weiteren SATA Controller?

Bei ZFS ist das nur Mirror, RaidZ ist ein Raid5 bzw. Z2 ein 6, ein Raidz Mirror wäre ein gepiegeltes Raidz also RAID 51

Du kannst ein Vierfach/Fünfach Syno oder QNAP oder Fantec Erweiterungs Gehäuse per USB oder SATA>ESata anschließen.

Eignet sich USB oder werden die Platten nach jedem Reboot neu gemischt und nicht automatisch gemounted?

Sonst vll auch eine Überlegung, auf Mirror zu verzichten, und regelmäßig(er) eine Backup extern machen, da Mirror ja nur recht maginal mehr Datensicherheit bietet.

Kein schlechter Gedanke. Ich mache ja ohnehin regelmäßige Backups ... neulich ist mir erst eine Platte auffällig geworden (traditionelles RAID5) und da war der Tausch schon sehr komfortabel. Ich habe halt viele Daten, deren Integrität ich wahren möchte. Daher dachte ich ZFS ...

---

Ich habe noch das hier gefunden: https://www.qnap.com/de-de/product/tl-d400s bzw. https://www.qnap.com/de-de/product/tl-r400s

Ähnlich von Synology: https://www.synology.com/en-uk/products/RX418

Wäre sowas eine Lösung und ist das allg. Standard oder proprietär? QNAP schreibt auf deren Seite bspw. von QNAP NAS / Windows / Linux (Ubuntu) Kompatibilität aber das ist ja auch immer sehr dehnbar ...

---

Ansonsten schreiben sie bei Reddit, dass ein gebrauchter "HBA" Sinn macht. RAID möchte ich ja nicht nutzen, daher muss der Controller wohl umgeflashed werden (=> IT Mode).

Link: https://www.reddit.com/r/homelab/comments/7gb08b/best_jbod_sata_card_for_server/

Gibt es hier ein Äquivalent von Fujitsu oder sind die IBM / Dell Karten zu empfehlen? So wie ich das verstehe kaufe ich mir eine solche Karte und habe dann zwei weitere SAS/SATA-Anschlüsse. Dann könnte ich i.d.T. die Gehäuse von bspw. Fantec nutzen. Ist das Flashen der Karten ein Hexenwerk?

 

[underclocker2k4]

da Mirror ja nur recht maginal mehr Datensicherheit bietet.

Das liegt daran, dass ein Mirror wie jedes anderen RAID auch, mit Datensicherheit nicht viel am Hut hat.

ZFS macht aus ganz anderen Gesichtspunkten Sinn als das schnöde Abnippeln einer HDD.

 

[jimbolo]

Das liegt daran, dass ein Mirror wie jedes anderen RAID auch, mit Datensicherheit nicht viel am Hut hat.

ZFS macht aus ganz anderen Gesichtspunkten Sinn als das schnöde Abnippeln einer HDD.

Ja, es geht mir darum, dass die Datenintegrität gewahrt wird (Checksummenprüfung usw.). Daher ZFS. Wenn mir aber eine Platte abraucht kann ich ein Resilver machen. Ein weiteres Backup andernorts ist sowieso darüber hinaus immer vorhanden. Die Idee war halt große SSDs zu spiegeln und dort dann das System auf ZFS zu installieren (inkl. VMs). Zwei weitere HDDs (SFF) dann für Datenmengen und zum regelmäßigen Backup dann alles auf einen Server mit Archivcharakter. Den TX1320 M1 möchte ich als diesen "Archivserver" nutzen. Und hier bekomme ich halt Probleme, wenn ich SFF Enterprise-Platten mit recht großer Kapazität kaufen möchte. Ich finde keine 2,5" Platten >1TB (WD). Ich brauche aber in Summe mindestens 4 TB, besser 6 TB. Entweder gespiegelt oder als RAIDZ. Und mit 4x1TB RAIDZ komme ich nicht hin. Vom System mal ganz abgesehen. Daher der Gedanke, an den Server irgendwie 2-4 LFF Platten zu hängen.

 

[Stueckchen]

@underclocker2k4 Etwas Datensicherheit bekommt man schon aber halt nicht viel .

Datenintegrität hat man bei ZFS ja auch auch bei Single Disk, auch da gibt es ja Checksums. Nur die Selbstheilung geht halt nicht. Allerdings wenn man ein Backup mit ZFS hast kann man dann ja wieder zurückspielen.

Ob die Platten neugemsich werden oder nicht ist eigentlich egal, wenn man sie nicht mit /dev/sdx mountet sondern mit uuid, label, oder disk-id.
Die oben gefunden Produkte sollten alle gehen.

Edit.:
Sonst 300€ in eine Gehäuseerweiterung zu stecken finde ich etwas fragwürdig. Dafür bekommt man ein ganzen Server in denen gleich die HDDs passen.

 

[jimbolo]

Datenintegrität hat man bei ZFS ja auch auch bei Single Disk, auch da gibt es ja Checksums. Nur die Selbstheilung geht halt nicht. Allerdings wenn man ein Backup mit ZFS hast kann man dann ja wieder zurückspielen.

Ob die Platten neugemsich werden oder nicht ist eigentlich egal, wenn man sie nicht mit /dev/sdx mountet sondern mit uuid, label, oder disk-id.
Die oben gefunden Produkte sollten alle gehen.

Genau, Selbstheilung wäre hier das Stichwort. Beziehst du die Einschätzung der Produkte auf die JBOD Hardware oder die HBA Karten?

 

[Stueckchen]

Meine Einschätzung ist allg. ob USB-Gehäuse, JBOD, SAS+HBA.

 

[jimbolo]

RDX slot passt 1x 3.5 rein. Wenn das DVD raus Fliegt und man da eine Metallnase "entfernt" passen in DVD+RDX zwei übereinandern.

Nochmal eine Rückfrage dazu. Braucht es hierfür irgendwelche speziellen Caddies, Trays oder sonst was oder kann ich die Platten einfach direkt "einschrauben"?

 

[Stueckchen]

Nochmal eine Rückfrage dazu. Braucht es hierfür irgendwelche speziellen Caddies, Trays oder sonst was oder kann ich die Platten einfach direkt "einschrauben"?

In den RDX kann man wenn ich mich richtig erinnere eine 3.5" HDD einfach so reinschrauben, auch wenn es etwas fummelig ist.
Für die zwei HDDs muss man basteln, hatte ich in erwägung gezogen dann aber wieder verworfen.

 

[jimbolo]

In den RDX kann man wenn ich mich richtig erinnere eine 3.5" HDD einfach so reinschrauben, auch wenn es etwas fummelig ist.
Für die zwei HDDs muss man basteln, hatte ich in erwägung gezogen dann aber wieder verworfen.

Zumindest schreiben sie ja von "Easy Rails". Denke mal die passen dann wohl an die Stelle, an der alternativ die 4x SFFs sind. An der Stelle vom RDX Laufwerk wird es wohl keine Schienen geben. Würde ja schnell selber gucken, aber der Server ist gerade nicht zugänglich.

 

[Stueckchen]

Nein schienen sind da keine, da sind einfach nur Löcher zum schrauben.
Hier gibt es das ganze in Bildern, zwar etwas klein aber man kann sich das vll dann vorstellen.

2nd Source GmbH - Server, Storage & Netzwerk Hardware

Gebrauchte & neue Server-, Storage- und Netzwerk-Hardware vom Profi zu günstigen Preisen. ► Sofort ab Lager erhältlich. Gratis Versand. 20 Jahre Erfahrung.

www.2nd-source.de

 

[jimbolo]

Weiß jemand, wie groß die maximale Kapazität an Festplatten ist, die von dem M1 gelesen werden kann (real, nicht lt. Datenblatt)?

 

[Stueckchen]

Da das normal SATA ist geht alles, was dein OS kann. 8TB habe ich selber probiert.
Begrenzungen Hardwareseitig gibt es nur bei RAID Controllern, meines Wissens.

 

[jimbolo]

Um das Thema zum Ende zu führen - ich habe mich nun folgendermaßen entschieden:

• Die Daten werden nach Zugriffshäufigkeit eingeteilt in häufig (H), selten (S) und nie (N) = Archiv.
• Das laufende System bekommt eine 512GB bzw. 1TB SSD mit ZFS Dedup und ZFS Duplizierung (Stromverbrauch). Dort liegen Daten der Klasse H. Weiterhin ist eine HDD verbaut, die sich nicht gemountet im Idle befindet. Hier liegen Daten der Klasse S.
• Der Fujitsu bekommt zwei 3,5" Platten (min. 6TB) und dient als Backup-Rechner. Der Fujitsu schaltet sich mit einem cronjob an und zieht per ZFS Snapshot vom laufenden System. Der Fujitsu mountet dann auf dem laufenden System dann auch die HDD mit den S-Daten zur Sicherung und unmountet sie danach wieder.
• Der Fujitsu bekommt ein RDX Laufwerk oder ein gebrauchtes LTO-5. Die Archivdaten N werden dann auf Tape geschrieben bzw. gestreamt. LTO-5 wäre meine präferierte Variante. Mal sehen ob ich mich da innerfamiliär bzw. im Freundeskreis als "Datensicherer" anbieten kann und mir dann der ein- oder andere ein paar Taler zuschießt. Die RDX Drives sind mir einfach auf Dauer zu teuer (aktuell 4TB ca. 400€).
• Die H- und S-Daten sind dann immer an zwei verschiedenen Orten gelagert (täglicher ZFS Sync), die N-Daten sind konserviert und verbrauchen keinen Speicherplatz mehr auf den Platten.
• Jeder Nutzer der H-Daten hat eine gewisse Quota. Sobald es zu viele Daten werden ist jeder Nutzer selbst verantwortlich auszusortieren und die Daten in das "S-Laufwerk" zu kopieren.
• Von Zeit zu Zeit werden die S-Laufwerke dann auf RDX / LTO gesichert. So vermeide ich hoffentlich auch das Datensammeltum. Ob dann 300GB mehr oder weniger aufgehoben werden müssen ist mir bei den Preisen für LTO-Tapes dann egal. Oder jeder, der seinen Quota reißt muss sich sein eigenes RDX Laufwerk kaufen, dann geht das Sortieren bestimmt doch wieder schnell.