Zu Deinen Fragen: Da muss ich passen, in all das bin ich nicht involviert.
Komische Firmenpolitik, vor allem wenn du dich dann später um den laufenden Betrieb kümmern solltest...
Zumindest die Größenordnung sollte einigermaßen bekannt sein und wie auch die bisherige Landschaft aussieht.
So kann ich mich mit den FC-Basics befassen. Bislang, ..., überzeugt mich die ganze FC-Thematik nicht. Zu undurchsichtig, viel zu geschlossen (es gibt ja praktisch nur 3 Hersteller, die Kasse machen) und m.E.n. völlig überteuert - von der Zukunftssicherheit ganz zu schweigen. Mit 10 GbE oder 40 GbE und Link-Aggregation in Kombination mit iSCSI wäre man da deutlich flexibler, offener, preisgünstiger und zukunftssicherer. Sprich: Den Mehrwert, den FC bringen soll (und den man meiner Firma aufschwatzen will), sehe ich noch nicht… Daher wollte ich mit die Basics ja selbst anschauen, um mir ein besseres Bild von det Janze zu machen
Für die Grundlagen, reicht das lesen des Buches, damit weist du eigentlich schon mehr als die Berater...
Wenn du dir dann noch die entsprechenden Datenblätter der HBAs und Directorys etwas durchblätterst, dann könntest wohl mehr wissen als diese
Brocade DCX Backbone
Heat dissipation
* Brocade DCX
Max: 512-port configuration of 1528 W, 5216 BTU/hr
Auch wenn sich 1500 Watt nach sehr viel anhört, aber bezogen auf 512 Anschlüsse mit je 8Gbit/sec ist das vergleichsweise verschwindend gering. Und dies stellt den max. Bedarf unter "Volllast" mit allen vier verbauten 2000 Watt Netzteilen im ungünstigsten Falle dar.
Der Brocade 12000 (64), 24000 (128), und 48000 (256, 384 Ports) war zum Teil sogar untereinander mit den Blades kompatibel. Die Netzteile sind es von Anfang an gewesen.
Brocade DCX: Up to 512 8 Gbps Fibre Channel ports in a single chassis; up to 1024 8 Gbps Fibre Channel ports in a dual-chassis configuration; up to 1536 8 Gbps Fibre Channel ports in a three-chassis configuration; 512 Gbps of aggregate ICL bandwidth
Da es sich bei euch um eine Neuanschaffung handelt, würde ich eher zu einem
Brocade DCX 8510 Backbones raten - sofern diese nicht so Problematisch sind wie die 8Gbit/sec Modelle am Anfang. Ja ja, die Kabel sind sehr wichtig und empfindlich!
OM4 oder zumindest OM3 sind Pflicht!
Ein kleiner
# Brocade DCX 8510-4:
* Up to 192 ports (equivalent to 256 with ICLs) at 16 Gbps
* 4.1 Tbps chassis bandwidth
o 3.1 Tbps universal ports
o 1 Tbps ICL bandwidth
* 512 Gbps bandwidth per slot
Dürfte wohl ausreichend sein.
Multi-chassis:
Up to 2304 (Brocade DCX 8510-8) or 960 (Brocade DCX 8510-4) 16 Gbps universal Fibre Channel ports; up to 3072 (Brocade DCX 8510-8) or 1280 (Brocade DCX 8510-4) 8 Gbps universal Fibre Channel ports; ICL ports (32 per chassis, optical QSFP) connect up to six Brocade DCX 8510 chassis.
Scalability:
Full fabric architecture of 239 switches
Certified maximum:
6000 active nodes; 56 switches, 19 hops in Brocade Fabric OS fabrics; 31 switches, three hops in Brocade M-EOS fabrics; larger fabrics certified as required
ICL bandwidth:
Brocade DCX 8510-4: 1.024 Tbps; 16 ICLs provide the equivalent of 64 16 Gbps ports. Each ICL port provides 64 Gbps bandwidth over a QSFP (4×16 Gbps) link.
Both models: Frame-based trunking is enabled between four ICLs. DPS distributes exchanges across all frame trunks.
ICL ist für Switch zu Switch Verbindung. QSFP wird auch für 40Gbit/sec Ethernet und 40/56GBit/sec IB benötigt. Es sind deutlich teurere LWL Kabel mit mehreren (8 anstatt 2) Fasern.
Und 64Gbit hört sich doch wohl besser an als 56 oder 40Gbit/sec übers gleich teure Kabel?
Switch latency:
Locally switched port latency is 700 ns; blade-to-blade latency is 2.1 µsec; encryption/compression is 5.5 µsec per node; Forward Error Correction (FEC) adds 400 ns between E_Ports (enabled by default)
Das mit der geringen Latenzzeit hatte ich ja schon einmal erwähnt.
So, und nun zum Nachteil all dieser schönen Technik: Die Kosten. Ein entsprechend ausgestatteter FC-Directory kostet neu mal schnell 5-6 stellig. Da man bei hoch verfügbaren Systemen schnell mal 3-4 Stück in einem Gebäude/Standort hat und gerne ein Remote/Backup RZ noch irgendwo anders herum stehen hat, least man diese Geräte. Da in der Regel keine Firma das Risiko eingehen will, nach der Garantiezeit sich ein neues hinstellen zu müssen, falls doch mal eines Ausfallen sollte.
PCI-X: In der Tat, das wusste ich nicht. Kein Wunder, dass dieser Slot ausgestorben ist. SEHR nützliche Informationen von, habe viel gelernt dadurch - und um das Learning ging es mir letztlich ja hier.
PCI-X ist nicht deswegen ausgestorben. Es war einfach nur zu teuer. Bei 133MHz und 266MHz ist PCI-X nur noch als 1:1 Verbindung verwendbar und kein geteilter Bus. Die Varianten mit 533 und 1066MHz haben es leider nicht mehr in den Markt geschaft, auch wenn es eine Roadmap dafür gab. Für jeden Steckplatz benötigt man also einen entsprechenden Chip um diese an die CPU/Northbridge anzubinden. Ist im Grunde genommen das gleiche leidige Thema wie heutzutage bei den viel zu wenigen PCIe Lanes auf den günstigeren Mainboards.
Wenn genug Steckplätze mit entsprechender Anbindung vorhanden sind und der Rechner in der Grundausführung nicht übertrieben viel verbraucht (>80-120Watt) kann man ein entsprechendes System auch mal über 10 Jahre effektiv nutzen.
Bei PCIe 3.0 hat man aktuell auch noch das Problem, das die Datenrate in der Praxis leider nicht verdoppelt wurde. Ähnlich wie in der Anfangszeit 10Gbit Ethernet NICs gerade mal ~6-7Gbit/sec schafften - bei ~100% CPU-Auslastung auf mehr Sockel Systemen.
Würde denn z.B. die
Emulex LP9802L 2 Gbit/s FC1020042-04A HBA PCI-X in einen normalen 32-Bit-Steckplatz passen?
Ja, die Karte ist in Ordnung. Die erste Kerbe ist für 3,3Volt, die zweite für 5Volt - wenn diese nicht vorhanden ist, funktioniert die Karte eben nur mit 3,3Volt - es gab auch entsprechende PCI-X 133MHz Karten. Die dritte Kerbe ist für die restlichen Pins eines 64Bit Steckplatzes, damit passt die Karte auch in 32Bit Steckplätze - ansonsten wäre der Anschluss durchgehend ohne Unterbrechung. Karten die so lange sind, sind übrigens nur halb lange PCI-Karten. Karten mit der vollen Länge gab es unter anderem als 4 Kanal SCSI-HBA. Wenn eine aktuelle leistungsfähige Grafikkarte nicht in neuere Gehäuse rein passt, liegt das oft an dem Umstand, dass diese Aufgrund der geringen Verbreitung von entsprechend langen Karten beim Privatkunden einfach zu klein gebaut wurden.
Für mehr Speed werde ich wohl zu PCIe FC-Karten mit 4GB greifen müssen. Die sind aber - auch gebraucht - wohl leider deutlich teurer als die PCI-X-Karten, richtig?
PCIe Karten sind auf dem Gebrauchtmarkt deswegen so teuer, da diese in jeden neueren Rechner ohne Probleme rein passen. Außerdem sind die meisten Storagesysteme - die Gehäuse mit den Festplatteneinschüben - noch mit 4Gbit/sec angebunden. Ansonsten bei neueren wie gesagt eher mit 6Gbit/sec SAS innerhalb eines Racks und auch zum benachbarten.
Zu einem aktuellen Dualport 16Gbit FC-HBA mit recht schönen Virtualisierungserweiterungen gehe ich jetzt nicht mehr näher ein. Man will diesen Post nicht noch weiter aufblähen... Es gibt eine schöne bebilderte Kurzfassung:
Brocade 1860 Fabric Adapter
Und ja, die Hardware gibt es schon zu kaufen.
?
wikipedia
?!?
