Hallo Zusammen,
ich bin gerade im Begriff ein 10 GBit Netz zu bauen. Derzeit haben wir nur einen Server mit einer Emulex 10102 als 20 GBit Team in zwei mit jeweils 2 * 10 GBit als Team stacked NetGear GS7552TXS Switches.
Beim Lesen dieses Threads bin ich schon auf allerlei nützliche Infos gestoßen, vielen Dank an alle soweit, sehr hilfreich (Der Titel spricht Bände)!
Jetzt treiben mich noch ein paar Fragen um, die vielleicht der eine oder andere hier beantworten kann:
Als Netzwerkkarten tendiere ich entweder zu den Emulex 10102 oder 11102 Karten (die läuft bei mir im Server "wie Lack") oder den sehr preiswerten Brocade 1020 CNAs.
Emulex hat folgendes Dokument veröffentlicht, was mich etwas irritiert:
https://www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCwQFjAA&url=http%3A%2F%2Fwww.emulex.com%2Fartifacts%2F221978fc-b907-4d7b-b635-1fcaac38f133%2Felx_cb_br1020_brocade.pdf&ei=hyGXU6evAoLR7AaK8oDgDA&usg=AFQjCNHnMBP-r99-3VVWDG92-9Kth64OXg&sig2=r9B4nkFyEF-SoF6dCHxr5Q&bvm=bv.68445247,d.ZWU
und auch
https://www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCwQFjAA&url=http%3A%2F%2Fwww.emulex.com%2Fartifacts%2F1d1679c7-ab8f-40e9-a766-999a1b7452b2%2Felx_cb_all_hba_brocade-fact-vs-fiction.pdf&ei=GiGXU7qaIvSu7AbU94GQAQ&usg=AFQjCNEYimqYn3XDS1H4D0Bkd0ZinHmvPg&sig2=bqfozbDD9YViGYd4Qu2ZFg&bvm=bv.68445247,d.ZWU
TOE/TCP Chimney Offload
TOE is a proven technology that is supported
by Windows Server 2003 and Windows Server
2008 as TCP Chimney Offload. TCP Chimney
Offload is particularly well-suited for long-
lived connections and large packet payloads,
which is closely aligned with applications like
streaming media that are driving demand for
10GbE bandwidth.
Hier wird zum einen die dramatisch größere Erfahrung von Emulex (als Mutterfirma von QLogic) mit der 10. Generation Softwarestack für die Emulex-Karten und Brocade mit quasi 1. Generation herausgestellt. Brocade hat dafür scheinbar auch eine lange Fehlerliste bekanntgegeben... (laut diesem Text). Punkt für Emulex, auch wenn ich selbst noch nicht gehört habe, das die Brocade 1020 irgendwelchen Ärger machen würden.
Weiterhin schreiben sie aber, das die Brocade 1020 CNAs keinen Support for TOE/TCP Chimney Offload hätten, nur für FCoE und stateless TCP. Was bedeutet das genau in der Anwendung?
TCP Offloading bedeutet doch eigentlich, das die Karte das ganze Hashing etc. der Daten übernimmt und somit die CPU massiv entlastet. Wenn das nun für die Brocade CNAs im Einsatz als reine 10 GBit Ethernet Karte (ich will damit SMB machen) bedeutet, die CPU Last schießt durch die Decke, dann ist die Karte ggf. die falsche für diese Anwendung?
Ziel ist es, ein wirklich schnelles 10 GBit Ethernet statt einem 4 GBit SAN wie bisher zu bauen. Es hat sich bei uns gezeigt, das die eigentlichen Vorteile des SANs, nämlich multi-User Zugriff auf verschiedene Laufwerke parallel kaum etwas gebracht hat, da Job-bedingt die meisten User gleichzeitig auf demselben Laufwerk zugange sind, somit die ganze Peer-to-Peer Denke hinter dem SAN ins Leere läuft. Ein beschleunigendes Caching in den SAN einzubauen ist praktisch unbezahlbar. (z.B. QLogic FabriCache oder FalconStor).
Stattdessen verfolge ich nun folgenden Ansatz:
Sehr schneller Server mit lokal oder über Switch angeschlossenen FC RAIDs (vorhanden), ggf. gestriped als RAID60 o.ä. Dazu ein sehr schnelles internes SSD RAID aus z.B. 6 oder 8 SSDs als Block Lever Cache für FC RAIDs (PrimoCache ist da sehr zu empfehlen) mit deutlich über 2 GByte/s lesen und schreiben. Das ganze Ding speist dann mit 2 * 10 GBit (oder auch mehr) in einen echten 10 GBit Switch ein (vermutlich IBM Blade G8124E). An den Switch kommen die Clients mit jeweils 10 GBit. Und natürlich Jumbo-Frames. Fürs Internet wird dann noch das "alte" 1 GBit Ethernet parallel existieren, damit es keine Probleme durch die Jumbo-Frames gibt.
Die Frage ist nun, ob die Brocade 1020 CNAs dafür tauglich sind oder nicht, und ob sie dabei die CPUs merklich stärker belasten als zum Beispiel ein Emulex 10102 oder 11102. Die Mehrkosten für die Emulex sind da, aber ich kann es bislang nicht wirklich entscheiden. Eure Meinung, besser noch Eure Erfahrung und ggf. Benchmarks sind hier sehr gefragt.
Sind die Emulex wirklich schneller als die Brocades?
Dieser Test hier scheint das zu suggerieren, jedoch nur für FCoE:
https://www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=0CCkQFjAA&url=http%3A%2F%2Fwww.emulex.com%2Fartifacts%2F5f6bb910-70a2-4787-8704-d59b63dbd75e%2Fitbp_wp_all_fcoe_report.pdf&ei=0iGXU4iDHaqr7Ab0u4DACA&usg=AFQjCNHQc5qnZcLs3-druZGS8K99TcvbhA&sig2=0-0AtR7cC0eDfQ5v7S9WFw&bvm=bv.68445247,d.ZWU
Das liest sich alles wie ein harter Krieg zwischen Brocade und Emulex, in dem Emulex deutlich mit vergleichender Werbung arbeitet (kann ja richtig sein). Allein, ich finde außer von Emulex keine anderen Quellen bislang...
Mich würde vor allem die CPU Last interessieren. Wenn eine Karte 400-600 MB/s schafft und dabei den Rechner komplett zum stocken bringt, wäre das schlecht. Wenns nur 1 Kern (von 8-12 physischen) ist, und der Rest dadurch nicht sehr leidet, wäre das OK. Wenns kaum was belastet, wäre es natürlich noch besser.
Ich will, das vor allem der Server sehr reaktiv bleibt und nicht irgendwelche TCP Sachen die CPUs und das System bremsen. Daher im Server auf jeden Fall Emulex. Aber in den Clients?
Wie hoch ist die maximal mögliche Transferleistung in MB/s bei z.B. Streaming Daten oder großen Einzelbildsequenzen (wir reden hier von 50..75 MByte/Bild)?
Ich weiß, als Einstand viele Fragen. Ich habe aber auch schon viel gelesen... ;-)
Danke im Voraus für Eure Unterstützung!
Gruß,
Axel
Wenn man keine lauten lüfter braucht, weil das bild aus dem nebenraum gestreamt wird, wäre das schon nice 
- lt. ESX-Leistungsanzeige im besten Fall 164000KB/s.
