ttom
Enthusiast
hast du schon Karten? Wenn nicht dann folge einfach dem link von ulukay. Passendes 3m Kabel gibts für 60€ dazu
[Sammelthread] 10Gbit Homenetzwerk
- Ersteller barnacle2k
- Erstellt am
Danke für den Hinweis ... nein, ich hab noch keine Karten, vorher interessiert mich noch die Belastung für die CPU. Wenn die stark belastet wird ist es nichts für mich.
.... und Kabel brauch ich 7-8m ... muss mir das vorher mal genauer anschauen, denn das muss ich selbst konfektionieren.
ttom
Enthusiast
Ein Kern ist bei mir schon recht hoch ausgelastet
Was für eine CPU hast du und wie hoch ist die Auslastung ungefähr (100% oder eher 70%)?
Bei mir gehts halt darum, ob ich mir ein Raid sparen kann und ich meine Videodaten ähnlich wie jetzt schon die Fotos nur noch auf dem Server halte. Wenn im gegenzug aber die CPU leistung zusammenbricht ist mir nicht geholfen.
Bei mir gehts halt darum, ob ich mir ein Raid sparen kann und ich meine Videodaten ähnlich wie jetzt schon die Fotos nur noch auf dem Server halte. Wenn im gegenzug aber die CPU leistung zusammenbricht ist mir nicht geholfen.
Zuletzt bearbeitet:
ttom
Enthusiast
Xeon 1275 baugleich mit i7 2600
Gesamtauslastung liegt bei 20-25%. Ein Kern (von 8) ist aber recht hoch ausgelastet. Bei einer Übertragungsrate von bis zu 650 MB/s.
Gesamtauslastung liegt bei 20-25%. Ein Kern (von 8) ist aber recht hoch ausgelastet. Bei einer Übertragungsrate von bis zu 650 MB/s.
Danke! Das hört sich absolut ok an.
Weiß jemand, ob man ein Infiniband Kabel eigentlich mit erträglichem Aufwand selbst konfektionieren kann? Weder Kabel noch SFF-8470 Stecker konnte ich irgendwo einzeln finden. Das Kabel (7-8m) muss bei mir zwangsweise zunächst ohne Stecker verlegt werden (Kabeltunnel).
Und brauchen die Mellanox Karten zwangsweise einen elektrischen PCIe 8x Steckplatz oder reicht ihnen ein elektrischer PCIe x4?
Weiß jemand, ob man ein Infiniband Kabel eigentlich mit erträglichem Aufwand selbst konfektionieren kann? Weder Kabel noch SFF-8470 Stecker konnte ich irgendwo einzeln finden. Das Kabel (7-8m) muss bei mir zwangsweise zunächst ohne Stecker verlegt werden (Kabeltunnel).
Und brauchen die Mellanox Karten zwangsweise einen elektrischen PCIe 8x Steckplatz oder reicht ihnen ein elektrischer PCIe x4?
Zuletzt bearbeitet:
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
Die einfachsten IB Karten haben sowieso einen x4 Anschluss.
x8 Karten sind kompatibel zu einem mit x4 angebundenen Slot, wenn sie physikalisch passen, d.h. entweder der x4 Slot hinten offen ist oder physikalisch als x16 ausgelegt ist.
Kabel selbst konfektionieren kannst du komplett vergessen. Wir reden hier nicht von einer Ethernet Strippe mit 8 Adern und RJ45 Steckern wo im Notfall auch mal "Ahjoa, das passt schon!" reicht
Wer schonmal ein IB Kabel in der Hand hatte kann das wohl auch nachvollziehen. Das ist ein bisschen wie mit VHDCI Kabel aus SCSI Zeiten, es ist kompaktes Kabel mit relativ hoher Aderndichte und auch entsprechenden Anforderungen an den Stecker.
x8 Karten sind kompatibel zu einem mit x4 angebundenen Slot, wenn sie physikalisch passen, d.h. entweder der x4 Slot hinten offen ist oder physikalisch als x16 ausgelegt ist.
Kabel selbst konfektionieren kannst du komplett vergessen. Wir reden hier nicht von einer Ethernet Strippe mit 8 Adern und RJ45 Steckern wo im Notfall auch mal "Ahjoa, das passt schon!" reicht
Wer schonmal ein IB Kabel in der Hand hatte kann das wohl auch nachvollziehen. Das ist ein bisschen wie mit VHDCI Kabel aus SCSI Zeiten, es ist kompaktes Kabel mit relativ hoher Aderndichte und auch entsprechenden Anforderungen an den Stecker.
Kabel selbst konfektionieren kannst du komplett vergessen. Wir reden hier nicht von einer Ethernet Strippe mit 8 Adern und RJ45 Steckern wo im Notfall auch mal "Ahjoa, das passt schon!" reicht
Wer schonmal ein IB Kabel in der Hand hatte kann das wohl auch nachvollziehen. Das ist ein bisschen wie mit VHDCI Kabel aus SCSI Zeiten, es ist kompaktes Kabel mit relativ hoher Aderndichte und auch entsprechenden Anforderungen an den Stecker.
Wie wird es dann gelöst, wenn z.B. ein 10m Kabel durch ein Gebäude verlegt werden muss? Es ist ja durchaus eine Lösung die im professionellen Bereich verwendet wird, und wo eben auch größere Strecken in Gebäuden zurückgelegt werden.
Sehr gut, denn es gibt ja durchaus Karten anderer Hersteller (wie hier im ersten posting vermerkt), die zwingen elektrisch PCIe x8 benötigen.
Zuletzt bearbeitet:
underclocker2k4
Mr. Alzheimer
10m sind keine Strecke die man Gebäuden verlegt, außer evtl in Barbihäusern.
Für richtig lange Strecken gibt es LWL.
IB ist eigentlich auch keine Anwendung für die sie hier mißbraucht wird.
IB ist eine Breitbandverbindung INNERHALB eines Clusters und dieser Cluster ist im Normalfall auf einen Raum begrenzt. Daher sind die normalen Kabel auch im Schnitt 3m lang, nämlich vom Switch zum Rechner und net weiter.
http://www.cs.usfca.edu/facilities/cluster2.jpg
Mehr ist das nicht.
Für richtig lange Strecken gibt es LWL.
IB ist eigentlich auch keine Anwendung für die sie hier mißbraucht wird.
IB ist eine Breitbandverbindung INNERHALB eines Clusters und dieser Cluster ist im Normalfall auf einen Raum begrenzt. Daher sind die normalen Kabel auch im Schnitt 3m lang, nämlich vom Switch zum Rechner und net weiter.
http://www.cs.usfca.edu/facilities/cluster2.jpg
Mehr ist das nicht.
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
Genau so siehts aus.
10 Meter sind ein Witz bei der Gebäudeverkabelung, damit kommst du gerade mal bis ins übernächste Rack. Stecker spielen dabei keine Rolle.
Für IB sind Kabellängen zwischen 50 cm und 3 Meter durchaus gängig, das wirst du auch feststellen, wenn du versuchst ein längeres Kabel zu besorgen. Das wird nämlich garnicht so einfach.
10 Meter sind ein Witz bei der Gebäudeverkabelung, damit kommst du gerade mal bis ins übernächste Rack. Stecker spielen dabei keine Rolle.
Für IB sind Kabellängen zwischen 50 cm und 3 Meter durchaus gängig, das wirst du auch feststellen, wenn du versuchst ein längeres Kabel zu besorgen. Das wird nämlich garnicht so einfach.
Zuletzt bearbeitet:
Einen Anbieter für 10m Kabellänge (bereits konfektioniert halt) hab ich gefunden (der Preis ist zwar hoch aber tragbar, schließlich spare ich mir dadurch den 2. RAID Cotroller samt HDs, da ich dann direkt mit den Daten vom Server arbeiten kann), der Haken ist aber eben die Kabelführung, denn das Ding muss eben durch ein Kabelrohr durch, oder der Server steht weiterhin in meinem Arbeitszimmer, was ich aber eigentlich vermeiden wollte.
Ich benötige halt neben dem 1GBit LAN eine zusätzliche schnellere Direktverbindung zwischen Server und einem Arbeitsrechner mit (optimalerweise) 500mb/s oder mehr. Und die Karten (bzw. mindestens eine) muss mit elektrisch PCIe x4 (mechanisch x16) auskommen.
Die 10GBase Karten finde ich bei weitem nicht zu den Preisen, wie sie hier im ersten Post angegeben sind und einige davon brauchen ja anscheinend unbedingt elektrisch PCIe x8. Das wäre ansonsten sicherlich die einfachste Lösung fürs Kabelproblem
Ich benötige halt neben dem 1GBit LAN eine zusätzliche schnellere Direktverbindung zwischen Server und einem Arbeitsrechner mit (optimalerweise) 500mb/s oder mehr. Und die Karten (bzw. mindestens eine) muss mit elektrisch PCIe x4 (mechanisch x16) auskommen.
Die 10GBase Karten finde ich bei weitem nicht zu den Preisen, wie sie hier im ersten Post angegeben sind und einige davon brauchen ja anscheinend unbedingt elektrisch PCIe x8. Das wäre ansonsten sicherlich die einfachste Lösung fürs Kabelproblem
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
Bei mir ergibt sich grad die Frage der Performance.
Ich hab gerade mal meinen PC mit dem Server verkabelt und mehr als ~100 MB/s von meinem Rechner zum Server gehen da gerade nicht durch.
Auf der einen Seite ists ein W7 Pro x64, auf der anderen ein Server 2008 R2, verbunden durch die Voltaire HCA 410-4EX. Auf beiden Rechnern läuft die Software von Mellanox.
Das W7 System hat ein Raid 5 aus 8 Samsung HD154UI, der Server ein Raid 50 aus 16 Seagate ST31500341AS. Beide Raids sind 100% initialisiert und hängen an LSI 3Ware 9750-4i (Server, mit SAS Expander) bzw. -8i.
Ich ging eigentlich davon aus, dass das Raid 5 mit den Samsung Eco Platten der limitierende Faktor wird, aber hier scheints irgendwo anders noch zu klemmen.
Interessant finde ich auch, dass mein an meinem Rechner bei einem Phenom II X4 955 BE so ca. 25% CPU Last anfällt, während die beiden Xeon L5630 im Server absolut NICHTS machen.
Hat dazu jemand eine Idee oder ein paar Konfigurationstipps?
Ich hab gerade mal meinen PC mit dem Server verkabelt und mehr als ~100 MB/s von meinem Rechner zum Server gehen da gerade nicht durch.
Auf der einen Seite ists ein W7 Pro x64, auf der anderen ein Server 2008 R2, verbunden durch die Voltaire HCA 410-4EX. Auf beiden Rechnern läuft die Software von Mellanox.
Das W7 System hat ein Raid 5 aus 8 Samsung HD154UI, der Server ein Raid 50 aus 16 Seagate ST31500341AS. Beide Raids sind 100% initialisiert und hängen an LSI 3Ware 9750-4i (Server, mit SAS Expander) bzw. -8i.
Ich ging eigentlich davon aus, dass das Raid 5 mit den Samsung Eco Platten der limitierende Faktor wird, aber hier scheints irgendwo anders noch zu klemmen.
Interessant finde ich auch, dass mein an meinem Rechner bei einem Phenom II X4 955 BE so ca. 25% CPU Last anfällt, während die beiden Xeon L5630 im Server absolut NICHTS machen.
Hat dazu jemand eine Idee oder ein paar Konfigurationstipps?
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
Default Payload MTU Size ist 2044 Byte. Man kann es bis 40xx Byte hochstellen, aber dann kriegt man keine Verbindung mehr zustande.
Man lernt nie aus. 
Hätte gedacht, dass wenn TCP/IP over IB läuft, dass dann auch Jumbo Frames gehen würden.
Habs aber eben mal nachgelesen:
Maximum Transmission Unit
The IB connection setup might be used for both IPv4 and IPv6 or it
could be used for only one of them while a different connection is
used for the other. The link MTU MUST be able to support the minimum
MTU required by the protocols.
The default MTU of the IPoIB-CM interface is 2044 octets, i.e.,
2048-octet IPoIB-link MTU minus the 4-octet encapsulation header.
Danke für die Info.
Hätte gedacht, dass wenn TCP/IP over IB läuft, dass dann auch Jumbo Frames gehen würden.
Habs aber eben mal nachgelesen:
Maximum Transmission Unit
The IB connection setup might be used for both IPv4 and IPv6 or it
could be used for only one of them while a different connection is
used for the other. The link MTU MUST be able to support the minimum
MTU required by the protocols.
The default MTU of the IPoIB-CM interface is 2044 octets, i.e.,
2048-octet IPoIB-link MTU minus the 4-octet encapsulation header.
Danke für die Info.
Tiptop
Enthusiast
- Mitglied seit
- 22.09.2008
- Beiträge
- 461
vielleicht ein Virenscanner/Firewall - 25% bedeutet ja gerne eine Auslastung eines Kerns und damit Limitierung
ich würde im Taskmanager mal nachsehen welche Anwendung da zum Flaschenhals wird
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
Die Last verteilt sich quer über alle Kerne. Etwas davon wird auch "Hintergrundrauschen" von anderen offenen Anwendungen sein, im Gegensatz zum Server läuft auf meinem Rechner natürlich noch der gängige Alltagskrempel.
Ich werd das nochmal genau analysieren, da hatte ich mit fortschreitender Zeit gestern kein Interesse mehr dran.
Allerdings ist es eben ziemlich sicher keine Limitierung durch einen Kern.
Ich werd das nochmal genau analysieren, da hatte ich mit fortschreitender Zeit gestern kein Interesse mehr dran.
Allerdings ist es eben ziemlich sicher keine Limitierung durch einen Kern.
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
Eigentlich nicht, es waren ja auch keine Lags, sondern es war durchgehend langsam.
Ich werde nachher nochmal in beide Richtungen testen.
Parallel dazu hab ich mir zwei Emulex OCe10102 10 GBit NICs mit SFP+ CU Kabeln besorgt, mit denen ich hoffe rausfinden zu können, ob das Problem bei den Raid Arrays oder beim IPoIB liegt.
Ich werde nachher nochmal in beide Richtungen testen.
Parallel dazu hab ich mir zwei Emulex OCe10102 10 GBit NICs mit SFP+ CU Kabeln besorgt, mit denen ich hoffe rausfinden zu können, ob das Problem bei den Raid Arrays oder beim IPoIB liegt.
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
So, hier mal die Ergebnisse. Irgendwas scheint gestern die Bandbreite negativ beeinflusst zu haben. Die Ergebnisse sind ganz ok, wenn auch mMn. noch nicht 100% plausibel.
Gearbeitet wird auf beiden Seiten mit normalen Windowsfreigaben und einer ca. 18 GB großen Zip Datei als Test. Die Transferraten sind die von Windows errechneten Mittelwerte.
Vom PC aus angestossen:
PC -> Server: 210 MB/s, 35% CPU Last am Phenom II X4 955
PC <- Server: 280 MB/s, 45% CPU Last am Phenom II X4 955
Vom Server aus angestossen:
PC -> Server: 380 MB/s, 10% Last an den Xeons L5630
PC <- Server: 215 MB/s, 7% Last an den Xeons L5630 (hier dauert es lange bis der Transfer mal in die Hufe kommt, startet mit ~1 MB/s für ca. 20 Sekunden)
@ulukay: 65535 lässt er garnicht zu. Der gültige Bereich liege zwischen 600 und 4092, sagt die Fehlermeldung.
Gearbeitet wird auf beiden Seiten mit normalen Windowsfreigaben und einer ca. 18 GB großen Zip Datei als Test. Die Transferraten sind die von Windows errechneten Mittelwerte.
Vom PC aus angestossen:
PC -> Server: 210 MB/s, 35% CPU Last am Phenom II X4 955
PC <- Server: 280 MB/s, 45% CPU Last am Phenom II X4 955
Vom Server aus angestossen:
PC -> Server: 380 MB/s, 10% Last an den Xeons L5630
PC <- Server: 215 MB/s, 7% Last an den Xeons L5630 (hier dauert es lange bis der Transfer mal in die Hufe kommt, startet mit ~1 MB/s für ca. 20 Sekunden)
@ulukay: 65535 lässt er garnicht zu. Der gültige Bereich liege zwischen 600 und 4092, sagt die Fehlermeldung.
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
Dann hilf mir kurz auf die Sprünge, was genau meint "connected Mode"?
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
Jaha, so clever war ich auch
Den Punkt hab ich dort aber nicht. Hab mich in der Zwischenzeit versucht schlau zu machen, aber ich bin in IPoIB Community einfach noch nicht 100% drin. Aber wie es scheint, ist es eine Versionsfrage.
Ich hab die Software direkt von Mellanox installiert: Mellanox Products: Mellanox OFED for Windows (WinOF)
Bei openfabrics.org hab ich auch nur Versionen bis 2.3 gefunden, die laut Specs den CM noch nicht unterstützen, das sei erst vorgesehen in 3.0. Version 3.0 finde ich aber noch nirgends, laut Roadmap ist der Release für Q3/2011 geplant. Wie es scheint ist der aber noch nicht erfolgt.
Den Punkt hab ich dort aber nicht. Hab mich in der Zwischenzeit versucht schlau zu machen, aber ich bin in IPoIB Community einfach noch nicht 100% drin. Aber wie es scheint, ist es eine Versionsfrage.
Ich hab die Software direkt von Mellanox installiert: Mellanox Products: Mellanox OFED for Windows (WinOF)
Bei openfabrics.org hab ich auch nur Versionen bis 2.3 gefunden, die laut Specs den CM noch nicht unterstützen, das sei erst vorgesehen in 3.0. Version 3.0 finde ich aber noch nirgends, laut Roadmap ist der Release für Q3/2011 geplant. Wie es scheint ist der aber noch nicht erfolgt.
DunklerRabe
Enthusiast
- Mitglied seit
- 01.05.2010
- Beiträge
- 2.294
D.h. die Specs stimmen nicht und 2.3 unterstützt CM? Ich werds mal ausprobieren.
edit:
Ok, jetzt sinds 380 MB/s in alle Richtungen. Das dürfte die Grenze des Raid 5 mit den 5400er Platten sein.
edit:
Ok, jetzt sinds 380 MB/s in alle Richtungen. Das dürfte die Grenze des Raid 5 mit den 5400er Platten sein.
Zuletzt bearbeitet:
Schlingel_INV
Urgestein
ich hab eben auch mal nen bissel gesucht und bin auf diesen IB-adapter aufmerksam geworden:
HP NC571C PCI Express Dual-port 4x Fabric Adapter
den gibts wohl recht günstig. nachteil: laut hp nur linux drivers. hat jemand irgendwelche infos zu diesem und ob es ggf auch windows treiber gibt?
HP InfiniBand Options - Worldwide QuickSpecs
http://bizsupport2.austin.hp.com/bc/docs/support/SupportManual/c00292521/c00292521.pdf
chip ist ebenfalls von mellanox. wenn ich bei denen schaue sieht das gute stück so aus wie hier:
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=42&menu_section=41#tab-four
dazu gibts auch "archived" 2008 R2 treiber
HP NC571C PCI Express Dual-port 4x Fabric Adapter
den gibts wohl recht günstig. nachteil: laut hp nur linux drivers. hat jemand irgendwelche infos zu diesem und ob es ggf auch windows treiber gibt?
HP InfiniBand Options - Worldwide QuickSpecs
http://bizsupport2.austin.hp.com/bc/docs/support/SupportManual/c00292521/c00292521.pdf
chip ist ebenfalls von mellanox. wenn ich bei denen schaue sieht das gute stück so aus wie hier:
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=42&menu_section=41#tab-four
dazu gibts auch "archived" 2008 R2 treiber
Zuletzt bearbeitet:
Ähnliche Themen
[User-Review]
Switch im Lesertest: Testet den QNAP QSW-M2108R-2C!
