[Sammelthread] 10Gbit Homenetzwerk

[bluesunset]

Laut der kurzen Artikelbeschreiben kannst du sogar nur SX-SFP Module benutzen.
Die Frage ist nur, wofür willst du das? Wenn nicht die volle Geschwindigkeit benötigt wird, kannst du auch gebrauche PCI-X 1Gbit NICs mit SX kaufen, dann hast du nicht zweimal diesen extra Verbraucher den du betreiben musst.
Vernünftige Switche haben im übrigen Steckplätze für SFP(+).

Bei deiner Lösung hast du 2x 26 Euro für den Mediakonverter + Transportkosten für dich selber zu deiner Zollstelle, da der gesamte Warenwert mit den Versandkosten über dem 40 Euro Freibetrag liegen. Des weiteren 2x50 Euro für die optischen Module. Macht in Summe mehr als 160 Euro für die Anschaffung. Jährlich dann noch einmal ~10-40 Euro für den Betrieb der Konverter.

 

[millenniumpilot]

Hallo Ihr,

nach dem mehrmaligen Studium dieses Threads habe ich mir soeben 2 Stück Cisco SFS-HCA-E2T7-A1 bei Ebay geholt (a 75€ das Stück). Die preiswerteren Voltair HCA 410 habe ich leider nirgends bekommen können. Ich hoffe, der Aufpreis auf die Cisco lohnt sich später auch
Leider habe ich noch keine Quelle für Kabel finden können, vorallem weil ich selten erkennen konnte, welcher Stecker nun konkret bei den Händlern verkauft wird.
Kennt jemand eine passende Quelle? Gern auch bei Ebay aus Übersee, falls nach Deutschland versendet wird. Wäre Euch sehr dankbar.

wäre jemand mal so nett und schaut nach diesem Ebayartikel 150868932323 "5M GORE INFINIBAND CABLE CX4 EJECTOR 28AWG 15FT SAS SFF-8470-8470 ", ob dies das richtige Kabel wäre? Wäre sehr nett. Der Stecker ist nicht mit Schrauben, es steht aber trotzdem SAS-Kabel da.


Gruß Millenniumpilot

 

[IceTea666]

mahlzeit,

Ich hab da mal ne Frage.
Es geht darum 2 Gebäude bzw. ein Gebäudeübergreifendes Heimnetzwerk auf min. 4gbit Basis zu erstellen. Es sieht so aus: in unserem Garten haben wir ein 120m² großes "Glashaus" stehen wo unsere Papageien beheimatet sind, hier wollen wir IP Cams installieren für Beobachtungszwecke. In unserem Haus stehen 4pc´s und 4 Server (2 davon Virtuell) die virtuellen sind AD-DC, DHCP, DNS, Exchange usw. die realen sind Datenserver die unsere Persöhnlichen Daten bzw. in zukunft die Tapes der IP Cams beherbergen.
Die interne Gebäudeverkabelung besteht aus CAT7+ Kabel und Cat6A 10G Keystone Buchsen, in den ersten Stock geht zusätzlich zu CAT7 ein "überlanges" LLK Patchkabel(multimode), ins Glashaus verlaufen ebenfalls 4xCAT7+ Kabel, 1x CAT5 Kabel und 1x LLK Backbone.
Vorhandene Netzwerkgeräte sind 1x Cisco EPC3212 Modem, 1x Cisco E4200 Gateway, 2x Cisco SG200-26.


1. Wie bekomme ich min.4gbit am liebsten 10 über die CAT7+ Kabel vom Serverraum zu den Pc´s im Wohnhaus ?
(Hier geht es um Direktverkabelungen also ich meine damit von Server zu PC1 und PC2 welche Karten sollte ich da verweden ?)

2. Welche Karte brauche ich um den Dateneingang der Cams von Switch b über switch a und dann in den Server zu bekommen (am liebsten über Glas) ?
(Da die beiden Switch nur 1gbit fähig sind denke ich das eine 1gbit Glasfaßerkarte im Server ausreicht um die Daten zu übernehmen)

danke im vorraus

 

[bluesunset]

Es geht darum 2 Gebäude bzw. ein Gebäudeübergreifendes Heimnetzwerk auf min. 4gbit Basis zu erstellen. Es sieht so aus: in unserem Garten haben wir ein 120m² großes "Glashaus" stehen ... hier wollen wir IP Cams installieren... In unserem Haus stehen 4pc´s und 2 Server .... die realen sind Datenserver die unsere Persöhnlichen Daten bzw. in zukunft die Tapes der IP Cams beherbergen.
Die interne Gebäudeverkabelung besteht aus CAT7+ Kabel und Cat6A 10G Keystone Buchsen, in den ersten Stock geht zusätzlich zu CAT7 ein "überlanges" LLK Patchkabel(multimode), ins Glashaus verlaufen ebenfalls 4xCAT7+ Kabel, 1x CAT5 Kabel und 1x LLK Backbone.

Was verstehst du unter überlangen LWL-Kabeln? Welcher OM Kategorie, welcher Stecker ist dran?
Verbindungen > 1Gbit/sec ist die Qualität des Kabels sehr entscheidend für die Reichweite bei Multimode.

Vorhandene Netzwerkgeräte sind 1x Cisco EPC3212 Modem, 1x Cisco E4200 Gateway, 2x Cisco SG200-26.

1. Wie bekomme ich min.4gbit am liebsten 10 über die CAT7+ Kabel vom Serverraum zu den Pc´s im Wohnhaus ?
(Hier geht es um Direktverkabelungen also ich meine damit von Server zu PC1 und PC2 welche Karten sollte ich da verweden ?)

2. Welche Karte brauche ich um den Dateneingang der Cams von Switch b über switch a und dann in den Server zu bekommen (am liebsten über Glas) ?
(Da die beiden Switch nur 1gbit fähig sind denke ich das eine 1gbit Glasfaßerkarte im Server ausreicht um die Daten zu übernehmen)

Zu 1)
4x 1Gbit/sec normale Gbit Ethernet Nics kaufen, ist das günstigste. Alternativ auch je einen Switch welcher vier "Uplink" Ports hat in den Keller und in den Raum wo die PCs stehen bzw. wo das Patchpanel ist.
Oder willst du das jeder PC die Bandbreite von 4Gbit/sec hat?

Zu 2)
Wenn deine Switche SFP-Ports haben kannst du das direkt über diese und das LWL Kabel laufen lassen. Optische Module dafür liegen neu bei ca. 40 Euro.

 

[IceTea666]

Hey,
Danke für die rasche Antwort !

Also das LLK in den ersten Stock ist 50m lang hat an beiden Enden LC Stecker und weist folgende Daten auf:

50/125 2.0 mm Zipcord
E222300
Type OFNP
<ul> c <ul>
04/45 3045 R120268/11/04
P/N 5-1457552-0 Rev: F
Kann ich darüber 4-10gbit laufen lassen ?
Wenn ja welche Karten währen für eine Direktverbingung mit dem Server zu empfehlen ?
___

Du meinst also ich soll ne 4 Port Gigabit Netzwerkkarte verwenden ?
Gibt es keine andere Lösung bei der ich über eine Leitung 4-10gbit schaufeln kann ?
___

Was haltest du von der Karte hier:
Emulex FC-Controller LPe1150-E - 1-Port 4Gbps/FC/PCI-E | eBay

Würde sie eben als erbindung zu den switches nach drausen zu den Cams vernweden !

 

[bluesunset]

Stopp Stopp Stopp.
FC = FibreChannel, außer jemand meinte damit nur eine optische Übertragung (dieses missverständnis gibt es auch manchmal).
FC != Ethernet. FC überträgt eigentlich nur SCSI Pakete. Also blockbasierter Zugriff auf Speicherplatz über ein Netzwerk.

10Gbit Ethernet Karten und optische SFP+ Module dafür gibt es natürlich. Die Karten dafür sind halt etwas teurer.
50/125µm ist schon einmal mindestens OM2. Ist der Mantel des Kabels orange oder blau/türkis bzw. die Plastikstecker?
Mit dem weiteren Kabelaufdruck kann ich leider nichts anfangen, das müsste ich google vorwerfen. Der Händler sollte es dir aber beantworten können welches Kabel er dir verkauft hat. Es ist ja immerhin bei jedem auch immer ein Prüfbericht dabei.

Ich würde mir auch noch einmal überlegen ob du wirklich in jedem Rechner? eine 10Gbit oder zumindest 4x1Gbit/sec haben möchtest bzw. brauchst.
LC-Duplex ist schon einmal der richtige Stecker. Solange du das Kabel beim verlegen vorsichtig behandelt hast und die Staubschutzkappen noch drauf sind kannst du es vielleicht benutzen.
Sollte das Kabel nur OM2 sein würde ich aber eher sagen, geht nicht. Da war die Grenze glaube ich bei rund 35 Metern.

 

[pete35]

Intel X540T1 und T2

Hallo,
es gibt neuerdings 10GBit Intel X540T1 und T2 Karten. Hat schon jemand Erfahrungen damit? Windows 7 ? Linux?
Die Preise lt Geizhals sind hoch, aber doch noch erträglich. Intel X540-T1 Netzwerkadapter , 1x 10GBase, PCIe x8, low profile Preisvergleich | Geizhals Österreich

 

[Icebat]

Hallo erstmal

Ich habe mich gerade wegen dieses sehr informativen Threads registriert - sehr hilfreich! Ich habe vor, eine Infiniband-Direktverbindung zwischen zwei Rechnern aufzubauen und habe bei eBay ein recht günstiges Angebot für diese Karte entdeckt: "Voltaire 400Ex PCIe mit 128MB RAM", [Datenblatt]. Vielleicht auch für andere interessant - der Händler hat aktuell noch 256 Exemplare in dieser Auktion eingestellt!

Hat schon jemand Erfahrung mit dieser Karte? Läuft die einwandfrei mit dem OpenFabrics-Treiber und wird eine Direktverbindung zwischen zwei dieser Karten ohne Switch unterstützt? Die Karte in dem von Schlingel_INV zuvor geposteten Foto sieht dieser schon sehr ähnlich - vielleicht kann trotzdem jemand einen Erfahrungswert posten!

Zur Direktverbindung wird ein "normales" SFF8470-SFF847​0-Kabel benötigt, korrekt?

 

[underclocker2k4]

Herzlich Willkommen im Forum.

Es gibt eh nur eine Hand voll Hersteller für diese Karten. Außerdem ist das durch die Open-Treiber alles das selbe.
Die IBM/Cisco und auch Voltaire sind alles die selben relabelten Karten. Kann man also kaufen.

Bei den Kabel mußt du aufpassen.

Es gibt welche mit Schraubstecker wie man sie von SAS kennt und welche mit Klickstecker, diese sind für IB.

 

[DunklerRabe]

Da das Zeug weitestgehend standardisiert ist sollte es keine Probleme mit dem OF Treiber geben und ja, zur Verbindung benötigst du ein solches Kabel! Bei SFF8470 muss man aber aufpassen, weil dieser Steckertyp für verschiedene Anwendungen benutzt wird und nicht immer den selben Mechanismus zum einrasten an der Karte hat.
Underclocker2k4 hats aber schon erklärt wie ich gerade sehe.

 

[millenniumpilot]

Hallo Icebat,

Anscheinend wird ein Preisvorschlag von 30 Pfund akzeptiert. Aber leider versendet der Verkäufer nicht nach Deutschland.
Eigendlich stehe ich auf Grund der Unkompliziertheit eher auf 10G-Eth, aber dafür hätte ich es mal darauf ankommen lassen und 2 Stück gekauft. Schade.

 

[bluesunset]

Man sollte sich halt auch bewusst machen, dass diese Karten noch eigenen Cache mit dabei haben. Dieser wurde auf neueren Karten entfernt, da dieser die Karten limitiert (bei 40/56Gbit/sec). Es ist auch CPU intensiver. Wenn einem aber max. ~ 6-8Gbit/sec reichen ist es natürlich für kleines Geld erhältlich.

@ underclocker2k4 und DunklerRabe, meine beiden IB-Karten haben ein Schraubterminal für SFF-8470.

 

[DunklerRabe]

Na hoppla?!
Ok, dann muss man sich vorher im Klaren darüber sein welchen Anschluss die Karten haben und kann dann Kabel besorgen.

 

[Icebat]

Danke für euer Feedback! Ich habe gerade einen Preisvorschlag für die Karten gemacht. Bei eBay ist zwar der Versand nach DE für den zuvor genannten Artikel nicht explizit eingetragen, aber in der Artikelbeschreibung sind die Versandkosten nach DE mit 13 Pfund angegeben - ich hoffe mal, dass das klappt.
Schön wäre es natürlich, wenn man mit mglst. wenig CPU-Last möglichst nah an die 10GBit herankäme - da es aber für einen Homeserver gedacht ist wäre bei diesem Preis auch etwas weniger Bandbreite ok!

Edit: Habe gerade drei Karten für je 43€ (zzgl. Versand) erstanden. Ich bin gespannt...

 

[underclocker2k4]

Das mit der geringen CPU Last kannst du leider vergessen. Die CPU hat maßgeblichen Anteil am Speed, sprich, der ist CPU limitiert.

Ich komme mit nem 2,4GHz (oder sowas) Opteron auf 250MB/s, für mehr ist mehr CPU Power notwendig. (single thread)

@blue
Das ist dann aber definitv nicht standard, welche Karten sind das?

 

[DunklerRabe]

Also als ich damals noch meine IB Verbindung hatte war von CPU Last nicht viel zu sehen bei ~400 MB/s.

 

[jumas]

Hoi,

hat jemand ne Idee wie ich den Open Fabrics 3.1 Treiber unter Windows 8 installieren kann, der meckert nämlich.
Bin grad am Windows 8 testen und das geht schon mal nicht.

Grüße
Jürgen

 

[bluesunset]

Ich würde einfach mal darauf tippen, dass es noch nicht unterstützt wird. War mit jeder neuen Windows Version bisher so, wenn das Programm etwas mehr ist als ein einfacherer Texteditor.

 

[jumas]

Ich habs grad gesehen.
In den Ankündigungen steht für die 3.2 Version die Windows 8 Unterstützung. Und im Quartal 4 soll die kommen.

 

[cimbo]

Wunderbar hier so einen Thread zu finden. Ich beschäftige mich auch gerade mit dem Thema 10GBit/s.

Vielleicht könnt ihr mir hier helfen. Ich bin auf der Suche nach Erfahrungen von kompatible Transceivern. Ich will nicht wissen welcher Transceiver bei welchem Switch/bei welcher Ethernetkarte funktioniert. Ich würde mich einfach dafür Interessieren, ob ihr mit solchen Produkten Erfahrungen habt. Die Preise für kompatible Transceiver unterscheiden sich doch sehr stark von den Originalen vom Hersteller:


Ein kurzes Beispiel:

Original:
HP ProCurve mini GBIC Modul (SFP) + LR Transceiver (J9151A) Preisvergleich | Geizhals Deutschland

Kompatibel:
J9151A / X132 OEM 10,3Gbit/s SM 1310nm SFP+ Transceiver | SFP+ Singlemode 1310nm

 

[bluesunset]

Die Preise sind total überzogen!
Guck dir die Preise der Hersteller direkt an. Von Finisar oder Agilent zum Beispiel.
Die ausgerufenen 1000 Euro sind eher der Preis für CWDM Module: CWDM-SFP-10G OEM 10Gbit/s Singlemode CWDM SFP+ Transceiver Modul, 11dB | SFP+ Singlemode CWDM
Finisar Sfp Plus 10gb/s 1310nm 10km Single Mode Datacom Ftlx1471d3bnl Sfp+ Transceiver - Buy Sfp Plus,1000base-lx Sfp 1310nm,Finisar Sfp Product on Alibaba.com 200-300 Euro je Modul ist eher der normale Straßenpreis.
Bei Finisar war noch vor ein paar Jahren der Preis öffentlich einsehbar und auch die Lagermenge für die verschiedenen Modultypen. Inzwischen ist diese Seite leider umgezogen und man muss sich registrieren.

 

[cimbo]

Aber du meinst, man kann solch kompatiblen Module bedenkenlos einsetzen?

 

[bluesunset]

Versuch macht klug
Alle Hersteller von solchen Modulen halten sich an die SFP+ Spezifikationen. Ältere Module hatten halt noch kein DDI, welches der Switch ggf. voraussetzt.
Am einfachsten mal bei den beiden Herstellern je nach benötigter Reichweite und sonstigen Features die Modulnummern aufschreiben und dann beim Händler des Vertrauens ein Paar ordern.
Bei diesen Angeboten mit kompatiblen Modulen handelt es sich in der Regel auch um nichts anderes als solche Module, nur haben da die Händler dies ggf. sogar selbst in entsprechenden Geräten getestet.
Je nach Switch bekommt man ggf. eine Warnmeldung oder muss das Modul per CLI freischalten, da es von der Serien- oder Modellnummer nicht zu den vorgesehen Modulen gehört.

 

[cimbo]

Danke, das hilft mir schon etwas weiter. Ich werde es in meiner Projektplanung berücksichtigen und diese Module testen. Sofern sie problemlos funktionieren kann ich sie ja auch verwenden.

 

[DunklerRabe]

2. FibreChannel - Das geht nicht!
FibreChannel Adapter sind ebenfalls günstig zu erwerben.
Datenraten: 1, 2, 4, 8 Gbit/s.

Es ist aber nicht ohne weiteres möglich diese für Ethernet einzusetzen.

Es gab mal einen Ethernet over FC Standard, dieser hat eine sehr geringe Verbreitung bzw. ist inzwischen tot.
Heutzutage geht man den umgekehrten Weg: FibreChannel over Ethernet, kurz FCOE.
Netzwerkkarten, die das beherrschen, bezeichnet man als CNA. Dazu später mehr.

Kurze Durchsage dazu:

Grundsätzlich stimmt das natürlich nach wie vor, allerdings bin ich kürzlich auf etwas gestossen, von dem ich garnicht wusste, dass es existiert: FC Target Treiber für QLogic HBAs -> SCST: A Generic SCSI Target Subsystem for Linux
Damit kann man zwar kein Ethernet machen, aber trotzdem könnte das interessant für die Leute hier sein. Die meisten werden die 10G Leitung ja sowieso nur für Datentransfer nutzen und genau das (aber auch NUR das) geht mit dem Target Treiber auch.
Die gibts wohl schon länger und sind, laut Entwickler, "stable and well tested". Supportet sind alle halbwegs aktuellen Karten bis zu 8 Gbit.

Damit kann man einen FC HBA dann dazu bringen, den lokalen Storage im Server als LUN nach außen hin zu präsentieren. Den Treiber gibts für Linux, funktioniert ab Kernel 2.6.26 mit den gängigen Distributionen. Spezifisch erwähnt wurde z.B. Debian, RedHat, CentOS und SUSE und es gibt auch ein HowTo am Beispiel von Debian in englisch. Der Initiator, also die Gegenseite zum Target, wo der Storage gemountet werden soll, kann alles sein, solange es Treiber für dieses Betriebssystem für irgendwelche FC HBAs gibt. Die müssen dann vermutlich auch nicht mehr von QLogic sein. Der Target Server braucht also ein Linux, der Initiator kann auch Windows sein. Ich vermute, dass das auch eine essentielle Bedingung für viele potenzielle Interessenten sein dürfte.

Ich werde das mal testen und wenn das vielversprechend aussieht und auch gescheit funktioniert, dann werde ich mal ein kurzes HowTo in deutsch verfassen. Es scheint nicht all zu kompliziert zu sein und ist scheinbar auch gut dokumentiert.

 

[bluesunset]

Es ist gut dokumentiert. Gibts aber für Solaris auch schon länger und tut afaik unter BSD auch. LSI hat extra Firmwareimages für den Target-Modus. Man kann in (besseren) Desktopboards auch den Port auswählen von welchem gebootet werden soll. Habe seit 2009 einige neue Dual und Quad Port 4Gbit FC HBAs.
Wie ich schon einmal schrieb, ist seit einiger Zeit (ein Jahr?) auch schon 16Gbit FC erhältlich. 10 Gbit wie von dir geschrieben ist hingegen eher unüblich und wurde über XFP Module optisch gelöst. Das gab es zu 4GB FC Zeiten also noch vor den 8Gbit/sec über SFP+.

 

[DunklerRabe]

Mit 10G meinte ich Ethernet im Vergleich zu 8 Gbit FC, weil die meisten die in der Anwendung flexibelere 10G Ethernetverbindung sowieso nur nutzen um Storage anzubinden. Ansonsten wäre reines FC ja gar keine Alternative.

16G FC ist im SCST im Moment noch nicht supportet. Ist imho allerdings auch kein Beinbruch, denn obwohl 16G schon seit 2011 existiert und die üblichen Verdächtigen Hardware dafür ankündigen bzw. angekündigt haben ist am Markt davon immer noch nicht viel zu sehen. Von einer guten Verfügbarkeit kann man nicht gerade sprechen.
Man bekommt die 16G HBAs nur sehr vereinzelt.

QLogic hat die 2600er Serie, die im Moment eigentlich nirgends richtig lieferbar sind.
Von Brocade bzw. als OEM von IBM gibts die 1860 CNAs, die man auch nirgends bekommt. Ob IBM im Moment welche liefern könnte weiß ich nicht, vermutlich schon. Aber im freien Verkauf findet man sie so nicht wirklich.
Und Emulex hat die LPe16000 bzw. als OEM die HP SN1000E. Da gilt eigentlich das gleiche wie bei Brocade/IBM. Wenn ich jetzt bei HP eine bestellen würde, dann krieg ich vermutlich eine, aber frei verkäuflich findet man die nicht.

HP gibt als Preis für die SN1000E mit einem Port 1800 USD an, unser Listenpreis ist 1500 EUR. Auf hp.com wird als shipping date der 28.11.2012 angegeben, scheint also auch nicht "sofort" lieferbar zu sein.

Nunja, ich werde die SCST Geschichte mal mit 8 Gbit Karten (QLogic 2560) probieren. Davon muss ich dann auch nicht erst teuer neue kaufen

 

[Digi-Quick]

FC ist doch seit jeher für Speichernetzwerke gedacht (SANs) - also ist das im Prinzip nix neues, was neu ist, ist iSCSI over FC

 

[DunklerRabe]

Was genau ist nichts Neues? FC HBAs als Target sind für mich schon was ziemlich Neues, denn das ist ja auch nicht die ursprüngliche Idee hinter FibreChannel.

 

[bluesunset]

Ach, und wie funktionieren dann bitteschön all die FC-Storagesysteme wenn nicht eben genau als Target?
Mit Target und Initiator wird nur die selbe Terminologie verwendet wie sie bei iSCSI gebräuchlich ist.

Jepp, es gibt zum einen einen FC Target und einen Initator Modus, so wie bei iSCSI auch - irgendwo her mussten Sie es ja nehmen
von http://www.hardwareluxx.de/community/f242/fibre-channel-newbee-fragen-884622.html#post18710288
Es gibt auch noch andere Karten, welche einen Target Modus unterstützen. Aber die genannte qlogic und auch die Karten von emulex sind am verbreitesten und somit inzwischen für nen Apfel und ein Ei zu haben.

Fibrechannel? Da hatte ich doch schon im Startpost was zu geschrieben..
(ja ich weiss ich muss den mal wieder Pflegen)

Selfquote:


Ergänzen könnte man das es Target mode Treiber für Linux / Solaris FÜR BESTIMMTE KARTENHERSTELLER gibt.
Damit kann man dann Volumes als Festplatten / Optische Laufwerke exportieren und am anderen ende wie eine Lokale Platte nutzen.

Fazit: Machs nicht...

Die 16G HBAs von Brocade gibts seit letztem Jahr schon. Bei ebay ist sowas natürlich seltenst unterwegs
Die meisten Firmen hatten schon Probleme mit 8G und sind froh, dass dies nun einigermaßen vernünftig läuft. 16G erspart einem nur Ports bei neueren Systemen. Seit 8G gibt es keine Quadport-Karten mehr.