[Sammelthread] 10Gbit Homenetzwerk

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hi,

ich habe jetz meine zwei NC523SFP eingebaut, und installiert. Aktualisierung der firmware hat auch geklappt (nachdem ich CSM im UEFI eingeschaltet habe).

Leider kommt keine verbindung zu stande :( Weder zwischen den zwei adaptern, noch wenn ich beide Enden des Kabels an einen adapter anschließe :(

Woran kann das liegen? Ist mein Kabel defekt? Ich habe dieses gekauft: Goobay OM3 Duplex Patchkabel LC/LC 15m aqua
 
kabel auf einer seite gekreuzt? wenn nein, dann musst du das auf einer seite machen
 
lol, ja :d

Daran lags wohl, ich hatte einfach vergessen die dinger zu kreuzen^^ Wie dumm xD


Danke :)
 
Guten Abend!

Ich würde gerne EINE Workstation (Windows, Linux, FreeBSD) mit einem Server (FreeBSD, ZFS, 3TB Storage mit ~700MB/s) verbinden. Die Daten auf welche die Workstation zugreifen kann soll gleichzeitig einem Gigabit-Ethernet Netzwerk per NFS zur Verfügung gestellt werden.

Ich weiß nicht, was die sinnvollste Technik in diesem Fall wäre. Als Preisobergrenze sollen das Aequivalent von zwei neuen Intel X540-T1 gelten, also ~550€. Das mache ich deshalb, weil ich ohne eure Hilfe einfach diese Adapter kaufen würde. Dann hätte ich eine stinknormale mir bekannte TCP/IP Verbindung und würde wohl mit der Workstation auch per NFS auf die Daten zugreifen.
Vielleicht gibt es für den Preis aber auch etwas das dafür besser geeignet ist. Diese Datenraten müssen wie gesagt nur von einem Punkt zum anderen transferiert werden, sie werden niemals geswitched werden. Die ungefähre benötigte Kabellänge beträgt 3m.
Ich hätte halt gern eine möglichst geringe Latenzen. Ethernet hat meines Wissens "deutlich" höhere Latenzen. Die Unterschiede sind vermutlich verschwindend gering, aber warum soll ich mein Geld für Funktionen (Switches möglich, TCP/IP möglich) ausgeben, die ich evtl. gar nicht brauche.
Ist es überhaupt möglich ohne TCP/IP z.B. von Windows (8.1) auf ein FreeBSD/ZFS zuzugreifen?

PS:
Ich hab mir noch überlegt, dass die Datenrate bzw. die Speicherkapazität nach oben hin noch offen sind. War aber in nem Forum wie diesem auch irgendwie klar... :) Ich hab mich übrigens vor meinem Beitrag schon eingelesen. Ich werd aber aus den Wikipediaartikeln (Fibrechannel, Infiniband, SAN, NAS, iSCSI usw.) nicht wirklich schlau. Mich schreckt oft ab, dass in diversen Fällen etwas von "blockwise" (z.B. im Falle von iSCSI) steht. Damit schließe ICH einen Zugriff von Windows auf ZFS aus, aber es scheint bei diversen Quellen die ich gelesen habe zu funktionieren. Vielleicht könnte mir das einer mal genauer erklären.
 
Zuletzt bearbeitet:
bevor du 2x Intes für ~550€ kaufst, schaue bei ebay nach qlogic NICs inkl. SFP+ Modulen (z.B. 2 x HP NC523SFP DP 10Gb SP:593742-001 + 4 x HP 10Gb SFP+ Modul SP:456096-001 | eBay)

zusätzlich noch einen günstigen 10G switch (z.B. dgs-1510-20 => hab ich selber, stacking disabled dann 10G ports als uplink verwendet)

je nach tageskurs bist du hier bei ~500 € komplett

dann kannst du deine WS per 10G anbinden und hast noch 18x 1G ports am Switch..
 
knatterhorst schrieb:
PS:
Ich hab mir noch überlegt, dass die Datenrate bzw. die Speicherkapazität nach oben hin noch offen sind. War aber in nem Forum wie diesem auch irgendwie klar... :) Ich hab mich übrigens vor meinem Beitrag schon eingelesen. Ich werd aber aus den Wikipediaartikeln (Fibrechannel, Infiniband, SAN, NAS, iSCSI usw.) nicht wirklich schlau. Mich schreckt oft ab, dass in diversen Fällen etwas von "blockwise" (z.B. im Falle von iSCSI) steht. Damit schließe ICH einen Zugriff von Windows auf ZFS aus, aber es scheint bei diversen Quellen die ich gelesen habe zu funktionieren. Vielleicht könnte mir das einer mal genauer erklären.
Zum Vergrößern anklicken....


Naja, blockweise bedeutet in dem Fall, dass du nicht auf Filesystemebene, sondern eine Ebene tiefer, (virtuelle) Hardware freigibst.
Das heißt, du gibst serverseitig eine ganze Festplatte oder eine Containerdatei (virtuelle Festplatte, ähnlich wie ein iso-Image) frei. Auf der Clientseite wird diese "Freigabe" wie eine echte Festplatte eingebunden, lässt sich formatieren, partitionieren und co.
Von daher ist das ganze völlig betriebssystemunabhängig.

Für den Server ist allerdings nicht transparent, was auf der (virtuellen) Festplatte liegt. Daher ist eine NFS Freigabe nicht möglich.
Allerdings müsste es theoretisch möglich sein, dieses virtuelle Festplatte zusätzlich lokal (im Read-only-Modus) auf dem Server zu mounten. Dann steht die Platte inkl. Dateisystem auf dem Server zur Verfügung und kann freigegeben werden (vorausgesetzt, das enthaltene Betriebssystem wird vom Server verstanden)
 
OK, dann habe ich das schon richtig verstanden. iSCSI fällt somit flach. Gibts sonst noch Alternativen die hier funktionieren würden? (Abgesehen von SMB oder NFS)


snoopy78:
Danke für den Tipp, ich wusste gar nicht, dass es inzwischen wirklich SO günstig gehen würde. Nichtsdestotrotz entspricht deine Lösung nicht ganz dem, was ich eigentlich will. Ja, es ist schön und gut, dass ich jetzt die 10G vom Server unter den anderen Clients aufteilen kann, das sind aber nur ~10 Geräte die oft per WLAN angeschlossen sind. Total sinnlos daher. Für mein Gigabit-Ethernet Netzwerk brauch ich eigentlich nur nen Rackmount 8-Port Switch.
 
Zuletzt bearbeitet:
@knatterhorst:
WLAN und 10G (auch schon 1G) passt irgendwie nicht zusammen, dann spare dir lieber das Geld...und kaufe deiner Frau was schönes..;).....oder investiere in neue 802.11ac Technik....was bringt der tollste sportwagen, wenn du sowieso nur schrittgeschwindigkeit fahren kannst..
 
Naja, ich hab auch noch ein Notebook und zwei andere PCs, die ich schon gerne etwas schneller versorgen möchte. :)
Und die Workstation ist halt etwas laut mit sechs 10k rpm Platten. Wenn ich die im benachbarten Serverraum unterbringen könnte, wäre die Workstation plötzlich fast lautlos.
Ob das so viel Geld wert ist, sei dahingestellt, es ist erstens Luxus und zweitens Basteltrieb, aber ich muss mich deswegen vermutlich hier nicht rechtfertigen... :)
 
Naja er wollte doch auch nur eine 10G Verbindung zwischen seiner Workstation und dem Server und nicht zwischen dem Rest :)
 
;) hier muss sich niemand rechtfertigen :)
mir persönlich ist egal was hier jeder macht und kauft... ich gebe nur meine Meinung dazu kund...

Ja, er kann auch nur 2 NICs kaufen und die WS + Server direkt verbinden, aber dann hat er je nach Netzwerksetup ein kleines Problem mit den Netzzugriffen.... daher meine Empfehlung mit dem Switch....MIT einem switch können alle Clients im Netz miteinander reden.. OHNE Switch (Direktverbindung zw. WS & Server) muss er z.B. zw. Server und WS ein eigenes IP-Subnetz aufspannen, da die meisten OS es nicht unterstützen gebridged zu werden, auch so hat er mit dieser Lösung nachteile....

auch ich habe meine WS und mein Storage per 10G (über dgs-1510-20) verbunden da ich gerne mal große daten hin und herschubse.. aber hier spielen dann plötzlich die verwendeten HDD's und der HBA eine größere Rolle, da diese dann oftmals der limitierende Faktor sind
 
Yo, ich hab jetzt nochmal weiter recherchiert:
Scheinbar ist Infiniband die passendste Technik.

Ethernet ist zu langsam, Fibrechannel ist für weitere Strecken ausgelegt. Die Begrenzung auf 15m von Infiniband ist sehr passend für mein Szenario.

Ich werde mich nach zwei Dualport QDR Infinibandkarten umsehen, welche unter allen drei OS funktionieren (Windows 8.1, FreeBSD 10, Linux).
Für die Windows 8 Version gibt es scheinbar keine OpenFabrics Treiber... meh...

Die Latenzen scheinen für Infiniband äußerst gering zu sein, TCP/IP läuft drüber (wohl ein MUSS für mein Vorhaben, weil ich SMB verwenden muss, NFS geht nur mit Windows 8.1 Enterprise, welches ich mir sicher nicht kaufen werde). Dualport deshalb, weil diese Variante sowieso sehr verbreitet ist und ich damit evtl. später einen Ring mit einer dritten Maschine schließen kann.
 
Zuletzt bearbeitet:
snoopy78 schrieb:
bevor du 2x Intes für ~550€ kaufst, schaue bei ebay nach qlogic NICs inkl. SFP+ Modulen (z.B. 2 x HP NC523SFP DP 10Gb SP:593742-001 + 4 x HP 10Gb SFP+ Modul SP:456096-001 | eBay)

zusätzlich noch einen günstigen 10G switch (z.B. dgs-1510-20 => hab ich selber, stacking disabled dann 10G ports als uplink verwendet)

je nach tageskurs bist du hier bei ~500 € komplett

dann kannst du deine WS per 10G anbinden und hast noch 18x 1G ports am Switch..
Zum Vergrößern anklicken....
Das ist interessant. Genau so ein Switch hab ich eigentlich gesucht. Im Prinzip reicht mir auch ein 8 Port GbE Switch mit zwei 10G Ports.

Hast Du mal gemessen, was das Switch und die NICs im idle verbrauchen?
 
leider nein...

ich habe aber aktuell auf meiner USV eine Last von 46-49W bei folgenden aktiven Verbrauchern:
1x QNAP TS-119PII (300GB 2,5" HDD) ~ 4-7W
1x DSR-1000N ~ max. 12W
1x DGS-1210-10P => 3x PoE Endgeräte (1x Snom 360, 1x DAP-2690 B-Rev, 1x Cisco SG200-08) 7,8W ~ 108W (3x 8W => 24 W)
1x DGS-1510-20 (mit 1 aktiven 10G Verbindung (WS)
1x USB HAMA dev. Server ~ keine Ahnung

Als Energiesparoption habe ich am 1510er die LEDs abgeschalten.
Lt. Webseite Hersteller würden die 12,7 W idle - 20,3 W full damit passen.

Was die NICs brauchen weiss ich nicht, da ich das nie gemessen habe....wird aber bei ~ 10W liegen...schätze ich
 
Was mir bei meinen Recherchen noch aufgefallen ist:

Teilweise kann ich mir für einige Euros mehr anstatt der 10GBaseT PCIe Adapter gleich ausgewachsene Supermicro Sockel-2011 Mainboards kaufen... Schon komisch, dass so ein Mainboard

Supermicro | Products | Motherboards | Xeon® Boards | X9DRH-iTF

nur ungefähr 50€ mehr kostet als ein

http://geizhals.at/de/intel-x540-t2-a929523.html

Da kann ich mir gleich überlegen, ob ich nicht statt der Adapter gleich neue Kisten hinstelle... Gut die CPUs kosten dann plötzlich sinnlos viel Kohle :/
 
Hallo Freunde der Geschwindigkeit,

ist hier jemand der mir mal behilflich sein kann, Infiniband auf meinem OmniOS zu konfigurieren? Ich probiere jetzt schon seit 3 Tagen...:wall:

Die Konfiguration:
Code: 
HP 452372-001 mit Original-FW 2.6

root@san-02:~# uname -a
SunOS san-02 5.11 omnios-df542ea i86pc i386 i86pc Solaris

root@san-02:~# prtconf | grep ib
    ib, instance #0
        rpcib, instance #0
        eibnx, instance #0
        rdsib, instance #0
        sdpib, instance #0
                ibport, instance #0
                ibport, instance #1

root@san-02:~# dladm show-ib
LINK         HCAGUID         PORTGUID        PORT STATE  PKEYS
ibp0         1A4BFFFF0C629C  1A4BFFFF0C629D  1    down   FFFF
ibp1         1A4BFFFF0C629C  1A4BFFFF0C629E  2    down   FFFF

root@san-02:~# dladm show-phys
ibp0         Infiniband           down       2000   unknown   ibp0
ibp1         Infiniband           down       2000   unknown   ibp1

root@san-02:~# cfgadm -x list_clients hca:1A4BFFFF0C629C
Ap_Id                          IB Client                 Alternate HCA
ib::1A4BFFFF0C629D,0,ipib      IBPART                    no
ib::sol_umad,0                 sol_umad                  no
ib::sol_uverbs,0               sol_uverbs                no
ib::sdpib,0                    sdpib                     no
ib::daplt,0                    daplt                     no
ib::rdsib,0                    RDS                       no
ib::1A4BFFFF0C629E,0,ipib      IPIB                      no
ib::1A4BFFFF0C629D,0,ipib      IPIB                      no
ib::rdsv3,0                    rdsv3_ib                  no
ib::iser,0                     iSER                      no
ib::eibnx,0                    EoIB Nexus                no
ib::rpcib,0                    nfs/ib                    no
-                              sol_ofs                   no
-                              ibmf                      no
-                              ibdm                      no
Auf der anderen Seite hängt ein ESX 5.5 ebenso mit einer HP 452372-001 mit Original-FW 2.6.
Den ESX hab ich mit geringen Abweichungen nach folgender Anleitung konfiguriert:
https://www.electronicinsanity.com/notes/infiniband/setup-infiniband-in-esx
Meine Abweichung: Ich habe http://www.mellanox.com/downloads/Drivers/MLNX-OFED-ESX-1.8.2.4-10EM-500.0.0.472560.zip anstatt http://www.mellanox.com/downloads/Drivers/MLNX-OFED-ESX-1.8.2.0.zip installiert. ...das könnte auch noch ein Fehler sein...

Auch nach Lektüre von Using InfiniBand Devices (Overview/Tasks) - Oracle Solaris Administration: Devices and File Systems komm ich einfach nicht weiter.

In freudiger Erwartung :hail:
effe
 
Upps, da ist mein Posting im falschen Thread gelandet. Der sollte zum ZFS-Stammtisch, falls sich dort jemand tummelt der Ahnung hat aber hier nicht liest...
Sorry...
 
Zuletzt bearbeitet:
effemmess schrieb:
Hallo Freunde der Geschwindigkeit,

ist hier jemand der mir mal behilflich sein kann, Infiniband auf meinem OmniOS zu konfigurieren? Ich probiere jetzt schon seit 3 Tagen...:wall:

Die Konfiguration:
Code: 
HP 452372-001 mit Original-FW 2.6

root@san-02:~# uname -a
SunOS san-02 5.11 omnios-df542ea i86pc i386 i86pc Solaris

root@san-02:~# prtconf | grep ib
    ib, instance #0
        rpcib, instance #0
        eibnx, instance #0
        rdsib, instance #0
        sdpib, instance #0
                ibport, instance #0
                ibport, instance #1

root@san-02:~# dladm show-ib
LINK         HCAGUID         PORTGUID        PORT STATE  PKEYS
ibp0         1A4BFFFF0C629C  1A4BFFFF0C629D  1    down   FFFF
ibp1         1A4BFFFF0C629C  1A4BFFFF0C629E  2    down   FFFF

root@san-02:~# dladm show-phys
ibp0         Infiniband           down       2000   unknown   ibp0
ibp1         Infiniband           down       2000   unknown   ibp1

root@san-02:~# cfgadm -x list_clients hca:1A4BFFFF0C629C
Ap_Id                          IB Client                 Alternate HCA
ib::1A4BFFFF0C629D,0,ipib      IBPART                    no
ib::sol_umad,0                 sol_umad                  no
ib::sol_uverbs,0               sol_uverbs                no
ib::sdpib,0                    sdpib                     no
ib::daplt,0                    daplt                     no
ib::rdsib,0                    RDS                       no
ib::1A4BFFFF0C629E,0,ipib      IPIB                      no
ib::1A4BFFFF0C629D,0,ipib      IPIB                      no
ib::rdsv3,0                    rdsv3_ib                  no
ib::iser,0                     iSER                      no
ib::eibnx,0                    EoIB Nexus                no
ib::rpcib,0                    nfs/ib                    no
-                              sol_ofs                   no
-                              ibmf                      no
-                              ibdm                      no
Auf der anderen Seite hängt ein ESX 5.5 ebenso mit einer HP 452372-001 mit Original-FW 2.6.
Den ESX hab ich mit geringen Abweichungen nach folgender Anleitung konfiguriert:
https://www.electronicinsanity.com/notes/infiniband/setup-infiniband-in-esx
Meine Abweichung: Ich habe http://www.mellanox.com/downloads/Drivers/MLNX-OFED-ESX-1.8.2.4-10EM-500.0.0.472560.zip anstatt http://www.mellanox.com/downloads/Drivers/MLNX-OFED-ESX-1.8.2.0.zip installiert. ...das könnte auch noch ein Fehler sein...

Auch nach Lektüre von Using InfiniBand Devices (Overview/Tasks) - Oracle Solaris Administration: Devices and File Systems komm ich einfach nicht weiter.

In freudiger Erwartung :hail:
effe
Zum Vergrößern anklicken....

was sagt:
dladm show-part

wenn keine vorhanden mit

dladm create-part -f -l ibp0 -P 0xFFFF pFFFF.ibp0
dladm create-part -f -l ibp1 -P 0xFFFF pFFFF.ibp1

je ein "IB partition link" für die Karten erstellen.

jetzt sollte dladm show-part die Konfiguration anzeigen.

Jetzt diesen "IB partition link" als Netzwerk-interface konfigurieren:

für pFFFF.ibp0

ipadm create-ip pFFFF.ibp0
ipadm create-addr -T static -a 1.1.1.1 pFFFF.ibp0/ipv4

was zeigt jetzt:
ipadm show-addr

Auf mindestens einem Rechner oder Switch muss ein Subnet Manager laufen. Bei OmniOS ist kein Softwarepaket verfügbar.
Bei einer direkten Verbindung von Rechner zu Rechner muss eben auf dem anderen Rechner der z.B. opensm laufen.
Der opensm wird nicht konfiguriert. Starten und gut.

Solange der opensm nicht läuft werden die Interface down sein und das Netzwerk kann nicht benutzt werden.
 
Danke startplus!
Ich war also doch auf dem richtigen Weg.
startplus schrieb:
Solange der opensm nicht läuft werden die Interface down sein und das Netzwerk kann nicht benutzt werden.
Zum Vergrößern anklicken....
Dass es nicht läuft ohne opensm wusste ich, aber dass die Ports als down angezeigt werden war mir so nicht bewusst...
Also konnte doch nur der ESX schuld sein... MLNX-OFED-ESX-1.8.2.4-10EM-500.0.0.472560.zip deinstalliert, MLNX-OFED-ESX-1.8.2.0.zip installiert --> und schon sah es besser aus!

Weiterhin war ein Mini-Strauchler der kleine Fehler auch in der Original-Oracle-Doku:
Es muss heißen:
Code: 
ipadm create-if pFFFF.ibp0
und nicht:
Code: 
ipadm create-ip pFFFF.ibp0

startplus schrieb:
Auf mindestens einem Rechner oder Switch muss ein Subnet Manager laufen. Bei OmniOS ist kein Softwarepaket verfügbar.
Zum Vergrößern anklicken....
Hmmm, das ist ja schon Mist... - ich wollte meine beiden OmniOS-SANs miteinander verbinden. Das geht wohl nu so nicht... :rolleyes:
Nun, soweit bin ich aber noch nicht. Die erste Verbindung zwischen ESX5.5 und dem ersten OmniOS steht. Die Verbindung zwischen dem zweiten OmniOS und demselben ESX zeigt momentan folgendes:
Code: 
root@san-03:~# dladm show-phys
LINK         MEDIA                STATE      SPEED  DUPLEX    DEVICE
ibp0         Infiniband           down       2000   unknown   ibp0
ibp1         Infiniband           down       2000   unknown   ibp1

root@san-03:~# dladm show-part
LINK         PKEY  OVER         STATE    FLAGS
pFFFF.ibp0   FFFF  ibp0         down     f---
pFFFF.ibp1   FFFF  ibp1         down     f---

root@san-03:~# ipadm show-addr
ADDROBJ           TYPE     STATE        ADDR
pFFFF.ibp0/ipv4   static   inaccessible 192.168.6.81/24
pFFFF.ibp1/ipv4   static   inaccessible 192.168.6.82/24
Kabel defekt? Oder kann der opensm auf dem ESX entgegen meinem "Lesewissen" doch nur eine Strecke bedienen?
 
Zuletzt bearbeitet:
Hat von euch schon jemand mal das hier ausprobiert?
In-Home-Streaming: Valve startet in die offene Beta-Phase

Wäre mal interessant einen Vergleich von 1GbE zu 10GbE zu sehen, ob sich das lohnt ;)
Ich könnte mir vorstellen, dass dieses Echtzeit-Streaming mit den hohen Datenraten davon gut profitieren könnte.
 
sda2 schrieb:
Hat von euch schon jemand mal das hier ausprobiert?
In-Home-Streaming: Valve startet in die offene Beta-Phase
Zum Vergrößern anklicken....

ja, wenn es denn mal startet, läufts eig super.

Wäre mal interessant einen Vergleich von 1GbE zu 10GbE zu sehen, ob sich das lohnt ;)
Ich könnte mir vorstellen, dass dieses Echtzeit-Streaming mit den hohen Datenraten davon gut profitieren könnte.
Zum Vergrößern anklicken....

Wenn man sich über so etwas Gedanken macht, würde ich ganz klar sagen: Anwendungszweck verfehlt.

In-Home-Streaming ist für "langsame" Geräte wie Notebooks, HTPC mit Onboard-Grafik und NUCs interessant. 10G-Adapter lassen sich dort größtenteils nicht einbauen. Und selbst wenn, wäre eine schnellere Grafikkarte die bessere Alternative.

Bevor du 10G benötigst, limitiert wahrscheinlich die (Rechen)-Leistung des Host- sowie Client-PCs
 
Zuletzt bearbeitet:
Naja, das war ja bloß eine Überlegung, da würde ich nicht von "Anwendungszweck verfehlt" reden.
Wenn wir Alles nur innerhalb der vorgesehen Spezifikationen betreiben würden, wäre Technik doch langweilig! ;)

In erster Linie glaube ich auch, dass es eher auf die En- & Decoding Leistung in den beteiligten Hosts ankommt, aber wissen kann ich das erst wenn ich's ausprobiert habe. Da so ein Test für mich kein finanzieller Aufwand ist, weil ich hier sowieso noch 10Gig Adapter und einiges an LWL liegen habe, werde ich das Inhome-Streaming einfach mal im Laufe dieser Woche testen und schauen ob 10GbE dafür taugt.

Ich melde mich wenn ich Ergebnisse habe ;)
 
Anmelden, um zu antworten.

Ähnliche Themen

D
[User-Review] Lesertest zum QNAP TS-432X und N300 HDDs
Antworten
3
Aufrufe
470
Ceiber3
Ceiber3
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh