[Sammelthread] 10Gbit Homenetzwerk

[jumas]

Ich kann immer nur noch mal betonen, dass bei mir praktisch keine CPU Last entsteht mit den einfachen Voltaire Karten für 30 Euro von ITSCO.
An einer Erklärung bin ich nach wie vor interessiert, an den Karten alleine kann es wohl nicht liegen.

Meine sind auch von Itsco, Treiber sind gleichen wie bei Dir.

Ich weiss aber nicht welche Hardware Du sonst hast. Bei mir...siehe Sig!

 

[dako]

Ich kann immer nur noch mal betonen, dass bei mir praktisch keine CPU Last entsteht mit den einfachen Voltaire Karten für 30 Euro von ITSCO.

Jupp, hab die gleichen Karten.

An einer Erklärung bin ich nach wie vor interessiert, an den Karten alleine kann es wohl nicht liegen.

Virenscanner/Firewall kann ich ausschließen. Eventuell die Einstellungen des Treibers? Was hast du da geändert?

Ich hab Treiberversion 2.3.0.3041

Einstellungen auf beiden rechnern identisch:

Connect mode an
connect mode mtu 65520

Alles andere so gelassen, wie es war. Die Einstellungen die ich durchprobiert hab haben es entweder langsamer gemacht, keinen Einfluss gehabt oder die Verbindung abbrechen lassen.

 

[XTaZY]

Vllt. wären noch einige BIOS-Einstellungen interessant ...

Könnte mir gut vorstellen dass es hier auch noch etwas zu beachten gibt.

 

[dako]

Kann ich eigentlich irgendwie überprüfen, in welchem modus mein PCI-E ist? Bei Grafikkarten gibts ja zig möglichkeiten, aber bei beliebigen Karten?

 

[DunklerRabe]

Jop, Treiber 2.3.0.3041, Connected Mode an, MTU 65520. Ich hab sonst auch keine Einstellungen angefasst, alles Standard.

Mein Hauptrechner hat ein Gigabyte 990FXA-UD5 mit nem Phenom II X4 955, der Server ein Tyan S7002 mit zwei Xeon L5630.
Storagemäßig steckt ein LSI 3ware 9750-8i in meinem Rechner und ein 9750-4i mit HP SAS Expander im Server.
Im Rechner sind 8x 1.5 TB 5400 rpm im Raid 5, im Server 16x 1.5 TB 7200 rpm im Raid 50.
In beiden Systemen haben die HCAs eine x4 Anbindung.

 

[dako]

Ok, langsam wirds, bin bei knapp unter 400mb/s. CPU Last auf einem Core allerdings weiterhin um zwischen 95 und 100%.

Den größten Sprung hat das deaktivieren vom QoS-Paketplaner gebracht,

 

[Schlingel_INV]

hmm den werd ich morgen auch nochmal überprüfen. wer mit windows 7 boardmitteln kopiert sollte den mediaservice ausschalten, da sonst nur 1Gbit zugelassen werden

 

[DunklerRabe]

QoS hab ich nicht deaktiviert und was der WIndows 7 Mediaservice sein soll wüsste ich grade nicht mal. Wissentlich deaktiviert hab ich den nicht, trotzdem kommt ich auf 380 MB/s. Das ist die Grenze des Raid 5 in meinem Hauptrechner.
Alles sehr mysteriös...

 

[dako]

[...] trotzdem kommt ich auf 380 MB/s. Das ist die Grenze des Raid 5 in meinem Hauptrechner.

Bist du dir da sicher? Denn meine Kombi regelt jetzt auch ziemlich genau bei 380mb/s ab, allerdings hab ich zum Testen einfach eine RAM Disk genommen, deren limit bei 6000mb/s liegt.
Von daher: Teste doch einfach mal von einer RAM Disk aus, dann weißt du sicher, was da letztendlich die Grenze ist.

 

[jumas]

Nur zur Info:

Bei mir läuft der Subnet Manager auf dem Server (WHS 2011). Dort hab ich auch die größte Last. Ist aber auch nur ein Athlon II 620.
Am Hauptrechner hab ich auch fast keine Last. Ist aber auch ein i7.

 

[DunklerRabe]

@dako: Ich bin mir da eigentlich schon sicher, vielleicht ist es ein Zufall. Ich werds am Wochenende mal ausprobieren.

 

[twister988]

Hallo zusammen.

Ich habe mich hier extra registriert, um diesem Thread, den ich sehr interessiert verfolge, beizuwohnen.

Ich bin der Ralph, 23 Jahre alt und angehender Fachinformatiker Fachrichtung Systemintegration.
Da ich mich sehr für das Thema Virtualisierung, Storage und seit neustem auch ZFS interessiere, spiele ich mit dem Gedanken, mein Heimnetzwerk ein wenig "auszubauen".

Zur Zeit habe ich nur einen "Server", bestehend aus:
- AMD Athlon II 240 (2x 2,8GHz) Prozessor
- 3 GB DDR2 RAM
- 120 GB Notebook-Festplatte (darauf installiert ist meine derzeitige Virtualisierungsplattform Proxmox VE)
- 1,5 TB WD Green Festplatte (in Proxmox als LVM konfiguriert und an den "Storage-Server", basierend auf Ubuntu 10.04 LTS durchgereicht)

Auf dem Server laufen (mehr schlecht als recht) zur Zeit 4 VM´s:
- Firewall (Astaro Security Gateway v8), 1GB RAM
- Storage (Ubuntu 10.04 LTS), 1GB RAM
- DNS/DHCP (Ubuntu 10.04 LTS), 256 MB RAM
- VoIP Testserver (nicht aktiv im Einsatz, er läuft aber), 256MB RAM

Was ich gerne machen würde ist folgendes:

Neuer VMHost, bestehend aus:
- AMD Phenom II X6
- passendes Mainboard
- 16GB RAM

Den alten VMHost zum Storage umbauen
- neues Mainboard
- 16GB RAM
- 6x 2TB WD Green HDD´s (RaidZ1)
- Solaris oder FreeBSD wegen ZFS

Die beiden Maschinen würde ich dann mit Infiniband vernetzen wollen, die virtuellen Maschinen sollen auf dem Storage liegen und per iSCSI an den VMHost angebunden sein.
Quasi nur Proxmox auf dem VMHost installiert, die VM´s liegen alle im Storage-Server.

Dazu habe ich ein paar Fragen:
1. Ist das mit der vorhandenen Hardware umsetzbar, oder steigt mir der kleine AMD DualCore da rechentechnisch bei ZFS aus?
2. Werde ich SSDs als Schreib-/Lesecache in diesem Szenario benötigen oder ist das nur "nice to have"?
3. Welche Übertragungsraten werden umsetzbar sein? Mir geht es nur um die Anbindung Storage<->VM-Server. Die Anbindung meiner Clients ist auf maximal GBit begrenzt.
4. oder soll ich den DualCore AMD als Backup-Server umbauen und einen QuadCore CPU für den Storage-Server nehmen?

Ich hoffe, ihr könnt mir helfen!

Vielen Dank im Voraus.
Ralph

 

[ulukay]

kaum frickelt mal einer an Infiniband rum, setzt ein Infinibandboom im Forum ein

 

[twister988]

kaum frickelt mal einer an Infiniband rum, setzt ein Infinibandboom im Forum ein

Ich denke, dass es zu so einem unschlagbaren Preis der Hardware einfach keine ebenbürtige Alternative gibt

 

[dako]

Hmmmm, hier mal zwei Messungen:

Mein Server via Lan einmal über 1GBit (Intel NICs und Switch dazwischen) und einmal über das Infiniband.

Die 4Kqd32 Werte brechen ja über die Infinibandverbindung massiv ein ... wohingegen die Werte fürs sequentielle Lesen/Schreiben und die 512k Werte wie erwartet deutlich profitieren.

 

[Schlingel_INV]

@twister: ich würds erstmal mit der hardware versuchen. wenn wirklich die cpu-last zu hoch wird (und es tatsächlich am openSM liegt) würde ich eben jenen auf den anderen rechner packen oder ggf. die cpu upgraden

@€dit: also QoS an oder aus bringt nix. oben "aus" - unten "an" (jeweils bei beiden systemen). die CPU-last ist ebenfalls auf beiden systemen 100% (1 kern). es liegt also nicht am opensm sondern wenn denn am bench.

 

[underclocker2k4]

http://www.hardwareluxx.de/community/attachment.php?attachmentid=163655&stc=1&d=1318166411

IPoIB mit nem 1,6GHz C2D.

Wer also beabsichtigt sowas auf low Power HW einzusetzen, erreicht nichtmal 1000mbit Ethernet.

 

[Schlingel_INV]

netio als neuer cpu-bench?

 

[underclocker2k4]

So, grundlegende Funktion zwischen 3 Rechnern ist da.

Es gibt da aber ein kleines Problem.

Server1 hat 2x IB HCAs
Server2 hat 1x IB HCA
Server3 hat 1x IB HCA

Ich kann von Server 2 und 3 jeweils getrennt auf Server1 zugreifen und anders rum.
Wenn ich aber im Server 1 die beiden Verbindungen Brücken möchte, dann ist Server 1 nicht mehr erreichbar und es besteht auch keine Möglichkeit von Server2 auf Server3 zu connecten, da wird irgendwas nicht weitergeleitet.

Hat jemand so eine Lösung da, bzw kann sowas nachbauen?

Nächstes Thema, der Subnetmanager, kann wohl auch nur eine IB Karte verwalten.
Sprich, wenn man ne 2. Karte drin hat, dann bekommt die keine Verbindung.
Man muß also, wie in dem Fall oben, auf den dezentralen Maschinen den SM laufen lassen, dann kommt auch eine Connection.

 

[Pyrphoros]

@twister988
Ich habe selbst mal Solaris mit ZFS auf einem alten Athlon X2 (2x 2 GHz) betrieben und die Performance hat gestimmt.

 

[dako]

Wer also beabsichtigt sowas auf low Power HW einzusetzen, erreicht nichtmal 1000mbit Ethernet.

Welche Karten hast du?

 

[underclocker2k4]

Voltaire HCAs.

 

[GlassFin]

Hi

Was die wohl kosten und wo man die herbekommt?

Top-Aktuelle Mellanox Hardware - Karten und Switches mit 40 und 56 GBit - gibt es z.B. hier: Mellanox Infiniband - Mellanox ConnectX - InfiniBand plus 10G Ethernet - Infiniband Media Converter MIA DDR

Gruss

 

[dako]

Voltaire HCAs.

Wobei diese Cisco Karte von servershop24 wie auch die Voltaire ebenfalls verdächtig den speicherlosen Infinihost III Vertretern ähnlich sieht, was ähnliche Performance Einschränkungen vermuten läßt.

Und alles andere an Karten liegt dann doch bei 80+ Euro, was ich nicht auf gut Glück (2mal) ausgeben will.

 

[underclocker2k4]

Auf die Performance kommt es mir nicht an, also nicht direkt, und das Teil auf nem 1,6GHz CPU rumeiern lassen ist auch nicht das, was ich unter einer Serveranwendung verstehe.

Mein Problem liegt aktuell bei der Umsetzung eines "IB-Switchs", hat da schon jemand Erfahrungen mit sammeln können?

 

[jumas]

Hi


Top-Aktuelle Mellanox Hardware - Karten und Switches mit 40 und 56 GBit - gibt es z.B. hier: Mellanox Infiniband - Mellanox ConnectX - InfiniBand plus 10G Ethernet - Infiniband Media Converter MIA DDR

Gruss

Na das ist nicht meine Preisklasse, da rüst ich lieber den Server auf.
Obwohl ich eigendlich schon recht zufrieden bin.

 

[dv2130n]

...Mein Problem liegt aktuell bei der Umsetzung eines "IB-Switchs", ...

wie meinst du das? wieviele Teilnehmer an diesem Netz soll es denn geben?
was die Leute bisher hier gemacht haben, ist ja quasi eine art peer-topologie (ohne switch) umzusetzen, allerdings nur mit 2 Teilnehmern, weil jeder der teilnehmer "nur" eine (IB-)netzwerkkarte hat

allgemein scheint sich die Diskussion auch ein wenig verschoben zu haben
von einem allgemeinen Datennetz mit großem querschnitt (10Gbit) zu Techniken, die für speichernetzwerke gedacht sind (zb. infiniband)
in beiden Fällen wären aber switche zentraler Bestandteil und im Grunde A und O der Sache

man sollte sich auch nochmal die Frage stellen, was für einen Zweck die hohe Bandbreite haben soll
ein solcher Zweck wäre zb. streaming von content; hd streaming verlangt bis zu ca. 30 Mbps;
das bedeutet, dass über geswitchtes Gbit lan jedenfalls einige hd streams kollisionsfrei zu übertragen sind
hat man im Netzwerk einige clients zu versorgen, können dennoch zwischen server und switch engpässe auftreten
dieses Problem lässt sich aber mit konventioneller ethernet technik durch teaming mehrerer nics erschlagen
viele boards bringen schon zwei teaming-fähige nics mit,
was aber allerhöchstens fällig wird ist eine quad gigabit karte zu etwa 300 bis 350eur
ich glaube, dass man damit noch für eine sehr lange Zeit allgemeine Datenübertragungsaufgaben sehr komfortabel gelöst hat
(wenn man sich mal ansieht, wie stiefmütterlich HD-Content hierzulande behandelt hat, bekommt man eine Ahnung darüber, was ich meine)

eine anderer, speziellerer Zweck sind Sicherungsaufgaben
einen fetten fileserver über die Gbit-Leitungen des allgemeinen home networks zu sichern, ist nicht spaßig und verstopft die Leitungen auch für andere Zwecke,
hier wäre eine wesentlich dickere Leitung sehr wünschenswert, entweder als allgemeines daten-netzwerk wie 10Gbit Ethernet oder als eigenes speichernetzwerk wie infiniband
10Gbit Ethernet switche sind unbezahlbar, infiniband switche aber eigentlich auch,
das billigste, was ich an ib switch gesehen hab, war ein gerät zu 900eur bei hamburg.net und das ist bloß ein 8-port gerät

für meine Anwendung sehe ich jedenfalls nicht den bedarf zu einem im vollen Wortsinn "Speichernetzwerk", das quasi parallel zum allgemeinen Datennetzwerk besteht
der einzige Zweck für eine so hohe Bandbreite wäre in meinem Fall die komfortable Serversicherung (die 5 clients werden übrigens inkrementell
zwischengesichert auf diesen server über das normale gigabit datennetz)
dafür braucht es aber kein ganzes speichernetzwerk in infiniband (oder gar fc), sondern nur eine dezidierte Sicherungsstrecke mit großem querschnitt von Server zum Sicherungsgerät
wenn ich richtig sehe, ist es ja auch genau das, was bisher die Leute hier umgesetzt haben mit ihren infiniband-lösungen

daher, underclocker2k4, wenn du lust hast, könntest du vielleicht mal deine Anwendung für dieses IB-switch-vorhaben skizzieren

ich kann den enthusiasmus für diese bandbreiten/datenraten gut nachvollziehen,
aber weil die switche für diese Techniken das Problem sind, bin ich selbst eigentlich von der Sache abgekommen
und die einfache Datensicherungsstrecke mit zwei (wohl älteren) ib-karten scheint ja auch nicht so ganz flawless zu sein
(stichwort cpu-last, eine eigentlich total kontraproduktive Sache, die daher Intel seinen konventionellen ethernet-nics schonmal rigoros ausgetrieben hat)

solange es keine bezahlbaren breitbandigen switche gibt, werde ich es bei der geschilderten dezidierten sicherungsstrecke belassen wollen,
ich werde dazu aber auf etwas ganz anderes und sehr simples setzen (ich mag die einfachen dinge), nämlich Intel Light Peak / Thunderbolt,
das fängt bei 10Gbit an und skaliert dem Potential nach bis hinauf zu 100Gbit
mir würde es langen, wenn hoffentlich nächstes Jahr die 10Gbit Karten erhältlich wären ... (ohne hier das Thema speichernetzwerk-technik verwässern zu wollen)

 

[underclocker2k4]

Ich habe 3 Server hier.

1x Fileserver
1x Backupfiler
1x fileserver 24/7 "NAS"

Es geht mir halt darum, dass ich zwischen allen 3 Rechnern direkt Daten schupsen kann.

Mir ist durchaus klar, dass es hier zu meist um eine p2p Verbindung geht, um eben schneller auf den Filer zuzugreifen, aber warum nicht weiterdenken?

Mit normalen NICs ist das kein Thema, da kannst du den Rechner mit NICs vollstopfen, kannst die bridgen und dann hast du ein "switch".

Aber genau diese Funktion läßt sich nicht nutzen, bzw funktioniert nicht.

Wenn man also will, könnte man das als paralleles Netz ansehen.
(Das eigentliche switched ethernet ist aber noch größer.)

Es geht mir also darum ein performantes Netz zu bauen, was eben dediziert in der Lage ist, mal größere Datenmengen in kürzerer Zeit zu schupsen.

Ich hoffe das ist anhand des Textes verständlich.

Über IB Switche brauchen wir nicht reden, die sind preistechnisch nicht im Rahmen.

 

[Schlingel_INV]

schön geschrieben des ist halt auch meine überlegung. wenn ich für meine raids auf nem weiteren "externen" raid nen backup fahren möchte, so dauert das mit gigabit einfach zu lange. die erste lösung war mittels externen sas den platz zu erweitern. die nächste geschichte wird nen rechner mit sicherungsraid und IB sein. dafür ist IB top geeignet (im falle der "crossover"-version).


@underclocker: schonmal probiert ob ne netzwerkbrücke zwischen NIC und IB funktioniert? sprich rechner über gigabit greift auf den rechner mit brücke zu und wird hierdurch auf nen weiteren rechner (angebunden über IB) weitergeleitet? vielleicht funktioniert ja im ersten schritt diese version.

[...]

 

[Steggi]

Ich meld mich jetzt hier auch mal zu Wort Lese hier ja schon eine Weile mit und so langsam spiele ich auch mit dem Gedanken, die eine oder andere Kiste mit IB auszustatten, wenn ich gegen Jahresende eh den ein paar der Server austausche/umrüste.

Hat von euch eigentlich schon jemand versucht, damit ein NFS oder iSCSI Storage an nen ESXi zu hängen. Würd mich jetzt mal interessieren wie das mit der Treiberunterstützung beim ESXi aussieht.

10Gbit Ethernet switche sind unbezahlbar, infiniband switche aber eigentlich auch,
das billigste, was ich an ib switch gesehen hab, war ein gerät zu 900eur bei hamburg.net und das ist bloß ein 8-port gerät

Joa, wobei ich gerade mal einen Blick in die Bucht geworfen hab, und da auch schon der ein oder andere Switch günstiger zu bekommen ist. Allerdings sind die dann meist für Bladecenter. Oder falls der was taugt --> Topspin 120 InfiniBand Switch 24-Port 10Gbps 99-00015 | eBay