[Sammelthread] 10Gbit Homenetzwerk

[S320E]

Hallo zusammen,

habe vor knapp einem Jahr dieses Thema komplett durchgelesen und war begeistert, ab dem hohen Informationsgehalt hier.
Möglicherweise würde ich die Antwort auf meine Frage in diesem Thema finden, aber ich hoffe Ihr verzeiht mir, wenn ich direkt die Frage stelle und nicht 1'500 Beiträge durchsuche.

Nun ist es bei mir auch endlich soweit, habe mir eine Intel X520 für den Storage und 2 Chelsio S320E-CR für die ESXi Hosts gekauft. Habe den Chelsio Treiber für ESXi von der Herstellerseite erfolgreich auf einem Host mit ESXi 5.1 installiert, die Karte wurde erkannt. Ich konnte jedoch keinen iSCSI Adapter hinzufügen. Der Menüpunkt im vSphere Client und auch im Web-Client war nicht aktiv. Da ich schon länger den Verdacht habe, dass meine Hosts etwas verbastelt sind, habe ich kurzerhand den einen Host mit ESXi 6.0 U2 neu aufgesetzt. Da kann ich den Treiber jedoch nicht mehr installieren. Oder besser gesagt, ich kann ihn per SSH installieren, beim Reboot bleibt der Host beim Laden des Treibers dann aber hängen.
Kennt jemand einen Treiber für die älteren Chelsio Karten der mit ESXi 6.0 läuft?

Edit: Falls das relevant ist, die Hosts sind Dell R210II mit Xeon E3-1220 V2 und 32GB RAM

 

[zenvy]

Hi,

ich bin grad auf der Suche nach einem Switch mit mind. 4 SFP+ und 24 1G Ports bis maximal 400€.
Da bleiben ja eigentlich nur der DLink DGS-1510-28X und der Dell X1052 übrig. Aktuell tendiere ich gerade zum DLink, da der laut Datenblatt nur max 25W zieht, der Dell aber bis zu 75W.
Gibts da noch andere Modelle die ich gerade übersehe oder sollte ich aus irgendwelchen Gründen den Dell bevorzugen? Die zusätzlichen 24 Ports bringen mir aktuell nichts und in Zukunft werde ich da auch wohl keine Verwendung für haben.

 

[pumuckel]

@zenvy .....

schon mal die letzten Seiten dieses Threads gelesen

evtl wäre dir dabei der TP-LINK T1700G-28TQ unter die Augen gekommen

... geschrieben von unterwegs (Handy)

 

[DunklerRabe]

Hat einer von euch gerade die Info parat welche 10G Karten WOL supporten? Laut Intel ist es bei meinen X540 schon mal nicht supportet. Und es geht sogar noch weiter:

10-Gigabit Ethernet adapters
Wake on LAN is not supported on Intel® Ethernet 10-gigabit adapters.

Und das Dokument hat den Stand vom 30.11.2016, ist also nicht mal veraltet...

 

[pumuckel]

Lenovo schreibt bei den 7ern

Wake on LAN support (WoL support is for ML2 and AnyFabric adapters only; first port only)

... geschrieben von unterwegs (Handy)

 

[Trambahner]

Wobei Onboard X540 das glaub ich können; nur bei den Slot-Karten nicht.
Das EPC612D4U-2TR8 kann WOL lt. Asrock Rack. Oder gehts da nur über die IPMI-Port?

 

[DunklerRabe]

Ja das würde ich dann annehmen. Sobald ich einen IPMI Port habe ist die WOL Überlegung ja eigentlich sowieso weitestgehend hinfällig, da könnte man ja remote Power On einfach scripten.

 

[Robocop1981]

hallo,
welche günstigen Lösungen gibt es zz. 2 Pcs direkt zuverbinden mit 10gbit
die Strecke ist ca 4m und dabei 1mal durch die Wand

in dem File-server werkelt ein adaptec raidcontroller mit 8x4tb platten im r6 ,dieser pc hat nur noch ein elektrischen pcie x4 slot frei (phsisch x16)
im haupt pc ne ganz normale samsung ssd(noch), ( pce x8 wäre frei )

auf beiden pcs läuft win 10 64bit .

hier auf den letzten beiden seiten ist die rede von mellonox karten+ kabel
SET 2x long Mellanox MNPA19-XTR 10GbE +3m Kabel 10Gbps Ethernet Bundle 10G 10Gb | eBay

laufen diese den einwandfrei ?? und was ist der unterschied zu den 10 euro günstigeren HP -Mellanox ConnectX 2 karten ?


der preis ist schon ganz ansprechend gibt es dennoch alternativen ?

 

[Trambahner]

Momentan gibts auf der Bucht OEM Intel X540-T2 für relativ kleines Geld von nem deutschen gewerblichen Händler mit Rechnung und Gewährleistung.
Hab erst überlegt, aber mir mal eine geordert. Na mal sehn, was ich bekomme.

Edit 12.01.17: Meine X540-T2 von der Bucht ist da (Versender war pünktlich, DHL hatte ein Packstationsproblem). Eingebaut im T20. Bis dato tadellose Funktion.
Rechnung mit Ust-Nr ist im Paket. ESXI erkennt sie, Link mit 10GB läuft.
Insofern: Daumen hoch.

 

[HellYeah1990]

N'Abend

gibt es alternativen zur Chelsio S320E-CR bezüglich Offloading? Der Stromverbrauch schreckt ab. Oder ist das von der Last abhängig?
Habe momentan zwei Mellanox Karten, hab meinen Storage jetzt aber auf M.2 aufgerüstet und seitdem brennt meine CPU

 

[sweetchuck]

Wie würde sich eine 10Gb-Karte verhalten, wenn man sie z.B. in einen x1-PCIe-Slot einbaut (mechanisch müßte es natürlich passen)? Regelt die dann einfach etwas runter oder läuft die gar nicht?

 

[besterino]

Das kommt wohl leider drauf an. Manche neueren Intel wollen angeblich zwingend x4 (entgegen der PCIe Spezifikation, dass alle Devices auch mit x1 laufen müssen). Eine meiner alten AT2 lief auch in einem elektrischen x1, allerdings dann teilweise <200MB/s Übertragungsraten.

 

[sweetchuck]

Das kommt wohl leider drauf an. Manche neueren Intel wollen angeblich zwingend x4 (entgegen der PCIe Spezifikation, dass alle Devices auch mit x1 laufen müssen). Eine meiner alten AT2 lief auch in einem elektrischen x1, allerdings dann teilweise <200MB/s Übertragungsraten.

Okay, besten Dank.

 

[Cookie1990]

So, redet hier schon jemand darüber dass Mainboards mit 5Gbit wohl endlich Thema werden? [1] [2]
300€ is für so gaming bling bling zwar noch immer zu viel, aber vielleicht bekommen wir bald ordenbtliche SuperMicro Boards für 200€ oder so mit nem 5Gbit Chip.

 

[Bzzz]

Ich sprech mal nur für AM4 - ASUS Prime X370-Pro, ASRock X370 Killer SLI und ASRock Fatal1ty X370 Gaming K4 sind von der Grundausstattung her vergleichbar (X370 mit offizieller ECC-Unterstützung) und kosten knapp über die Hälfte, d.h. 130-140€ weniger. Jaa, Gaming, Blingbling, OC, interessiert alles nicht, wer Gründe und Alleinstellungsmerkmale für das Professional Gaming sucht, wird sie finden. Mir wärs das nicht wert...von dem Geld lässt sich ne alte 10Gb/s-Karte kaufen und dann noch LANGE der Mehrverbrauch bezahlen. Und man hat eben den Sprung auf 10Gb/s und nicht den nächstgrößeren Flaschenhals.
5 Gb/s ist nur interessant, wenn sich der Aufpreis in Grenzen hält, d.h. <20%. Und das dürften weder die Kosten für den Chip hergeben, noch wird sich ein Boardhersteller den saftigen Aufpreis für dieses tolle neue Feature nehmen lassen. Also warten auf 10Gb/s...

 

[Cookie1990]

Jaa, die Preise sind noch ziemlich hoch, aber das geht der Erfahrung nach ja runter, es ging mir eher darum dass Geschwindigkeiten von mehr als 1Gbit/s jetzt Mainstream werden könnten, wenn der Markt es annimmt.
Damit gehen die Preise für den gesamten Markt runter.

 

[DunklerRabe]

Genau dafür war NBase-T ja auch gedacht um die Lücke zwischen 1 GbE und 10 GbE zu füllen, weil 10 GbE nach mittlerweile deutlich über 10 Jahren immer noch nicht so richtig den Sprung geschafft hat, obwohl der Bedarf nach Bandbreiten über 1 Gbit bei einigen Leuten, der früher ja fast garnicht da war, so langsam steigt, aber es immer noch zu oft an den Kosten scheitert. Spätestens wenn es darum geht einen passenden Switch zu finden, von >1 Gbit Desktop Switches, wie ihn die meisten brauchen, sind wir ja immer noch ein Stück entfernt.

 

[Trambahner]

Ich sehe für Supermicro ehrlichgesagt keinen Nutzen, extra Boards mit 5Gbit vorzusehen. Der Aufpreis 10Gbit für die Boards ist für professionelle Umgebungen eher umwichtig und der Enthusiastenmarkt für Server-/Workstationboards mutmaßlich zu klein für eine eigene Serie inkl. Entwicklung und Support. Die wahren Enthusiasten werden eh gleich auf 10Gbase-T oder SFP+ gehen.
Die Lage mit den Switches hat Rabe ja schon beschrieben, das ist für viele ein großes Hindernis.

 

[Bzzz]

Bin ja total dabei, dass die Preise nur mit breiterer Verfügbarkeit, insbesondere in Standardprodukten bekannter Consumer-Hersteller, fallen können und werden.

Aber: Hilft es 10Gb/s, wenn jetzt am unteren Ende noch 2,5 und 5Gb/s dazukommen, die in der Herstellung praktisch das gleiche kosten und dann preislich irgendwo reingeschoben werden müssen? Hilfts den Stückzahlen von 10Gb/s-Switchen, wenn jetzt noch jeder Hersteller drölf Modelle mit 2,5 und 5Gb/s dazuentwickelt und gar noch Porttypen mischt, um für drei gesparte Cent Zwischenmodelle für die "ach, ich brauch nur 3 Ports"-Kundschaft anbieten zu können? Und wie sehr beißt sich der Normalokunde in den Arsch, wenn sein toller (2,)5Gb/s-Switch schneller veraltet als die Garantie abläuft und er merkt, dass jede noch so gammlige SSD längst schneller ist als der neue Switch? Schaut in Geizhals rein, die kleinste SSD mit 1GB/s Lese- und Schreibrate, die auch jetzt schon 10Gb/s-Leitungen alleine dichtmachen kann, die kostet läppische 100€. Weniger als dazugehörige Standalone-Netzwerkkarten. Und praktisch jede Standard-SATA-SSD sprengt 5Gb/s, zumindest aber 2,5Gb/s. Letzteres machen ja schon manche USB-Sticks und die ersten SD-Karten mit der Transferrate sind auch schon angekündigt...

Ich seh nicht, wo NBASE-T noch ein sinnvoller Zwischenschritt sein könnte. Privat zieht man, wenn man wirklich SO alte Kabel hat, eben ein paar neue für 10Gb/s und darüber hinaus. Wer das braucht/will, der doktert nicht für quasi die gleichen Elektronikkosten mit Faktor 2,5 oder 5 rum, der will gleich x10. Switche ist für mich auch kein Argument, entweder es sind 2-3 Rechner die untereinander zu verbinden sind, dann brauchts keinen exorbitant teuren Switch, der sich dann auf den übrigen Ports langweilt, oder es sind tatsächlich 5-8 Rechner mit 10Gb/s, dann spielen die Switchkosten bei den Kosten für die NICs auch keine so herausragende Rolle mehr. "Prosumer" oder "Enthusiast" wäre dafür dann die richtige Bezeichnung, das zu sein ist immer ein bisschen teurer.
Geschäftlich hat man entweder längst 10Gb/s+ an den wichtigen Ecken im Einsatz, oder man braucht für nen Client gar nicht mehr als Gigabit. Die Fälle, wo man wirklich alte Kabel hat und ein Quäntchen mehr als Gigabit bräuchte, aber die nächsten 5 Jahre garantiert nicht auf 10Gb/s hoch muss (und nochmal alle Netzwerkelektronik durchmigriert), die dürften echt überschaubar sein. NBASE möge doch bitte sterben bevor es überhaupt Verbreitung findet und gleich den Weg für 10GBASE im gehobenen Segment freimachen.

 

[Trambahner]

So schauts aus. Und wenn man an NVMe und Flashonly-Raids denkt, beides durchaus bezahlbar mittlerweile, dann ist 10Gb eh schon wieder Flaschenhals. Sofern die Clients das ausnutzen können natürlich.

 

[DunklerRabe]

Bzzz, ich glaube du schätzt da die Lage vieler potenziellen Kunden für 2,5 und 5 Gbit falsch ein. Es gibt immer mehr Leute denen 1 Gbit zu wenig ist, 10 Gbit aber mehr als "nötig" ist, vorallem wenn da vergleichsweise hohe Kosten dranhängen. Es geht ja gar nicht darum die volle Bandbreite einer internen SSD auch übers Netz zu schieben. Wer kopiert denn von einer SSD übers Netz auf eine weitere? Klar, gibt es sicher auch, aber viel häufiger wird es doch sowas sein wie von lokaler SSD/HDD, ggf. auch mehrere, übers Netz auf das NAS mit mehreren HDDs. Sowohl für Consumer, als auch semiprofessionelle Anwender, erhalten dann durch 2,5 oder 5 Gbit einen deutlichen Komfortvorteil. Ich denke schon, dass es dafür Abnehmer gibt, sobald das Angebot stimmt und Switche existieren. Direktverbindungen sind ja auch für viele keine Option, weil das geswitchte Netz viel komfortabler ist und alles weitere vielleicht sogar über ihre Fähigkeiten hinausgeht.

Ich sehe NBase-T nicht nur als Lückenfüller, sondern als parallele Technik. Enthusiasten mit Bedarf von Bandbreiten über 1 Gbit verkauft man seit Ewigkeiten 10GBase-T und -SR Hardware, die allen anderen vom Handling und von den Kosten her aber nicht gefällt. Den Leuten kann man dann stattdessen, wenn die Mengen irgendwann stimmen, vielleicht 2,5 Gbit als Standard verkaufen. Ein großer Vorteile wäre es, wenn dann die Mainboardhersteller 2,5 Gbit Chips als Standard verbauen oder Intel und AMD es in den Chipsatz einbauen.

 

[linuxlebt]

Das ganze 2,5 und 5 Gbit-Zeug ist halt nicht für Rechner gedacht, sondern eher für Accesspoints und so. Dieses schaffen nämlich mittlweile auch mal mehr als 1 GBit, brauchen aber POE und das gibts bei 10G eben nicht.
Wenns mehr als 1G und vor allem billig sein soll, dann wie schon angesprochen entweder günstige 10G-Karten kaufen und direkt verbinden oder eben gebrauchte 4 x 1G-Karten + LACP-fähigen Switch organisieren.

Und: wenns privat für NVMe-Aufbauten reicht (und die irgendwie genutzt werden), dann ist auch 10G-Equipment nicht so unerschwinglich...

 

[besterino]

Mit einer 10Gbit Infrastruktur könnte man halt theoretisch ein zentrales, schnelles und zugleich sicheres Storage auch für Anwendungsplatz bauen, so dass man eigentlich nur eine kleine Flotte SSD für das OS bräuchte.

Wollte ich bei mir machen, hatte also Office, Spiele etc. auf iSCSI LUNs, die selbst auf einem 4er SSD Raid0 lagen, was nachts über Server-interne Replikation auf einen langsamen Raid5 HDD-Pool gesichert wurde (falls also eine SSD abhimmelt, irgendwo eine Ransomware zuschlägt oder ein Familienmitglied zu experimentierfreudig wird, muss man nicht alles neu installieren) ... was auch alles schnell (genug) war aber der Switch ist einfach zu laut...

Klar, kein must have, auch ist iSCSI nicht ideal - aber manche Windows-Anwendungen mögen es nicht, wenn sie auf SMB2 Shares liegen und smb3 kann Solaris (noch) nicht.

 

[Trambahner]

Ich hab meinem XS708E die 40mm-"Schreihälse" ausgebaut und belüufte das Ding mit 140mm.

 

[Bzzz]

Bzzz, ich glaube du schätzt da die Lage vieler potenziellen Kunden für 2,5 und 5 Gbit falsch ein. Es gibt immer mehr Leute denen 1 Gbit zu wenig ist, 10 Gbit aber mehr als "nötig" ist, vorallem wenn da vergleichsweise hohe Kosten dranhängen.

Das ist doch genau der Punkt Wieviel billiger kann NBASE-T gegenüber 10GBASE-T überhaupt sein? Und wärs nicht für alle günstiger und besser, wenn man sich auf 10GBASE konzentriert? Von mir aus auch, wie linuxlebt richtig einwirft, mit Fallback auf die kleineren Geschwindigkeiten, dafür aber aktivem PoE. Irgendwer wird das sicher implementieren und irgendwer wirds bestimmt einsetzen. Bisher ist mir nicht klar, wo an NBASE-Hardware massiv gespart werden kann, also wo der Preisvorteil herkommen soll. (Mal von der technischen Lächerlichkeit abgesehen, dass wir hier 10 Jahre nach Gigabit-Einführung drüber diskutieren, obs nicht auch 2,5Gb/s als nächste Ausbaustufe tun. Welche Technik von vor zehn Jahren setzt man denn heute noch genauso ein und hat in Consumermarkt keinen Nachfolger gefunden? Als wär man heute froh, wenn man für viel Aufpreis vereinzelt Boards mit USB 2.5 erwerben könnte, die 1000 Mbit schaffen würden)

Es geht ja gar nicht darum die volle Bandbreite einer internen SSD auch übers Netz zu schieben. Wer kopiert denn von einer SSD übers Netz auf eine weitere? Klar, gibt es sicher auch, aber viel häufiger wird es doch sowas sein wie von lokaler SSD/HDD, ggf. auch mehrere, übers Netz auf das NAS mit mehreren HDDs.

Mach ich doch auch, ich hab in der Gegenstelle 8 Platten im RAIDZ2, effektiv nehmen also 6 Platten parallel Daten entgegen. Die kommen ebenfalls auf Transferraten, die bereits wieder von 5Gb/s-Verbindungen gebremst werden. 8 Platten plus Controller plus entsprechendes Gehäuse kosten aber auch ne Ecke mehr als ein Rechner mit ner kleinen M2 drauf. Kunststück, dass teure Systeme erst recht mehr Leistung bringen können. Das Argument ist aber: Ein für 300€ hingeschissenes System mit ner entsprechenden M2 sprengt bereits 10Gb/s. Warum sollte man da überhaupt 2,5 und 5 Gb/s in Betracht ziehen?

Das hat für mich son bisschen was von ner Heimnetz-Aufrüstung von nem frühen 1x1-n-WLAN auf 3x3n, bei denen alle WLAN-Karten ausgetauscht werden, um dann statt 150 theoretischen Mbit halt 450 zu haben. Weil einem die 50€ Aufpreis für den ac-AP und den entsprechenden Router dann zuviel sind und man noch an seinem drögen 100Mbit-Hub zwischen Keller und Dachboden hängt. Ja, kann man machen, reicht wieder für ne kurze Weile, aber ultimativ isses ne Menge Schotter für ne halb gelöste Handbremse. Nimm ac und zieh ne neue Gigabit-Strippe durchs Haus, hätteste mehr von und den ganzen Aufriss nur 1x statt 2x in kleinen Häppchen, aber doppelten Kosten. Kann ich einfach nicht empfehlen, sorry...wers will, solls machen, aber ich würd mir das nicht geben.

 

[pumuckel]

die chips für die NBaseT sind doch imho die 10GBase Chips etwas gedrosselt (bisher sah ich einen neuen, der wohl den MB manus als soldier-on angeboten wird - kost aber auch Retail ca 80-100€ mehr, ob der auf dem Tehuti 5-Speed 10G/5G/2.5G/1G/100M Base-T single chip MAC Tehuti Networks basiert kan ich nicht sagen)

wenn ich da 2 "alte" HP/Mellanox SFP+ gegenrechne komm ich günstiger (auch bei 4-16) - Ausnahme bei "Hausverkabelung per Cat 6a+" ... da gibts aber die X540/x550

 

[MSN]

Hi!

Ich hab mir 2 Mellanox ConnectX-2 EN Karten besorgt um meinen Microserver Gen 8(Xeon E3-1225V2) mit meinem Backup Server(i7-2700) zu verbinden. Auf beiden Läuft ubuntu 16.04.

Iperf ist auch zufrieden damit:

root@odin$ iperf -c 10.0.0.12
------------------------------------------------------------
Client connecting to 10.0.0.12, TCP port 5001
TCP window size:  325 KByte (default)
------------------------------------------------------------
[  3] local 10.0.0.11 port 59028 connected with 10.0.0.12 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  11.5 GBytes  9.89 Gbits/sec

Wenn ich aber Daten kopiere (zum testen von einer Ramdisk auf die andere) komme ich gerademal auf 200MB/s:

root@odin$ scp /mnt/largeFile marc@10.0.0.12:/mnt
marc@10.0.0.12's password:
largeFile                                                            86% 6904MB 192.4MB/s   00:05 ETA

Backup Server:

enp1s0    Link encap:Ethernet  HWaddr 00:02:c9:4d:a3:12
          inet addr:10.0.0.12  Bcast:10.0.0.255  Mask:255.255.255.0
          inet6 addr: fe80::202:c9ff:fe4d:a312/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:9000  Metric:1

Gen8:

ens1      Link encap:Ethernet  HWaddr 00:02:c9:4f:98:14
          inet addr:10.0.0.11  Bcast:10.0.0.255  Mask:255.255.255.0
          inet6 addr: fe80::202:c9ff:fe4f:9814/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:9000  Metric:1

Hat jemand eine Idee warum das so langsam ist?

Gruß,

Marc

 

[Sannyboy111985]

Würde auf scp tippen, da die Daten verschlüsselt und entschlüsselt werden müssen.CPU Auslastung beim kopieren anschauen!

Versuch mal smb/nfs/ftp, sollte schneller sein.

 

[besterino]

Was hast Du denn für ein Storage rechts und links? Jumbo Frames enabled?

 

[katzenhai]

die chips für die NBaseT sind doch imho die 10GBase Chips etwas gedrosselt

Der Chip, konkret der MAC, schon, aber der wichtigere Teil der Netzwerkkarte, der PHY ist ein anderer.