[Sammelthread] 10Gbit Homenetzwerk

[GamingWiidesire]

@Swp2000 Jein, für den C100C Adapter musste die updatedata.xml anpassen:

Aquantia AQC10x firmware update

I am fully updated, FW and Driver, but my upload speeds are severely limited. I have a 10Gig link between my desktop and my NAS. Gigabit service from Verizon Fios. My upload speeds peak at .5 to .6 Mbps. My local copies from my machine to my NAS are also severely limited, upload speeds to...

www.snbforums.com

 

[2Stoned]

In dem Thread steht das Tool würde sagen, es könne die Karte nicht updaten. Ich glaube aber, dass das Tool bei mir sagte, ich hätte schon die neuste Firmware.

 

[thb]

Nach der Anpassung der xml Datei findet das Flashupdate auch die ASUS Karte.

 

[JohnnyBGoode]

Morgen kann ich ein System, bei dem meine allererste Karte verbaut ist (neu, von Mindfactory 2018, also zu 99 % "echt") mal abschalten, dann mache ich saubere Fotos von beiden Seiten des PCBs, dann sollte man zumindest nicht so ganz sorgfältig fabrizierte Fälschungen anhand von Bestückungsunterschieden der Platine ausmachen können.

@Firebl
Hier die Fotos - ich hoffe die Handykamera-Qualität ist ausreichend, zum Vermeiden von Lampenreflexionen leider mit etwas perspektivischer Verzerrung aufgenommen.

Man kann bei dem eBay-Hongkong-Angebot doch ein paar Unterschiede neben dem offensichtlich fehlenden Hologramm-Aufkleber ausmachen.

 

[Firebl]

Danke, ja das sieht dann doch anders aus. Ich habe meine X550T2 auch bei MF gekauft für 350Eur sogar als Retail. Genau auf den misst mit den Fälschungen habe ich auch keine lust. Lustiger weise habe ich auf der Arbeit auch zwei X550T2, welche von Bechtle oder Abacon ohne Hologram und genauso mit "angepasstem" Layout kamen. Du bist also nirgends sicher :P

Gut, da ich die 40G sowieso nicht brauche und diese dann unnötig teuer wäre Neu. Lasse ich wohl doch die X550T2 im Server. Für den Tüdel-Server reicht auch eine single-NIC. Die X540T1 gibts bei Alternate für 165Euronen. Wie sieht es ansonsten bei den Mellanox SFP+ Karten aus bzgl Stromverbrauch und Wärme? Von der kompatibilität (DELL T330, Windows2016) sollten die ja mittlerweile auch kein problem sein.

 

[Badrig]

Hab es eben auf zweien gemacht, problemlos

 

[2Stoned]

Hat bei mir auch funktioniert auf nem AMD System.

If you edit the updatedata.xml file that comes with the Marvell firmware and add a line that matches the info displayed for your card (when you ran atlflashupdate),

Ist vielleicht die relevante Stelle für dich. Du kannst nicht einfach das aus dem Post kopieren!

 

[2Stoned]

      <pciid vid="1d6a" did="d107" sdid="8741" svid="1043" />

Musst du hinzufügen, aber die Nummer bei did muss deiner Device-ID entsprechen, die dir atlfashupdate anzeigt.

 

[Weltherrscher]

Was es nicht alles gibt...
Mellanox ConnectX3 (MCX341) Mezzanine-Board mit PCIe-Adapter.
20 € billiger als die reinen PCIe-Versionen.

 

[myBerg]

Was es nicht alles gibt...
Mellanox ConnectX3 (MCX341) Mezzanine-Board mit PCIe-Adapter.
20 € billiger als die reinen PCIe-Versionen.

Leider meistens die MCX341A-XCEN (PSID MT_1270112023). Dafür gibt es nur die 2.31.1598, welche nicht offiziell unter ESX 6.7 unterstützt wird. Für sachdienliche Hinweise, wie man die auf 2.42.5000 gepatcht kriegt, wäre ich sehr dankbar. Firmware: https://www.mellanox.com/support/firmware/connectx3en .

Ich hatte mir die Karte ohne Adapter für den Mezzanine-Slot in meinem Asus KRPA-U16 gekauft, aber die wollen einfach nicht. Bei allen Karten die ich habe, funktioniert irgendwas mit arp nicht. Jedenfalls taucht die IP der Karte einfach nicht im arp cache des Switches oder der PCs auf. Jedenfalls nicht, wenn die Karte unter ESX läuft

Sehr ärgerlich ist, dass die XCEN-Karten bei eBay häufig als MCX341A-XCGN angeboten werden. Es ist total strange, dass die neuere Firmware für die neuere MCX341A-XCGN und die eigentlich alte Hardwarerevision MCX341A-XCCN angeboten wird, für die XCEN aber nicht.

 

[Weltherrscher]

ist tatsächlich ne XCEN, aber fluppt gerade im ESXi v7.0.

Genau da sollte sie ja auch die alte ConnectX2 ersetzen, welche nun wirklich nicht mehr unter ESXi läuft...
//edith:
Wieso sollte die Karte unter ESX im ARP-Cache auftauchen?
Der vSwitch schaufelt doch nur die MACs der VMKs auf Layer 3 durch, nicht die VMNICs?
//edith2:
Wie kann ich im Mikrotik sehen, welche MAC am Port hängt?
Dann schau ich morgen früh mal.

 

[myBerg]

ist tatsächlich ne XCEN, aber fluppt gerade im ESXi v7.0.

Das ist ja schon mal gut.

Was mich halt wundert, die normale ConnectX3 MCX311A-XCAT läuft im gleichen ESX System problemlos. Alle Mezzanine-Karten verhalten sich problematisch. Im Windows 10 System läuft die eine Mezzanine-Karte gerade soweit auch unauffällig. Das macht schonmal Hoffnung.

Anhang anzeigen 501939

Ich habe jetzt mittlerweile 4 Stück mit Rev A4, A6 und zwei mal A8.

Genau da sollte sie ja auch die alte ConnectX2 ersetzen, welche nun wirklich nicht mehr unter ESXi läuft...

//edith:
Wieso sollte die Karte unter ESX im ARP-Cache auftauchen?
Der vSwitch schaufelt doch nur die MACs der VMKs auf Layer 3 durch, nicht die VMNICs?
//edith2:
Wie kann ich im Mikrotik sehen, welche MAC am Port hängt?
Dann schau ich morgen früh mal.

Hab mich vielleicht etwas missverständlich ausgedrückt. Wenn ich eine funktionierende MCX311A-XCAT Karte im ESX habe und dann die Mezzanine MCX341A-XCEN einbaue und das Kabel umstecke, dann scheint zuerst alles noch zu funktionieren, weil die arp Caches noch nicht resettet sind. Sobald an einem Client-PC aber der Cache geleert ist - z.B. durch Reboot - dann wird aus irgendeinem Grunde die IP bei arp Anfragen nicht geliefert und es kommt keine Verbindung zustande. Stecke ich das Kabel wieder in die MCX311A-XCAT, ist alles wieder tacko.

Mir ist es bisher auch nicht gelungen die Karte einfach mal zu resetten. Wenn ich das versuche mit:
mlxconfig -d mt4099_pciconf0 reset
dann bekomme ich immer die Meldung, dass ich mindestens Firmware 2.31.5000 benötige. Flashen kann ich aber maximal 2.31.1598.

Ich habe die Version mit PCIe-Adapter auch erst seit kurzem. Damit kann ich dann auch mal im Windows-PC experimentieren. Vorher war das immer schwierig, weil der ESX einfach durchgängig funktionieren muss, da aber der einzige Mezzanine-Steckplatz verfügbar war.

 

[Weltherrscher]

Interessant:

Driver Info:
         Bus Info: 0000:01:00:0
         Driver: nmlx4_en
         Firmware Version: 2.31.1602
         Version: 3.19.16.7

Kann ich die MFT des alten ESXi 6.0 einfach so installieren?
mlxconfig ist ootb bei 6.7 und 7.0 nicht dabei.

//edith:
Interessant, die Firmwareversion, in Google geschmissen, spuckt eine Release Note für eine MCX342A-XCCN aus.
//edith2:
Habs jetzt mal mit der XCCN-Firmware 2.42.5000 und dem Parameter -allow_psid_change probiert.
ESXi bootet gerade neu.
//edith3:
Fluppt:

[root@esxi:/opt/mellanox/bin] ./flint -d mt4099_pci_cr0 query
Image type:            FS2
FW Version:            2.42.5000
FW Release Date:       5.9.2017
Product Version:       02.42.50.00
Rom Info:              type=UEFI version=14.11.45 cpu=AMD64
                       type=PXE version=3.4.752
Device ID:             4099
Description:           Node             Port1            Port2            Sys image
GUIDs:                 ffffffffffffffff ffffffffffffffff ffffffffffffffff ffffffffffffffff
MACs:                                       MAC              MAC
VSD:
PSID:                  MT_1270110023
[root@esxi:/opt/mellanox/bin] ./mlxconfig -d mt4099_pci_cr0 query

Device #1:
----------

Device type:    ConnectX3
Device:         mt4099_pci_cr0

Configurations:                              Next Boot
         SRIOV_EN                            False(0)
         NUM_OF_VFS                          8
         WOL_MAGIC_EN_P1                     True(1)
         LOG_BAR_SIZE                        3
         BOOT_OPTION_ROM_EN_P1               True(1)
         BOOT_VLAN_EN_P1                     False(0)
         BOOT_RETRY_CNT_P1                   0
         LEGACY_BOOT_PROTOCOL_P1             PXE(1)
         BOOT_VLAN_P1                        1
         BOOT_OPTION_ROM_EN_P2               True(1)
         BOOT_VLAN_EN_P2                     False(0)
         BOOT_RETRY_CNT_P2                   0
         LEGACY_BOOT_PROTOCOL_P2             PXE(1)
         BOOT_VLAN_P2                        1
         IP_VER_P1                           IPv4(0)
         IP_VER_P2                           IPv4(0)
         CQ_TIMESTAMP                        True(1)

Wobei die GUIDs bereits vor dem Flash auf ff... standen.

 

[Weltherrscher]

Anleitung hierzu:
1. backuppen

flint -d <device> ri orig_firmware.bin
flint -d <device> dc orig_firmware.ini
flint -d <device> rrom orig_rom.bin
mlxburn -d <device> -vpd > orig_vpd.txt

2. flashen

flint -d <device> -i mlnx_firmware.bin -allow_psid_change burn

 

[Digi-Quick]

Moin,
Hat schonmal jemand eine "HP NC523SFP" gehabt"

HP NC523SFP 10Gb 2-Port Server Adapter (593717-B21) online kaufen | eBay

Entdecken Sie HP NC523SFP 10Gb 2-Port Server Adapter (593717-B21) in der großen Auswahl bei eBay. Kostenlose Lieferung für viele Artikel!

www.ebay.de

HP NC523SFP Dual Port 10GbE 593715-001 PCIe Server Adapter +2* Cable | eBay

Arrived at our warehouse. We are convinced you will.

www.ebay.de

Ist die mit irgendeiner anderen Karte kompatibel - sprich einfach nur rebrandet?
Gibt es Treiber für Windows 7?
(lassen sich ggf. die Treiber für Server 2008 verwenden?)

 

[zenvy]

Moin,
Hat schonmal jemand eine "HP NC523SFP" gehabt"

Ich hab zwei davon. Soweit ich weiß sind das einfach QLogic QLE3242. Hatte die nur unter ESXi am laufen mit nachinstalliertem Treiber, unter Windows keine Ahnung.

Mittlerweile liegen die in einer Kiste.

 

[Digi-Quick]

Mittlerweile liegen die in einer Kiste.

Warum? taugen die nix???

Nachtrag:
Bei HP habe ich einen Treiber für Windows Server 2008 64 Bit gefunden, diesen konnte ich nach entpacken via Gerätemanager unter Win7 installieren....
Habe mir jetzt mal eine Karte gekauft.
Unter XigmaNAS habe ich noch keine Info, ob die Karte dort Problemlos läuft - unter FreeBSD ist sie wohl unterstützt, Bei FreeNAs wohl nicht.

 

[BazzT]

Hallo,

welchen Grund kann es haben wenn die Connectx-2 unter zwei Win 10 Maschinen nur ca 740MB/s schaffen.
Getestet wurde der Windows Treiber und der Melanox WinOF-2 4.95. beide gleich "langsam".
Die SSDs sind nicht limitierend. Die Prozessoren sind ein I7 4790k und ein I5 4440.
Ist der 4440 zu langsam mit seinen 3,2 GHz?

Spoiler: .

Konnte die Karten noch nie zuvor "auslasten" der kleine Athlon 5350 hat nur 600 MB/s aus der RAMDisk geschafft...

MfG Basti

 

[myBerg]

Interessant:

Driver Info:
         Bus Info: 0000:01:00:0
         Driver: nmlx4_en
         Firmware Version: 2.31.1602
         Version: 3.19.16.7

Kann ich die MFT des alten ESXi 6.0 einfach so installieren?
mlxconfig ist ootb bei 6.7 und 7.0 nicht dabei.

//edith:
Interessant, die Firmwareversion, in Google geschmissen, spuckt eine Release Note für eine MCX342A-XCCN aus.

Das ist ja echt der Knaller. Bei mir war bei 3 Karten auch die 2.31.1602 geflasht. Bei der 4. weiß ich es nicht mehr, da hatte ich die 2.31.1598 aufgespielt, konnte aber - wie oben schon gesagt - daher nicht mehr resetten.

//edith2:
Habs jetzt mal mit der XCCN-Firmware 2.42.5000 und dem Parameter -allow_psid_change probiert.
ESXi bootet gerade neu.
//edith3:
Fluppt:

Guter Tipp. Habe ich jetzt auch gemacht. Läuft jetzt seit 20h einwandfrei. Auch im ESX. Super!

[root@esxi:/opt/mellanox/bin] ./flint -d mt4099_pci_cr0 query
Image type:            FS2
FW Version:            2.42.5000
FW Release Date:       5.9.2017
Product Version:       02.42.50.00
Rom Info:              type=UEFI version=14.11.45 cpu=AMD64
                       type=PXE version=3.4.752
Device ID:             4099
Description:           Node             Port1            Port2            Sys image
GUIDs:                 ffffffffffffffff ffffffffffffffff ffffffffffffffff ffffffffffffffff
MACs:                                       MAC              MAC
VSD:
PSID:                  MT_1270110023
[root@esxi:/opt/mellanox/bin] ./mlxconfig -d mt4099_pci_cr0 query

Device #1:
----------

Device type:    ConnectX3
Device:         mt4099_pci_cr0

Configurations:                              Next Boot
         SRIOV_EN                            False(0)
         NUM_OF_VFS                          8
         WOL_MAGIC_EN_P1                     True(1)
         LOG_BAR_SIZE                        3
         BOOT_OPTION_ROM_EN_P1               True(1)
         BOOT_VLAN_EN_P1                     False(0)
         BOOT_RETRY_CNT_P1                   0
         LEGACY_BOOT_PROTOCOL_P1             PXE(1)
         BOOT_VLAN_P1                        1
         BOOT_OPTION_ROM_EN_P2               True(1)
         BOOT_VLAN_EN_P2                     False(0)
         BOOT_RETRY_CNT_P2                   0
         LEGACY_BOOT_PROTOCOL_P2             PXE(1)
         BOOT_VLAN_P2                        1
         IP_VER_P1                           IPv4(0)
         IP_VER_P2                           IPv4(0)
         CQ_TIMESTAMP                        True(1)

Wobei die GUIDs bereits vor dem Flash auf ff... standen.

Bei mir auch. Überall fff...

Im Vergleich zu meinem PCIe Karten:
Es erstaunt mich, dass die Mezzanine-Karten eine gültige Configuration reporten. Meine PCIe ConnectX3 liefern mir hier schon immer durchgängig "Configurations: Next Boot
-E- Failed to query device current configuration".
Dafür haben die PCIe ConnectX3 alle gültige GUIDs.

Ich bin jedenfalls sehr Happy, dass es jetzt so funktioniert. Karte läuft im Mezzanine-Steckplatz. Einen PCIe Slot freigeschaufelt, so wie es mal der Plan war.

 

[zenvy]

Warum? taugen die nix???

Doch, hatte mit denen keine Probleme. Ich habe nur einen der beiden Server abgeschafft und beim zweiten brauchte ich den Slot für was anderea wodurch ich die 10G da jetzt anders mache (ist rein R630, habe die 4x1G rNDC gegen 2x1G, 2x10G getauscht, ist aber ein Intel Chip).

Beachte, die Karte braucht aktive Kühlung. Die ist dafür gedacht in einem Server mit aktivem Luftstrom zu sitzen. Im R630 war das kein Problem, aber in meinem Selbstbau musste ich nen Lüfter drauf richten.
Wenn die zu heiß wird schaltet sie sich ab. Meine haben das mehrmals gemacht (beim basteln im offenen Gehäuse) und überlebt.

 

[Digi-Quick]

Danke für den Hinweis mit der Kühlung, werde schauen, ob der Luftstrom in meinem Gehäuse ausreicht oder ob ich da nen Lüfter auf dem Kühlkörper anbringe

 

[DFFVB]

Wenn es denn dann soweit ist, und man 10Gbit hat, und man das nutzen möchte, für die fixen Backups, dann brauch ich ja auch ne SSD, die dauerhaft mit hohen Geschwindigkeiten schreibt, also auch wenn der SLC Cache voll ist (pro Backup ca 500 GB). Die meisten Karten schaffen da noch so ca 700 MB/s. Sprich theoretisch reicht dann auch 5 Gbit?

Würde diese Frage gerne noch mal bumpen, mit der Anschlussfrage, ob es gute Erfahrungswerte gibt, welche SSDs dauerhaft hohe (oder höhere) Schreibleistungen haben?

Beachte, die Karte braucht aktive Kühlung. Die ist dafür gedacht in einem Server mit aktivem Luftstrom zu sitzen.

Ich lese immer häufiger hier, dass auch solche Karten starke Kühlung brauchen, ich dachte immer das sei ein Vorteil ggü Kupfer Ethernet?

 

[besterino]

Wirklich dauerhaft brechen nur Enterprise-SSD nicht oder nicht so sehr ein. Dadrüber weiß ich eigentlich nur von den Samsung
Pros oder Intel Optane 900 / 905. Die aber als Backup-Drive zu nehmen ist echt Perlen vor die Säue...

Mal davon ab: 10Gbit = ca. 1GigaBYTE/s - das Schreiben viele NVME SSDs heute auch noch, wenn der Cache voll ist. Und ne einzelne SATA SSD schafft das selbst unter besten Bedingungen sowieso nie.

Stellt sich auch die Frage, warum: der Aufpreis für ein paar Sekunden beim Backuprun alle paar Tage - ist es das echt wert?

Ich würd da lieber beim gleichen Preis mehr Kapazität als höhere Speed nehmen...

Und geh mir bloß weg mit 2,5 oder 5gbit. Da ist so ein halbgarer Murks (kaum Switches, viele Grotten-billig NICs) in meinen Augen, da gerne nen eigenen Fred für aufmachen.

 

[JohnnyBGoode]

Wirklich dauerhaft brechen nur Enterprise-SSD nicht oder nicht so sehr ein. Dadrüber weiß ich eigentlich nur von den Samsung
Pros oder Intel Optane 900 / 905. Die aber als Backup-Drive zu nehmen ist echt Perlen vor die Säue...

Kann gebraucht die Intel P4500 DC SSDs empfehlen, habe ein paar für etwa 400 Euro/4 TB bekommen (3,2 GB Lesen/2,0 GB Schreiben). Funktionieren stabil (dazu PLP), nur an einem HBA (9400), der auch NVMe unterstützt brechen sie sehr seltsam auf Werte unter SATA beim sequenziellem Lesen ein, wahrscheinlich ein Firmware-Bug, hoffentlich wird das von Broadcom gefixt.

 

[Firebl]

Ich habe mir mal die Intel DC P4510 U.2 in der 8 TB Variante angeschaut. Ist preislich natürlich ne ganz andere Sache, aber hat Spaß gemacht.
Bei diesen NVME-Monstern muss man aber beachten, dass die verdammt heiß werden und aktiv gekühlt werden müssen. Es hat schon seinen Grund, dass das Gehäuse so viele Kühlrippen hat,

 

[Digi-Quick]

Ich lese immer häufiger hier, dass auch solche Karten starke Kühlung brauchen, ich dachte immer das sei ein Vorteil ggü Kupfer Ethernet?

Sieht tatsächlich nicht gut aus, selbst ohne angeschlossenes Kabel und folglich ohne jeglichen Traffic steigt die Karte (HP NC523SFP / QLogic QLE3242) nach wenigen Minuten aus.
Wie Heiß wird die dann erst, wenn sie was zu tun bekommt?
Bei der Wärmeantwicklung ist es nur schwer vorstellbar, daß die Sparsamer sein sollen.....
Im HP N54L wird die Karte so vermutlich gar nicht einsetzbar sein.

Besteht das Problem mit allen 10 GBE SFP+ Karten?
Sollte ich dann doch besser auf 10GBASE-T gehen (z.B. Intel X540/550 für die Non-Windows Geräte und Aquantia für Windows)?

Dann könnte ich den bestellten Switch auch gleich zurückgehen lassen (der eigentlich heute kommen sollte)

heise online

News und Foren zu Computer, IT, Wissenschaft, Medien und Politik. Preisvergleich von Hardware und Software sowie Downloads bei Heise Medien.

www.heise.de

 

[Firebl]

Die X550 soll sparsammer sein als die X540, aber die X550 kocht auch schon gut. Mittlerweile habe ich einen 120mm Lüfter auf das netzteil neben die Karten gestellt. seit dem bleibt alles im Lot.

 

[Stueckchen]

Also meine beiden Mellanox CX3 werden zwar mehr als Handwarm aber verbrennen tut man sich nicht. Viel Luft bekommen sie auch nicht so wie sie verbaut sind.
Schau mal nach bei sth gibt es irgendwo einen Sammler mit Stromverbrauch und da führt auch die hp523 mit irg 15W, gut ist wohl die Mellanox oder Intel 520.

 

[DFFVB]

Stellt sich auch die Frage, warum: der Aufpreis für ein paar Sekunden beim Backuprun alle paar Tage - ist es das echt wert?

Stimmt schon, aber ohne den Enthusiamus kann man sich 10 Gbit gleich ganz sparen Hab eine 950 Pro die ich da quälen würde

 

[Digi-Quick]

Kleines Update:
Der Switch ist nun auch gekommen und ich habe im meinem Fundus 2 kleine 25er Lüfter gefunden, die ich kurzerhand auf die Kühlkörper "geschraubt" habe (wofür Spax Schrauben doch gut sind *fg*)
Beim Windows PC gab es bislang keine thermische Abschaltung mehr, Verbindung zum Netzwerk war über den Switch auch sofort da.

NAS4Free hat erstmal gezickt und produzierte Fehlermeldungen statt Netzwerkverbindung, ich mußte die MTU per IFCONFIG festnageln (habe erstmal 1514) gesetzt, danach lief es denn auch dort.

Ich habe da jetzt was von 15 Watt für die HP karte gelesen, daß ist ja schon vergleichbar mit einem ausgewachsenem Raidcontroller 🥴
Im Momnent weiß ich noch nicht was ich mache...
die Karten waren günstig, der Switch ist vergleichsweise Preiswert und kommt ohne Lüfter aus, ich würde daher schon gerne bei SFP+ bleiben. Das nächste große NAS wird Stand Heute 10GBASE-T haben, daher der eine Kombiport am Switch - es sei denn SM bringt bis dahin noch ein vernünftiges Mainboard für So1151(v2) raus (mit 10GBE / mind 8x SATA und 8x SAS)