[Sammelthread] MikroTik Geräte

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Bash: 
driver: cxgb3
version: 1.1.5-ko
firmware-version: T 7.12.0 TP 1.1.0
expansion-rom-version:
bus-info: 0000:82:00.0

Bash: 
driver: cxgb3
version: 1.1.5-ko
firmware-version: T 7.12.0 TP 1.1.0
expansion-rom-version:
bus-info: 0000:02:00.0

Sieht identisch aus soweit.
 
...jo, hmpf.....irgendwelche Energiespar-Einstelliungen aufm PCIe im BIOS?.....wie gesagt, keine wirklichen, echten Ideen mehr :ROFLMAO:
 
Stromspaar Modus habe ich alles mehr oder weniger deaktiviert, ich muss noch mal wegen flow control schauen, vielleicht ist da noch was aktiv, ich hab das i3 System im Verdacht weil den großen habe ich schon mit maximal speed performen gesehen -> reddit post
 
vielleicht wäre ne Gegenprobe angebracht, ohne Switrch mit Direktverbindung?
 
Ich hab noch mal meinen HP 360e Gen8 flott gemacht mit einer Chelsio Karte

Bash: 
root@hp03:/home/bodo# iperf3 -c 10.8.20.102
Connecting to host 10.8.20.102, port 5201
[  5] local 10.8.20.108 port 38820 connected to 10.8.20.102 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  1.10 GBytes  9.43 Gbits/sec    0   3.02 MBytes       
[  5]   1.00-2.00   sec  1.09 GBytes  9.39 Gbits/sec    0   3.02 MBytes       
[  5]   2.00-3.00   sec  1.10 GBytes  9.42 Gbits/sec    0   3.02 MBytes       
[  5]   3.00-4.00   sec  1.09 GBytes  9.41 Gbits/sec    0   3.02 MBytes       
[  5]   4.00-5.00   sec  1.10 GBytes  9.42 Gbits/sec  131   2.45 MBytes       
[  5]   5.00-6.00   sec  1.10 GBytes  9.42 Gbits/sec    0   2.75 MBytes       
[  5]   6.00-7.00   sec  1.10 GBytes  9.41 Gbits/sec    0   2.98 MBytes       
[  5]   7.00-8.00   sec  1.10 GBytes  9.42 Gbits/sec    7   1.16 MBytes       
[  5]   8.00-9.00   sec  1.10 GBytes  9.42 Gbits/sec    0   1.73 MBytes       
[  5]   9.00-10.00  sec  1.10 GBytes  9.41 Gbits/sec    3   1.29 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec  141             sender
[  5]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec                  receiver

iperf Done.
root@hp03:/home/bodo# iperf3 -c 10.8.20.102 -R
Connecting to host 10.8.20.102, port 5201
Reverse mode, remote host 10.8.20.102 is sending
[  5] local 10.8.20.108 port 38824 connected to 10.8.20.102 port 5201

[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  1.09 GBytes  9.40 Gbits/sec                 
[  5]   1.00-2.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   2.00-3.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   3.00-4.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   4.00-5.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   5.00-6.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   6.00-7.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   7.00-8.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   8.00-9.00   sec  1.10 GBytes  9.41 Gbits/sec                 
[  5]   9.00-10.00  sec  1.10 GBytes  9.41 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  11.0 GBytes  9.42 Gbits/sec  296             sender
[  5]   0.00-10.00  sec  11.0 GBytes  9.41 Gbits/sec                  receiver

iperf Done.

Der i3 ist wohl nicht so stark.

Es gibt hier zwar auch ein paar retries, aber nicht so viele.
 
...dann liegt es auf jeden Fall nicht an den MT-Switches dazwischen, sondern am i3-System.
 
Ich habe jetzt mal mit einem DAC den i3 an den hp angeschlossen und statische ips vergeben, siehe da, der speed wurde nicht besser aber es gibt auf dem Weg 0 retries, in keine Richtung... was wieder auf den MT deutet

Bash: 
root@hp03:/home/bodo# iperf3 -c 172.16.2.6
Connecting to host 172.16.2.6, port 5201
[  5] local 172.16.2.5 port 52718 connected to 172.16.2.6 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   1.00-2.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   2.00-3.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   3.00-4.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   4.00-5.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   5.00-6.00   sec   776 MBytes  6.51 Gbits/sec    0   3.06 MBytes       
[  5]   6.00-7.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   7.00-8.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   8.00-9.00   sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
[  5]   9.00-10.00  sec   778 MBytes  6.52 Gbits/sec    0   3.06 MBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  7.59 GBytes  6.52 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  7.59 GBytes  6.52 Gbits/sec                  receiver

iperf Done.
root@hp03:/home/bodo# iperf3 -c 172.16.2.6 -R
Connecting to host 172.16.2.6, port 5201
Reverse mode, remote host 172.16.2.6 is sending
[  5] local 172.16.2.5 port 52722 connected to 172.16.2.6 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   845 MBytes  7.08 Gbits/sec                 
[  5]   1.00-2.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   2.00-3.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   3.00-4.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   4.00-5.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   5.00-6.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   6.00-7.00   sec   846 MBytes  7.09 Gbits/sec                 
[  5]   7.00-8.00   sec   847 MBytes  7.11 Gbits/sec                 
[  5]   8.00-9.00   sec   847 MBytes  7.10 Gbits/sec                 
[  5]   9.00-10.00  sec   848 MBytes  7.11 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  8.27 GBytes  7.10 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  8.27 GBytes  7.10 Gbits/sec                  receiver

iperf Done.
 
:oops:...warum dann weniger Retries beim HP 360e Gen8 ? ...gleicher Link/Port am MT und gleiches Kabel/DAC? ... sehr merktürlich :unsure:
 
Das oben ist eine direkte Verbindung zum HP ohne über den Switch zu gehen. Wenn ich über den switch gehe vom i3 zum HP sieht es so aus:

Bash: 
root@hp03:/home/bodo# iperf3 -c 10.8.20.100 -R
Connecting to host 10.8.20.100, port 5201
Reverse mode, remote host 10.8.20.100 is sending
[  5] local 10.8.20.108 port 47396 connected to 10.8.20.100 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec   846 MBytes  7.10 Gbits/sec                 
[  5]   1.00-2.00   sec   847 MBytes  7.11 Gbits/sec                 
[  5]   2.00-3.00   sec   848 MBytes  7.11 Gbits/sec                 
[  5]   3.00-4.00   sec   845 MBytes  7.09 Gbits/sec                 
[  5]   4.00-5.00   sec   845 MBytes  7.09 Gbits/sec                 
[  5]   5.00-6.00   sec   846 MBytes  7.10 Gbits/sec                 
[  5]   6.00-7.00   sec   845 MBytes  7.09 Gbits/sec                 
[  5]   7.00-8.00   sec   836 MBytes  7.01 Gbits/sec                 
[  5]   8.00-9.00   sec   845 MBytes  7.09 Gbits/sec                 
[  5]   9.00-10.00  sec   845 MBytes  7.09 Gbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  8.25 GBytes  7.09 Gbits/sec    0             sender
[  5]   0.00-10.00  sec  8.25 GBytes  7.09 Gbits/sec                  receiver

iperf Done.
root@hp03:/home/bodo# iperf3 -c 10.8.20.100
Connecting to host 10.8.20.100, port 5201
[  5] local 10.8.20.108 port 47400 connected to 10.8.20.100 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   737 MBytes  6.18 Gbits/sec  2801    139 KBytes       
[  5]   1.00-2.00   sec   735 MBytes  6.17 Gbits/sec  3097    153 KBytes       
[  5]   2.00-3.00   sec   739 MBytes  6.20 Gbits/sec  2811    181 KBytes       
[  5]   3.00-4.00   sec   740 MBytes  6.20 Gbits/sec  2993    202 KBytes       
[  5]   4.00-5.00   sec   735 MBytes  6.16 Gbits/sec  2781    144 KBytes       
[  5]   5.00-6.00   sec   739 MBytes  6.20 Gbits/sec  2866    156 KBytes       
[  5]   6.00-7.00   sec   737 MBytes  6.19 Gbits/sec  2671    165 KBytes       
[  5]   7.00-8.00   sec   739 MBytes  6.20 Gbits/sec  2546    156 KBytes       
[  5]   8.00-9.00   sec   737 MBytes  6.18 Gbits/sec  2880    146 KBytes       
[  5]   9.00-10.00  sec   743 MBytes  6.23 Gbits/sec  2875    153 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  7.21 GBytes  6.19 Gbits/sec  28321             sender
[  5]   0.00-10.00  sec  7.21 GBytes  6.19 Gbits/sec                  receiver

iperf Done.

Das ist ähnlich wie es aussieht wenn ich vom anderen Server (E5 2637 v2) teste.
 
Weltherrscher schrieb:
Ich hätte dann auch mal ne Frage an die Netzwerk-Cracks bzgl. Inter-VLAN Routing:
Muss der Verkehr immer über die opnSense laufen oder kann ich das für bestimmte VLANs auf den Switch auslagern?
Ziel wäre die Erhöhung des iSCSI-Durchsatzes, da ich momentan nur eine Single-10GB-Melli in der opnSense drin hab.
Mit Rein-Raus hab ich nur noch 5 GBit...
Sprich statt: Rechner(V10)->SwitchOG(V10)->SwitchK(V10)->FW(V10)->FW(V30)->SwitchK(V30)->NAS(V30)
so: Rechner(V10)->SwitchOG(V10)->SwitchK(V10)->SwitchK(V30)->NAS(V30)

Geht das?
Was muss ich da wo im Switch eintragen?
Sind Probleme zu erwarten?
Ist das das berüchtigte "asymmetrische Routing"?

//Edith:
Switche sind 2x CRS328.
Zum Vergrößern anklicken....
Das Hauptproblem hast Du schon selbst angesprochen: das "Inter-VLAN Routing". Zwischen zwei Subnetzen ist immer der Router gefragt, per best-practice sollte ein VLAN mindestens einem (eigenen) Subnetz entsprechen (oder besser 1 Subnet = 1 VLAN) und spätestens damit hat sich diese "Inter-Vlan-Kommunikation" die Switches meist anbieten, eigentlich erledigt. Mir fällt auch nichts sinnvolles ein, um das einzusetzen. Eine Variante wäre, dass man (z.B.) ein großes (z.B.) /21 Netz aufspannt und dann alles nur noch über VLANs versucht zu regeln. Kommt man halt schnell an die Grenzen.
Man kann auch auf dem CRS routen, aber wir @underclocker2k4 schon vermutet hat, wird die Performance dann schnell unterirdisch. MT bietet zu quasi allen Devices Schwitching- und Routing Benchmarks. Der CRS328 ist dafür einfach nicht geeignet: https://mikrotik.com/product/crs328_24p_4s_rm#fndtn-testresults
Die HomeOffice Schiene sind die hEX, dann kommen die RB (teils mit Überschneidungen) und dann die CCR. Die CRS sind deutlich unter den günstigen hEX bzgl. der Routing-Performance.
Ich persönlich greife schon relativ früh zum CCR1009, der z.B. bei Senetic auch oft richtig günstig zu haben ist und sehr gute Performance liefert.
Hier mal noch dessen Test-Tabelle: https://mikrotik.com/product/CCR1009-7G-1C-1Splus#fndtn-testresults
Natürlich ein finanzieller Unterschied, aber bei deren typischem Test und einer pre-Jumbo Übertragung von 1518B-Paketen und der 25-Ipfilter-Variante kommt der CRS (in Gesamtsumme) auf knapp 800Mbit, der CCR auf 9 GBit.

Asymetrisches Routing hat damit nichts zu tun, da geht geht es dann um kürzester-Weg-Algorithmen wie (Rapid)SpanningTreeProtocol (R)STP usw.
 
Naa, ich bleib jetzt bei der opnSense als Router / Firewall.
Die lahme Performance und die Tabellen sind mir bekannt, insgeheim hatte ich tatsächlich gehofft, dass da auf L2 noch was geht.
Meine VLANs haben definitiv je ein /24er Netz.
Bin leider noch nicht dazu gekommen, ein eigenes iSCSI-VLAN mit statischen IPs ohne Routing für die bidirektionale Kommunikation NAS->PC aufzumachen (Serverschrank bauen ging vor).
Wenn der Traffic weg fällt, sollte die Performance ja schon mal hoch gehen.
Der olle Core i3-2100T in der opnSense hat bisher auch noch keine Vollast gesehen.

Muss ich am WE endlich mal probieren.

Ich bilde mir aber ein, typische asymetric routing Probleme zu haben (interne Verbindungen, die zufällig genau nach 2 Minuten verschwinden usw.).
Seitdem ich die VLAN-Prio aufm Desktop angepasst und das Verbindungsgeraffel in der Firewall der opnSense auf "sloppy" gestellt hab, gehts einigermaßen.
 
Moinsen,
ich benötige kurz eure Hilfe bzw. Erfahrung :)

Zum Anfang würde ich gerne meinen PC mit meinem Unraid-Server mittels 10Gbit verbinden.
Aktuell nutze ich einen Mikrotik CSS326-24G-2S+.
In meinem PC würde ich eine Mellanox SFP+ Karte (ebay etc.) verbauen und der Server (ASRock Rack X570D4U-2L2T) hat zwei RJ45 10 Gbit Ports.
Vom PC zum Switch:
Funktioniert diese Kabel ?
Vom Server zum Switch:
Normales RJ45-Cat inkl. Adapter für den Switch. Ich habe diesen Adapter von Mikrotik gefunden. Gibt es da günstigere alternativen?

Besten Dank vorab :)
 
DAC Kabel passt, gibt es von Mikrotik in 1m und 3m. Andere gehen aber auch.

SFP+ Modul 10G passt auch. Liegt bei ungefähr 50€, deutlich günstiger wirst Du wohl nichts bekommen. Mikrotik frisst aber auch fast alles andere, wenn du was billigeres findest.
 
Ich habe leider keinen alternativen Adapter gefunden. Ich dachte da gibt es günstigere.
 
Ne, Grad Mal geschaut - auch FS.com kostet so ein Ding ca 60€. Wenn MT und FS so liegen, wirst Du preislich kaum günstigeres finden.
 
@i-B4se ...wenn Du die Mellanox noch nicht hast, gibt es in der Bucht oft KIts welche mit DAC 1-3m und beiden Brackets daherkommen, da kommt das Kabel meist um 8-10EUR Mehrpreis weg.
 
Hab ich eben gesehen, danke.
Nur weiß ich nicht was ich aktuell mit der zweiten Karte anfangen soll.
 
Besten Dank!
 
Moin, wie sind denn die APs von Mikrotik so? Ich bräuchte 2 APs, am liebsten schon WiFi6, die wirklich nur AC spielen, Routing soll dann ein großer Mikrotik zusammen mit einer OPNsense machen. Da WiFi6 durchaus Gigabit an seine Grenzen bringen kann, wäre auch ein SFP+ Port ganz nett - gibt es da was von Mikrotik oder schaue ich da woanders?
 
Ich finde die APs gut. Von der Leistung aber nicht die besten, bin einfach ein Fan der Software.
Wifi6 gibt's aber von MT bisher nicht, daher für Dich wahrscheinlich uninteressant.
Zweite Wahl wäre für mich Ubiquiti, da gibt es auch schon was mit Wifi6.
 
Ubiquiti haben sich bei mir komplett durch ihren Cloud-"Zwang" auf die "Don't buy" Liste gesetzt.
 
Dann ist sicher ruckus wireless interessant, die R320 / R510 etc. mit unleashed firmware
 
Shihatsu schrieb:
Moin, wie sind denn die APs von Mikrotik so? Ich bräuchte 2 APs, am liebsten schon WiFi6, die wirklich nur AC spielen, Routing soll dann ein großer Mikrotik zusammen mit einer OPNsense machen. Da WiFi6 durchaus Gigabit an seine Grenzen bringen kann, wäre auch ein SFP+ Port ganz nett - gibt es da was von Mikrotik oder schaue ich da woanders?
Zum Vergrößern anklicken....
...selbst die uniFi 6 haben nur GBit....SFP+ wird wohl auch nicht so schnell kommen.
Die stecken ja nicht im Rack, sondern sollen über POE versorgt werden.

Shihatsu schrieb:
Ubiquiti haben sich bei mir komplett durch ihren Cloud-"Zwang" auf die "Don't buy" Liste gesetzt.
Zum Vergrößern anklicken....

+1 ... ich will meine UniFi auch loswerden.
Schau Dir auch mal die TP-Link Omada Serie an....ich liebäugle gerade mit dem EAP245...interessanter P/L zwischen MT und Unifi.
Aber WiFi 6 gibt es da auch welche, zB https://geizhals.de/tp-link-omada-eap620-hd-a2420664.html?hloc=at&hloc=de
 
mbrhwl schrieb:
Dann ist sicher ruckus wireless interessant, die R320 / R510 etc. mit unleashed firmware
Zum Vergrößern anklicken....
Uff. Das ist mir dann für zu Hause dann doch etwas arg teuer.
hominidae schrieb:
Schau Dir auch mal die TP-Link Omada Serie an....ich liebäugle gerade mit dem EAP245...interessanter P/L zwischen MT und Unifi.
Aber WiFi 6 gibt es da auch welche, zB https://geizhals.de/tp-link-omada-eap620-hd-a2420664.html?hloc=at&hloc=de
Zum Vergrößern anklicken....
Huom, das ist mal ein guter Tip! Wäre dann aber der EAP660 HD nicht die bessere Wahl? Unterstützt schon WiFi 6E und kann auch 2,5GBoE. Funktioniert 2,5GBoE denn mit PoE oder ist das dann entweder oder, GB mit PoE oder 2,5GBoE mit Power Adapter? Würde damit (bei 2 APs) Seamless gehen und welcher Mikrotik wäre denn da dann der richtige "Zuspieler"?
 
Shihatsu schrieb:
Funktioniert 2,5GBoE denn mit PoE oder ist das dann entweder oder, GB mit PoE oder 2,5GBoE mit Power Adapter?
Zum Vergrößern anklicken....
Ich kenne noch keinen PoE-Injektor, der NBase-T kann.
Es gibt erst seit kurzen überhaupt die el. Bauelemente, die die Kopplung für IEEE802.3bt und 802.3bz ermöglichen.

Produkte sind also erwartbar.
Ansonsten bist du mit 1GBE auch erstmal gut unterwegs. Später dann upgraden.
Außerdem bräuchtest du dann ja auch noch einen NBase-T Switch.

Ich würde, wenn du die Geräte willst, erstmal auf 1GBE bleiben, auch beim Switch, wenn du PoE machen magst. Und später, wenn die Injektoren das dann können, upgraden.
 
Zuletzt bearbeitet:
Shihatsu schrieb:
Würde damit (bei 2 APs) Seamless gehen und welcher Mikrotik wäre denn da dann der richtige "Zuspieler"?
Zum Vergrößern anklicken....
...die Omada Serie benötigt den Controller...Hardware oder Docker/VM....der regelt das Thema Seamless...wobei das immer auch eine Frage des Clients/Client-OS/-Treiber ist.

Zuspieler also alles, was GBit macht.
Wie @underclocker2k4 schon schrieb, sind 2.5G und Injektoren noch nicht soweit.
Das 1Gbps musst Du auch bei WiFi 6 erstmal voll kriegen.
Für Inter-VLAN Routing, dann einen MT Router der genug Bumms für später hat...ich mag ja den RB4011.
Zum ausprobieren macht es aber auch ein Hex-S. Switches eben CRS-Modell, was Du so brauchst.
Wenn Du auf POE bei Nbase-T hoffst, einen CRS ohne POE und einen kleinen Injektor mit 1Gbps https://geizhals.de/inline-desktop-gigabit-poe-injektor-32308h-a1859949.html (aber, wie immer sind auch einzelne im Paket dabei - Edit: nicht im EAP660HD Flagschiff...der hat ein 12V NT).
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh