Intel i226-V + OPNsense: WAN-Durchsatz schwankend, Hardware funktioniert

[Joey78]

Hallo Leute,
Ich bin neu hier und auch generell Neu im OPNsense-Thema.
Kurz, ich habe aktuell eine Sophos UTM9 in Verwendung die auf einer SG115 Appliance läuft. Im Grunde bin ich damit sehr zufrieden aber da Sophos das Produkt im Sommer einstellt benötige ich einen Ersatz.

Nach einer Hardwarerecherche bin ich dann auf folgendes Gerät gekommen.  Da im Youtube usw. nichts negatives berichtet wurde war das für mich eine ideale Alternative.

Neue CPU 12. Generation N150-MNBOXCONET Mini-PC mit Alder Lake-N N150 Prozessor (6 MB Cache, 4C/4T, bis zu 3,6 GHz), TDP 6 W. Vorinstalliertes Win 11 Pro, unterstützt OPNsense, RouterOS, Linux, ESXI, OpenWrt, Ubuntu, Proxmox zur Einrichtung eines kleinen Testlabors. Drücken Sie "Delete" oder die "F7"-Taste, um beim Starten das BIOS-Setup zu betreten. Das BIOS unterstützt Auto Power On, GPIO, PXE
Großer Speicher & Slot – Kompakter Desktop-PC mit 1 x DDR5 SODIMM RAM 4800 MHz, kompatibel mit 5200 MHz/5600 MHz. DDR5 bietet schnellere Geschwindigkeiten, höhere Kapazität, bessere Effizienz und verbesserte Bandbreite im Vergleich zu DDR4. Mini-Computer mit 2 x M.2 NVMe-Slot + 1 x SATA 3.0 für 2.5" SSD/HDD (SATA 3.0 Kabel enthalten), SATA 3.0 und WiFi/BT Signal, wahlweise 1 auswählen
Anschlüsse & Funktionen – Mini Firewall Router PC ist mit vielen Anschlüssen ausgestattet: 1 x Type-C Port, 1 x USB3.2 Port, 4 x USB2.0 Ports, 2 x HD Ports, TF Kartensteckplatz. 6 x 2,5 Gigabit Ethernet I226-V-Ports, gewährleistet schnelle und stabile Konnektivität, ideal für Heim- und Geschäftsumgebungen
Triple Display – Mirco Desktop PC mit 2 HD- + Type-C Triple Display-Schnittstelle, unterstützt 4096 x 2160 @60Hz, UHD-Grafik, ermöglicht es Ihnen, mehrere Aufgaben gleichzeitig online zu erledigen, einfach zu wechseln und effizient zu arbeiten sowie eine flexible Arbeitsplatzanpassung
Fanless Metal Design – Firewall Box Computer mit leiser passiver Wärmeableitung. Die Wärme wird vom Prozessor oder anderen Wärmequellen durch den Metall-Kühlkörper an die umliegende Luft abgegeben. Wenn Sie eine bessere Wärmeumgebung wünschen, wird ein kleiner 12V 4-Pin 80 x 10mm Lüfter unterstützt. Die Lüfter-Stromversorgungsbasis unterstützt Temperaturregelung (Paket enthält 4-Pin-Lüfterkabel)

Verbaut ist jetzt 16GB RAM und eine 500GB NVMe.

Jetzt zum Hauptproblem:
Ich habe mega Schwankungen auf dem WAN wenn ich einen Speedtest mache. Diese reichen von 5Mbit/s bis 60Mbit/s im Download.  Im Upload ist es Konstant super.

ISP:
Ich habe als ISP Magenta und nutze ein Paket mit 100Mbit Down und 20 Up. Das ganze über ein TV-Kabelmodem das auch nur für Internet genutzt wird.

Auf der Sophosseite habe ich konstant zwischen 91-106 mbit/schnelle
Zeitgleich auf der OPNSense der oben genannte Schwankungsbereich.

OPNsense:
Ich habe aktuell die Sense nativ auf der Kiste installiert da ich davor mit Proxmox die selben Probleme hatte, und so eine Fehlerquelle ausschließen wollte.
Ich war mit der Sense direkt hinter dem Modem und auch hinter der Sophos, es machte keinen Unterschied im verhalten.
Die sense wurde nur rudimentär eingerichtet, also keine Filter oder sonstige Features oder ähnliches. Nur LAN und WAN sonst nix.

An der Hardware wurde das aktuellste BIOS geflasht und auch das vom Hersteller empfohlene Ethernet FW-Flash >> CW-125C-NVM-EEUPDATE-i226-V-V2.32-2MB-v20260107 <<
Am BIOS wurde mit Werks Einstellungen und diversen Anpassungen bzgl. Energiesparsettings probiert,... leider auch kein Erfolg.

An der Sense habe ich mit KI mit diversen Tuningsettings rumexperimentiert, Flow abschalten und RX und TX Settings uvm. alles kein Erfolg.

Ich habe dann auch mit iperf3 einen Speedtest zwischen Client und sense getestet und bekam da 801Mbit/s drüber.
Weiter habe ich mal mit IPfire probiert was auch ein ähnliches Bild ergab > Grund war das die sense ja freebsd nutzt und ich da das Problem vermutete.
Weiter habe ich mal Manjaro installiert und da war ein normaler Speedtest dann aber exakt gleich wie auf der Windowskiste, ohne Unterschied. schöne 93Mbit
Ich habe auch noch zwischen den 6 Ports gewechselt um auszuschließen das ein Port ein Problem hat, brachte auch nix.

Jetzt bin ich ziemlich Ratlos inzwischen was ich noch machen kann. Der Hersteller zieht sich hier aus der Verantwortung da es ja mit Manjaro normal und sauber funktioniert.
So wie die Kiste jetzt aber läuft ist sie wirklich unbrauchbar und ich spüre es auch im Testbetrieb wie sie stolpert.

Ich hoffe irgend Jemand von euch kann mir hier weiterhelfen.

LG
Joey

[meyergru]

Deine Hardware ist nicht das Problem, soviel ist klar, aber das hast Du ja selbst schon gesehen.

Zum einen ist TV-Kabel ein shared medium, bei dem Du keine wirklich garantierte Geschwindigkeit bekommst. Wenn andere Nutzer auf Deinem Segment Traffic machen, bekommst Du weniger Bandbreite. Siehe auch hier.

Diese kurzen Geschwindigkeitsschwankungen, gepaart mit Pufferungseffekten, kann massive Auswirkungen auf die gefühlte Geschwindigkeit haben.

Was Du versuchen kannst, ist Traffic Shaping. Konkret meine ich Maßnahmen gegen Bufferbloat. Du kannst auch vorab testen, ob das Dein Problem ist:

https://www.waveform.com/tools/bufferbloat

https://speed.cloudflare.com/

[Joey78]

Nun ich muss zugeben ich bin nicht der volle Pro auf dem Gebiet, aber ich hatte jetzt all die Jahre nie Probleme mit der Sophos und die 95mbit hinter der UTM hatte ich nahezu permanent eher drüber also so im Bereich 101-105MBit,... Habe auch jetzt nur wenn ich die Sense ins Spiel bringe diese Massiven Schwankungen und wie gesagt die gehen dann auch bis 5Mbit runter aber über 60-max 80 kommt es so gut wie nie! Den Bufferbloat habe ich mal gemacht und da brachte er Grade A Latency 19ms download +27ms und upload +28ms,.. Speed 88,2mbps down 20,3 up das aber hinter der Sophos jetzt mit Manjaro über diesen MiniPC.

[Zapad]

probier mal wan port speed fix auf 100mb full duplex zu stellen und testen....
manchmal stellt sich Opensense doof mit automatischen geschwindigkeits aushandlung.

[Joey78]

Das habe ich auch schon Probiert und gelesen, Danke, leider erfolglos,... Ich lese nur immer öfter das es mit der i226-V Ethernet und Freebds zu tun haben soll.

[meyergru]

Wie ein Router auf die Schwankungen reagiert, hängt vom Router ab. Tatsache ist, dass große Puffer eher mehr Schwierigkeiten machen. Ich habe  keine Ahnung von Sophos und weiß nicht, was die tun. Das hat mit Sicherheit nichts mit der I226V oder FreeBSD zu tun, sondern eher mit der Verwaltung der Puffergrößen.

Tatsache ist, dass Dein Test mit Sophos nicht zeigt, dass kein Bufferbloat-Problem mit OpnSense existiert. Du hast gefragt, was Du bei etwaigen Problemen mit OpnSense tun kannst (die Du hast) und das war mein Tipp.

Wenn Du es nicht glaubst, schön. Hier sind die Fakten nochmals erklärt:

https://www.bufferbloat.net/projects/

[Zapad]

schon mal die seite besucht?

https://github.com/nightcomdev/opnsense/tree/main/tunables

die hardware  sparte wäre interessant.

[Joey78]

@meyergru Entschuldige, ich wollte nicht zum ausdruck bringen das ich dir das nicht glaube. Mir geht es mehr darum das ich in dem Thema neu und etwas Überfordert bin. Mit der Sophos hat das halt über viele Jahre von Sich aus funktioniert und jetzt habe ich mit dem neuen Produkt Anlaufschwierigkeiten die ich nicht einordnen kann. Mit den Ausdrücken Bufferbloat kann ich nicht viel anfangen. Ich habe deine Zwei links natürlich ausgeführt aber die zeigen mir Werte die mir halt nichts weiter für mein Problem sagen. Cloudflare zeigt auch bei Network Quality Score video Stream Good Online Game Great video Chattin Good an Speed ist dann aber 87Mbit und up 21,5,.... Das jetzt über ein Windowsnotebook hinter der Opnsense die hinter der Sophos hängt.

@Zapad was meinst du mit Hardwaresparte? was da bei mir eingestellt ist? Und ja ich habe da mal rumexperimentiert aber nicht mit der Githubseite von dir. eher mit KI Fragen und Empfehlungen.

Also ich bin echt froh das ihr mir helft, Ich bitte euch um Nachsicht, ich bin hier nicht so dick in der Materie sonst würde ich nicht um Hilfe bitten.
Kann ich euch irgendwelche Daten zur Verfügung stellen mit denen ihr mir hier vielleicht helfen könntet?

[Zapad]

ich meinte auf der seite unter:

Hardware & Driver Settings

dev.igc.0.fc    0    1    Disable flow control on igc0 0=disabled 1=enabled
dev.igc.1.fc    0    1    Disable flow control on igc1 0=disabled 1=enabled
dev.igc.2.fc    0    1    Disable flow control on igc2 0=disabled 1=enabled
dev.igc.3.fc    0    1    Disable flow control on igc3 0=disabled 1=enabled
dev.igc.0.eee_control    0    1    Disable Energy Efficient Ethernet 0=disable 1=enabled
dev.igc.1.eee_control    0    1    Disable Energy Efficient Ethernet 0=disable 1=enabled
dev.igc.2.eee_control    0    1    Disable Energy Efficient Ethernet 0=disable 1=enabled
dev.igc.3.eee_control    0    1    Disable Energy Efficient Ethernet 0=disable 1=enabled
hw.igc.max_interrupt_rate    20000    8000    Max interrupts per second (10k). 8000 is also good and keep latency low. You can test with higher values if you have better ethernet card
hw.igc.enable_aim    2    1    Adaptive interrupt moderation. 2=low latency Adaptive Interrupt Moderation (AIM) — dynamically adjusts interrupt rate based on load., 1=normal Static interrupt moderation — not adaptive. (Fixed delay intervals), 0=disabled Every packet (or small
group) triggers immediate interrupt. Lowest latency, highest CPU interrupt rate

du kannst mal die Werte unter
System>einstellungen>optimierung testen.