Messages

Ich dachte eigentlich immer das LAN auf der OPNSense hat quasi den VLAN Tag 1.

Verstehe ich das richtig das ich es so setzen soll - irgendwie habe ich das Gefühl ich stehe nämlich gerade auf der Leitung

Der Gelb markierte Port ist der wo die OPNSense per SFP ankommt.

Das Sync-Interface ist für CARP völlig irrelevant. Ich betone das nur nochmal, damit du nicht in der falschen Ecke suchst. Das ganze CARP findet immer auf dem Link statt, auf dem die virtuelle Adresse definiert ist.

Hatten wir schon öfter hier im Forum ;-)

Ja danke, vergesse ich immer, aber hab jetzt eh auf der LAN Schnitstelle gesucht.

Du schreibst "LAN bzw. VLANs" - hast du auf ein und demselben Interface tagged und untagged gemischt? Das würde ich als erstes mal umbauen, also dann auch das LAN tagged betreiben, wenn das der Fall ist.

Die Config schaut momentan so aus - Bild vom Assigment im Anhang

Das Board hat 4 LAN Ports und eine SFP+ Plus Karte

LAN 1: vmbr0 verbindung PVE01 bzw PVE 02 zum Ubiquiti EdgeSwitch 16 XG
LAN 2: vmbr1 an die OPNSense durchgereicht - WAN1
LAN 3: vmbr2 an die OPNSense durchgereicht - WAN2
LAN 4: vmbr3 an die OPNSense durchgereicht - Sync Schnitstelle (P2P Verbindung zum anderen Host)
SFP+ Karte: vmbr4 an die OPNSense durchgereicht - LAN und VLANs

Das heißt du meinst ich sollte das LAN z.B. auf vmbr3 legen (und über das dann auch den Sync machen und keine eigene Schnitstelle dafür vergeuden) und alle VLANs auf vmbr4. Das heißt aber auch ich bräuchte 2 Verbindungen von jeder OPNSense zum Switch oder? Wäre jetzt nicht das Problem, wills nur verstehen. Und im Switch müsste ich halt dann den ankommen LAN Port tagged setzen und halt den SFP+ mit den VLANs auch tagged, richtig.

Wenn ja dann sorry für die Blöde Frage aber das bringt dann was? Ausgelastet sind je die Schnitstellen nicht. Will die OPNSense kein untagged/tagged auf einer Schnitstelle. Bilde mir ein schonmal davon gelesen zu haben, habs aber dann nicht weiter verfolgt, weil ja eigentlich alles funktioniert auf der einen Schnitstelle.

Habs jetzt mal Parallel laufen lassen. Links die Master, rechts die Backup

Wie man sieht schuckt die Maser alle Sekunden aber die Backup Firewall empfängt nicht immer.

Auslastung kann ich jetzt nicht wirklich behaupten das eine da ist.

Das Sync Interface ist wie gesagt P2P wischen den 2 PVE Nodes mit 2,5 Gbit LAN und die LAN bzw. VLANs hängen mit 10Gbit an den PVEs. Traffic Reporting schaut jetzt auch nicht danach aus als wäre da was ungewöhnliches.

Also wenn ich das Packet Capture auf der LAN Schnitstelle ausführe kommt das was am Screenshot zu sehen ist raus (.11 ist die Master Firewall, .12 die Backup Firewall). Kann mit dem irgendwie nur nix anfangen. Rot ist ja eigentlich prinzipiell schlecht, andererseits schaut das danach aus als würde was ankommen.

Was ich dazusagen muss, bei der 24.x at mit der identischen Config alles ohne Probleme funktioniert. Dachte mir schon vielleicht ist es ein unter bestimmten Voraussetzungen gegebener Bug.

Habe das nämlich auch noch von jemanden geschickt bekommen habe, ist zwar PFSense aber ja - vielleicht ist ja da trotzdem auch bei der OPNSense was dran - ist halt komisch das es bisher funktioniert hat mit der Config
https://forum.netgate.com/topic/172100/ha-randomly-backup-goes-to-master-state/14

die Logs sagen was von Time Out, anpingen lassen sie die 2 Firewalls aber über das Sync Interface (any any Regel ist angelegt)

Und wenn ich unter der Backup Firewall den Carp Mode temporär deaktiviere und wieder aktiviere kommt folgende WMeldung

CARP has detected a problem and this unit has been demoted to BACKUP status.
Check link status on all interfaces with configured CARP VIPs

Backup Firewall Settings

Master Firewall Settings

Hallo Leute,

ich hab ein eigenartiges Problem mit meinem OPNSense HA Setting. Der Virtual IP Status auf meiner Backup Firewall wechselt ständig zwischen Master und Backup wenn ich diesen aktualisiere (Interfaces->Virtual IPs->Status). Das interessante ist, den Masterfirewall Status interessiert das Null, die bleibt soweit immer auf ihrem Master Status. Aufgefallen ist es mir weil ich seit einiger Zeit Probleme im Netz habe (immer wieder aussetzer bei Streams z.B.) und mich auf die Spurensuche begeben habe. Mittlerweile sind beide OPNSense neu installiert und konfiguriert und trotzdem besteht das Problem weiter.

Anbei auch ein paar Screenshots der Config und die Logs (hier ist die Rede von Timeout)

Die 2 OPNSense sind jeweils in einer Proxmox VM auf jeweils einem Node
Das Board hat 4 LAN Ports und eine SFP+ Plus Karte

LAN 1: vmbr0 PVE01 bzw PVE 02 über Ubiquiti EdgeSwitch 16 XG
LAN 2: vmbr1 - WAN1
LAN 3: vmbr2 - WAN2
LAN 4: vmbr3 - HA Sync Schnitstelle (P2P Verbindung zum anderen Host)
SFP+ Karte: vmbr4 - OPNSense LAn (und VLANs)

vmbr 1-4 sind jeweils den OPNSense VMs zugewiesen, die jeweiligen Interefaces in den Sensen sind exakt gleich eingestellt (opt1 usw)

Der Sync selbst funktioniert interessanter weise aber komplett bei jeglichen Änderungen

Vielleicht hat ja jemand eine Idee.

Danke schonmal
Liebe Grüße Patrick

Hallo Leute,

ich habe derzeit einen alten i5-3570k als OPNBSense laufen und möchte diesen durch aktuelle Hardware ersetzen.

Meine Internetverbindung

Hauptanschluss: 5G mit 500 MBit
Backup: DSL mit 150 Mbit

Hab mir mal was zusammengesucht und wollte eure Meinung dazu wissen bzw. ob die Hardware für meine Anforderungen ausreicht

Mainboard: ASRock B760M Pro RS/D4
CPU: Intel Core i5-12400 (Hat wohl eine hohe Single Core Performance bei gutem Preis)
RAM: G.Skill Aegis DIMM Kit 32GB
Netzwerkkarte 1 - Inter-Tech Argus ST-727 (i350 Chipsatz 2x WAN, 1x Gäste)
Netzwerkkarte   2 - Chelsio S320e-LP-CR oder MCX515A-CCAT ConnectX-5 (LAN)

Meine Anforderung:

-) Datentransfer per SMB zwischen Linux Client und NAS (5GbE , theoretisch später auch 10GbE wenn mit der Hardware möglich)
-) Hardware Offloading (sollte ja eigentlich mit der Intel Nic und der Chelsio/X5 gehen oder? - leider finde ich da wenig Infos dazu)
-) Sensei/Surricata im Routing Mode fürs LAN
-) IPS fürs WAN

Glaubt ihr ist die Hardware ausreichen bzw. wenn nicht was würdet ihr ändert bzw. welche EInschränkungen hätte ich

Danke und LG
Patrick

Also offenbar erreicht Deine OpnSense beim Routing nur 125 MByte/s single-threaded. SMB ist nämlich auch nur single-threaded. Die CPU ist zwar uralt, sollte aber für so etwas reichen.

Wenn RSS usw. an sind, hätte ich wie gesagt auf Zenarmor oder aktivierte Intrusion Detection getippt. Letzteres halbiert bei mir die Routing-Speed auch - wie gesagt, unabhängig von IDS/IPS.

Ich werde die Tage nochmal versuchen die OPNSense mal zurückzusetzen und mit Default Settings und einem VLAN probieren, vielleicht hat sich ja doch irgendwo ein Fehler eingeschlichen bei den Diensten.

Momentan habe ich die Dienste vom Screenshot laufen.

Crowdsec lief noch, das habe ich jetzt aber auch mal komplett deinstalliert, brachte aber auch keinen Erfolg.

Die letzte Möglichkeit dir mir noch einfällt ist, dass ich irgendwo einen neueren PC herbekomme zum Testen, vielleicht passt ihm ja wirklich irgendwas an der alten Hardware nicht.

Sonst gäbe es halt wohl nur noch die Möglichkeit das mit dem VLANs zu lassen, oder wieder weg von der OPNSense hin zu einer anderen Firewall das will ich aber eigentlich eher nicht.

RSS ist schon an?

Habe mir es mal raussuchen müssen, hat mir bis jetzt nichts gesagt. Habe die Tunables jetzt eingetragen und neugestartet. Leider immer noch das gleiche Ergebnis :(

Jumbo Frames haben leider auch nichts gebracht.

@

Habt ihr vielleicht noch eine Idee. Kann es sein das irgendwas an der Hardware der OPNsense selbst zu schwach ist, auch wenn die CPU nicht ausgelastet ist?

Würde ja gegebenwnfalls in eine neue Hardware investieren aber dann soll es natürlich auch einen Sinn machen. Wenn es dann nichts bringt und ich den Speed wieder nicht bekomme will ich keine hunderte von Euro für neue Hardware ausgeben.

Dennoch die Frage: Du nutzt aber schon Jumboframes in Deinem Netzwerk?

Wenn Du mittels nc die volle Speed bekommst, würde ich den Fehler nicht bei deR OPNSense suchen.... einzig mal schauen, was die CPU-Auslastung während eines großen Kopiervorganges so von sich gibt...

Nein Jumboframes sind deaktiviert, ich habe mal gelesen das dies kaum was bringt und vorallem es alle alle Komponenten voll unterstützen müssen. Das Problem ist, ich habe verschiedene Switche bei manchen kann ich händisch etwas eingeben, bei anderen nur aus einem Drop Down Menü wählen und da hab ich manchmal 9000 und manchmal andere Werte wie ich glaube 9014. Funktioniert das dann vernünftig wenn die Werte alle unterschiedlich sind. Und auf dem NAS hatte ich irgendwie Probleme wenn ich die Jumboframes aktiviert hatte.

Sorry für die blöde Frage aber was ist "nc". Ohne OPNSense also im gleichen VLAN funktioniert der Speed. Es liegt also wohl definitiv an der OPNSense. CPU geht so auf 30% rauf wenn ich kopiere

Tja, und damit liegen wir genau bei dem von Dir gemessenen Wert. Passt also alles.

Merke: Nicht alles, was man misst, kann man auch richtig interpretieren ;)

Neben der "Pi-mal-Daumen"-Schätzung von 40% kannst Du natürlich auch noch am SMB ein wenig schrauben. Gerade SMB ist nicht unbedingt für Performanz bekannt. Vor allem, wenn es SMB1 oder SMB2 ist!
Prüfe, was bei Euch "gesprochen" wird und versuche dann zu optimieren.
Siehe u.a. auch hier.

Aber das klingt für mich irgendwie unlogisch, nach der Theorie hätte ich ja bei meinem Gigabyte Netz bisher nie die vollen 110 MB/s beim kopieren haben dürfen, und das war aber der Fall (auch über das VLAN hinweg in ein anderes VLAN). Oder verstehe ich was falsch???

Also ich habe bei mir SMB3 im Einsatz (denke ich zumindest) - ist halt die Frage ob ich es wo sehe (zumindest bei meinem QNAP NAS ist als minimum Version SMB3 eingestellt)

EDIT: Gerade nochmal alles auf 1G umgehängt und getestet - hier habe ich konstante 108 - 113 MB/s - siehe Screenshot

Und wieder gilt der alte Satz: Wer misst, misst Mist.

Herzlichen Dank für die Info mit dem Multithreading, jetzt bin ich diesbezüglich auch erkenntnisreicher als vorher.

Wie gesagt habe ich bisher nicht mit iPerf gearbeitet, deswegen kannte ich die ganzen Befehle bzw. Parameter bzw. die Eigenheiten" wie eben das mit dem Multithread nicht. Aber Danke merke ich mir  ;)


Die Ergenisse schauen wie folgt aus:

PC mit 2,5GbE PCIe Karte -> OPNSense:
[SUM]   0.00-10.00  sec  2.75 GBytes  2.37 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  2.75 GBytes  2.37 Gbits/sec                  receiver

QNAP NAS mit den integrierten 2,5GbE Schnitstellen -> OPNSense:
[SUM]   0.00-10.00  sec  1.99 GBytes  1.71 Gbits/sec                 sender
[SUM]   0.00-10.01  sec  1.90 GBytes  1.63 Gbits/sec                  receiver

QNAP NAS mit den originalen QNAP 5GbE  USB Adapter -> OPNSense:
[SUM]   0.00-10.00  sec  2.61 GBytes  2.25 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  2.61 GBytes  2.25 Gbits/sec                  receiver

Synology NAS mit 2,5 GbE -> OPNSense:
[SUM]   0.00-10.00  sec  2.69 GBytes  2.31 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  2.69 GBytes  2.31 Gbits/sec                  receiver

Also das heißt an dem liegt es mal nicht - die Clients haben zur OPNSense jeweils den richtige Speed

Danach habe ich den Test PC -> NAS und umgekehrt gemacht, dabei kommt folgendes raus:

PC -> NAS (Server)
[SUM]   0.00-10.00  sec  2.76 GBytes  2.37 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  2.76 GBytes  2.37 Gbits/sec                  receiver

NAS -> PC (Server)
[SUM]   0.00-10.01  sec  0.00 Bytes  0.00 bits/sec                  sender
[SUM]   0.00-10.01  sec  2.35 GBytes  2.01 Gbits/sec                  receiver


Also vom Speed her per iperf passt es jedenfalls jetzt mal, aber über SMB kriege ich trotzdem nur die 130 MB/S :-(