Messages

1

German - Deutsch / Neuer OPNSense PC - Meinung zur Hardware

« on: February 10, 2024, 04:52:54 pm »

Hallo Leute,

ich habe derzeit einen alten i5-3570k als OPNBSense laufen und möchte diesen durch aktuelle Hardware ersetzen.

Meine Internetverbindung

Hauptanschluss: 5G mit 500 MBit
Backup: DSL mit 150 Mbit

Hab mir mal was zusammengesucht und wollte eure Meinung dazu wissen bzw. ob die Hardware für meine Anforderungen ausreicht

Mainboard: ASRock B760M Pro RS/D4
CPU: Intel Core i5-12400 (Hat wohl eine hohe Single Core Performance bei gutem Preis)
RAM: G.Skill Aegis DIMM Kit 32GB
Netzwerkkarte 1 - Inter-Tech Argus ST-727 (i350 Chipsatz 2x WAN, 1x Gäste)
Netzwerkkarte   2 - Chelsio S320e-LP-CR oder MCX515A-CCAT ConnectX-5 (LAN)

Meine Anforderung:

-) Datentransfer per SMB zwischen Linux Client und NAS (5GbE , theoretisch später auch 10GbE wenn mit der Hardware möglich)
-) Hardware Offloading (sollte ja eigentlich mit der Intel Nic und der Chelsio/X5 gehen oder? - leider finde ich da wenig Infos dazu)
-) Sensei/Surricata im Routing Mode fürs LAN
-) IPS fürs WAN
 
Glaubt ihr ist die Hardware ausreichen bzw. wenn nicht was würdet ihr ändert bzw. welche EInschränkungen hätte ich

Danke und LG
Patrick

2

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 11, 2023, 02:20:08 pm »

Also offenbar erreicht Deine OpnSense beim Routing nur 125 MByte/s single-threaded. SMB ist nämlich auch nur single-threaded. Die CPU ist zwar uralt, sollte aber für so etwas reichen.

Wenn RSS usw. an sind, hätte ich wie gesagt auf Zenarmor oder aktivierte Intrusion Detection getippt. Letzteres halbiert bei mir die Routing-Speed auch - wie gesagt, unabhängig von IDS/IPS.

Ich werde die Tage nochmal versuchen die OPNSense mal zurückzusetzen und mit Default Settings und einem VLAN probieren, vielleicht hat sich ja doch irgendwo ein Fehler eingeschlichen bei den Diensten.

Momentan habe ich die Dienste vom Screenshot laufen.

Crowdsec lief noch, das habe ich jetzt aber auch mal komplett deinstalliert, brachte aber auch keinen Erfolg.

Die letzte Möglichkeit dir mir noch einfällt ist, dass ich irgendwo einen neueren PC herbekomme zum Testen, vielleicht passt ihm ja wirklich irgendwas an der alten Hardware nicht.

Sonst gäbe es halt wohl nur noch die Möglichkeit das mit dem VLANs zu lassen, oder wieder weg von der OPNSense hin zu einer anderen Firewall das will ich aber eigentlich eher nicht.

3

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 11, 2023, 10:23:27 am »

RSS ist schon an?

Habe mir es mal raussuchen müssen, hat mir bis jetzt nichts gesagt. Habe die Tunables jetzt eingetragen und neugestartet. Leider immer noch das gleiche Ergebnis

4

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 10, 2023, 10:01:37 pm »

Jumbo Frames haben leider auch nichts gebracht.

@

Habt ihr vielleicht noch eine Idee. Kann es sein das irgendwas an der Hardware der OPNsense selbst zu schwach ist, auch wenn die CPU nicht ausgelastet ist?

Würde ja gegebenwnfalls in eine neue Hardware investieren aber dann soll es natürlich auch einen Sinn machen. Wenn es dann nichts bringt und ich den Speed wieder nicht bekomme will ich keine hunderte von Euro für neue Hardware ausgeben.

5

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 08, 2023, 07:41:04 am »

Dennoch die Frage: Du nutzt aber schon Jumboframes in Deinem Netzwerk?

Wenn Du mittels nc die volle Speed bekommst, würde ich den Fehler nicht bei deR OPNSense suchen.... einzig mal schauen, was die CPU-Auslastung während eines großen Kopiervorganges so von sich gibt...

Nein Jumboframes sind deaktiviert, ich habe mal gelesen das dies kaum was bringt und vorallem es alle alle Komponenten voll unterstützen müssen. Das Problem ist, ich habe verschiedene Switche bei manchen kann ich händisch etwas eingeben, bei anderen nur aus einem Drop Down Menü wählen und da hab ich manchmal 9000 und manchmal andere Werte wie ich glaube 9014. Funktioniert das dann vernünftig wenn die Werte alle unterschiedlich sind. Und auf dem NAS hatte ich irgendwie Probleme wenn ich die Jumboframes aktiviert hatte.

Sorry für die blöde Frage aber was ist "nc". Ohne OPNSense also im gleichen VLAN funktioniert der Speed. Es liegt also wohl definitiv an der OPNSense. CPU geht so auf 30% rauf wenn ich kopiere

6

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 07, 2023, 09:59:28 pm »

Tja, und damit liegen wir genau bei dem von Dir gemessenen Wert. Passt also alles.

Merke: Nicht alles, was man misst, kann man auch richtig interpretieren

Neben der "Pi-mal-Daumen"-Schätzung von 40% kannst Du natürlich auch noch am SMB ein wenig schrauben. Gerade SMB ist nicht unbedingt für Performanz bekannt. Vor allem, wenn es SMB1 oder SMB2 ist!
Prüfe, was bei Euch "gesprochen" wird und versuche dann zu optimieren.
Siehe u.a. auch hier.

Aber das klingt für mich irgendwie unlogisch, nach der Theorie hätte ich ja bei meinem Gigabyte Netz bisher nie die vollen 110 MB/s beim kopieren haben dürfen, und das war aber der Fall (auch über das VLAN hinweg in ein anderes VLAN). Oder verstehe ich was falsch???

Also ich habe bei mir SMB3 im Einsatz (denke ich zumindest) - ist halt die Frage ob ich es wo sehe (zumindest bei meinem QNAP NAS ist als minimum Version SMB3 eingestellt)

EDIT: Gerade nochmal alles auf 1G umgehängt und getestet - hier habe ich konstante 108 - 113 MB/s - siehe Screenshot

7

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 06, 2023, 06:28:46 pm »

Und wieder gilt der alte Satz: Wer misst, misst Mist.

Herzlichen Dank für die Info mit dem Multithreading, jetzt bin ich diesbezüglich auch erkenntnisreicher als vorher.

Wie gesagt habe ich bisher nicht mit iPerf gearbeitet, deswegen kannte ich die ganzen Befehle bzw. Parameter bzw. die Eigenheiten" wie eben das mit dem Multithread nicht. Aber Danke merke ich mir 


Die Ergenisse schauen wie folgt aus:

PC mit 2,5GbE PCIe Karte -> OPNSense:
[SUM]   0.00-10.00  sec  2.75 GBytes  2.37 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  2.75 GBytes  2.37 Gbits/sec                  receiver

QNAP NAS mit den integrierten 2,5GbE Schnitstellen -> OPNSense:
[SUM]   0.00-10.00  sec  1.99 GBytes  1.71 Gbits/sec                 sender
[SUM]   0.00-10.01  sec  1.90 GBytes  1.63 Gbits/sec                  receiver

QNAP NAS mit den originalen QNAP 5GbE  USB Adapter -> OPNSense:
[SUM]   0.00-10.00  sec  2.61 GBytes  2.25 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  2.61 GBytes  2.25 Gbits/sec                  receiver

Synology NAS mit 2,5 GbE -> OPNSense:
[SUM]   0.00-10.00  sec  2.69 GBytes  2.31 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  2.69 GBytes  2.31 Gbits/sec                  receiver

Also das heißt an dem liegt es mal nicht - die Clients haben zur OPNSense jeweils den richtige Speed

Danach habe ich den Test PC -> NAS und umgekehrt gemacht, dabei kommt folgendes raus:

PC -> NAS (Server)
[SUM]   0.00-10.00  sec  2.76 GBytes  2.37 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  2.76 GBytes  2.37 Gbits/sec                  receiver

NAS -> PC (Server)
[SUM]   0.00-10.01  sec  0.00 Bytes  0.00 bits/sec                  sender
[SUM]   0.00-10.01  sec  2.35 GBytes  2.01 Gbits/sec                  receiver


Also vom Speed her per iperf passt es jedenfalls jetzt mal, aber über SMB kriege ich trotzdem nur die 130 MB/S :-(

8

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 06, 2023, 12:40:03 pm »

Ich würde erstmal die physikalische Verbindung und das Switching überprüfen.

Danke dir, und danke für die ausführliche Erklärung (diese Layer Geschichten habe ich schonmal gehört aber haben mich nie wirklich interessiert, aber jetzt ist es zumindest ein bisschen klarer). Dann werde ich das mal überprüfen und schauen das ich mal die Verbindung mit 10GBit bzw. 2,5 Gbit zustande bekomme. Weil eigentlich sind alle Switche per Glasfaser über 10G miteinander und auch mit 10G mit der OPNSense verbunden. Also irgendwo ist hier der Hund begraben.

Die Hardware fadisiert sich wie gesagt, also scheinbar kommt er dann einfach nicht richtig mit der 10GB Karte  klar. Aber zumindest laut HWProbe passt es

Intel   82599ES 10-Gigabit SFI/SFP+ Network Connection   network   ix   works

Ich könnte es testweise mit einem 2,5GBit USB Adapter versuchen aber da habe ich gelesen das FreeBSD und USB LAn Adapter nicht die besten Freunde sind. Sonst muss halt wirklich eine neue Karte her 

EDIT: Es ist die Karte - https://geizhals.at/inter-tech-argus-st-7211-77773005-a2544949.html?hloc=at

Der Hauptswitch der zur OPNSense geht ist ein EdgeSwitch 16 XG - hier geht dann ein DAC Kabel zur OpnSense.

Was mir noch einfällt ich habe noch ein 2. Kabel (nur 1Gbit) von dem Switch zur Opnsense was aber eine extra LAN Karte geht als WAN2. Das sollte ja aber eigentlich nicht stören oder? Hier geht ja nur ein extra VLAN drüber, da die Fritzbox über die das DSL reinkommt woanders steht als die OPNSense

9

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 06, 2023, 10:49:19 am »

Zenarmor ist Zenarmor. Auch nur IDS statt IPS muss die Pakete inspizieren und verbraucht CPU, außerdem läuft es m.W. bislang nur auf einem Kern. Schalt mal ganz ab oder aktiviere es nur auf dem WAN-Interface.

Habe es jetzt einmal komplett deinstalliert. Ändert aber nichts. Lasse es trotzdem jetzt mal deinstalliert bis der Fehler behoben ist und dann teste ich es nochmal mit ob es da zu Verschlechterungen kommt.

Kannst du den throughput mal von client zu client mit einem tool wie iperf messen? Auf der OPNsense iperf3 nehmen und dann erstmal von beiden VLANs mit einem Client erstmal zur OPNsense testen.

Habe jetzt mal einen iperf vom Stand PC zur OPNSense gemacht und irgendwie kommt da nicht wirklich das gewünschte Ergebnis raus. (sofern ich alles richtig gemacht habe - muss gestehen habe noch nie mit iperf gearbeitet).

Wenn ich in der OPNSense das LAN auswähle kommt bei Schnitstelle ix0 (also eben die 10Gbit Karte), wenn ich ein VLAN auswähle kommt bei Schnitstelle "any" .

Rauskommen tut dann das was man im Screenshot sieht, also weit entfernt von 2,5Gbit (1. Test war LAN, 2. Test war das VLAN20 in dem der PC hängt) - was ich nicht verstehe denn wieso habe ich dann die 2,5Gbit wenn ich das NAS ins gleiche VLAN hänge. Liegt das daran weil die OPNSense dann nur durchlässt und nichts routen muss?

10

German - Deutsch / Re: Langsamer Traffice zwischen 2 VLANs

« on: December 05, 2023, 06:57:01 pm »

Hatte Zenarmor laufen mit "Routing Modem with native driver", das hatte ich auch als erstes im Verdacht und habe es deshalb mal umgestellt auf "Passive Mode (Reporting only)", aber keine Änderung.

Folgende Plugins habe ich noch laufen

Crowdsec
mDNS
Unbound

DNS habe ich AdGuard auf 2 Thin Clients aber das muss für den Anwendungsfall ja eigentlich egal sein.

11

German - Deutsch / Langsamer Traffice zwischen 2 VLANs

« on: December 05, 2023, 02:06:45 pm »

Hallo Leute,

ich habe eine OPNSense (i5-3570k mit 20GB Ram und 3 Netzwerkkarte (einmal die am Mainboard verbaute als WAN, einmal eine 1GbE PCIe Steckkarte als WAN2 und eine 10GBe PCIe Steckkarte als LAN). Auf der LAN Karte liegt das HauptLAN und die verschiedenen VLANs.

Ich habe 3 NAS System und den Hauptrechner die jeweils mit einer 2,5GBit Karte angebunden sind. Die 3 NAS sind im VLAN10, der Rechner im VLAN20.

Verschiebe ich Daten von einem NAS zum anderen erreiche ich 190 bis 250 MB/s, verschiebe ich jedoch Daten vom PC auf das NAS erreiche ich nur konstante 125 MB/s also GBe.

Ich habe jetzt testweise das NAS ins VLAN10 verfrachtet und siehe da, ich komme wieder auf die 190 bis 250 MB/s.

Kann mir jemand sagen wo hier das Problem liegt.

Vielen Dank schonmal
Grüße
Patrick

Anbei auch noch ein Netzplan

      .-----+------.   
      |  OPNsense  |
      '-----+------' 
             |
         10GBe
        LAN | 10.0.1.1/24
        vLAN10 | 10.0.10.1/24
        vLAN20 | 10.0.20.1/24
            |
      .-----+------.   
      |  LAN Switch +-----------------+ Stand PC (VLAN20)
      '-----+------' 
             |
         10GBe
             |
      .-----+------.   
      |  LAN Switch +-----------------+ NAS (VLAN10)
      '-----+------' 

12

German - Deutsch / Re: Site-to-Site Wireguard VPN mit Proxmox OPNSense klappt nicht

« on: October 07, 2023, 10:32:02 pm »

OOkay danke, das schaue ich mir morgen oder nächste Woche an, heute ist es dafür definitiv schon zu spät  Vorallem weil da ja jetzt die Routes zum tragen kommen. Aber wenn ich darf wende ich mich dann nochmal per PM an dich wenns nicht klappt.

Vielen Dank jedenfalls nochmal und schönes Wochenede noch.

Grüße
Patrick

13

German - Deutsch / Re: Site-to-Site Wireguard VPN mit Proxmox OPNSense klappt nicht

« on: October 07, 2023, 10:15:39 pm »

Genau so ist es.

Okay super dann versuche ich die Regelen noch umzustellen, denn ich brauche Sie ja nur am 2. WG Interface

Wireguard ist immer geroutet. Es ist nur ein unterschied ob du die Routen selber kontrollieren willst oder es durch allowed IPs steuerst.

Okay ich glaube da steige ich aus bevor ich was kaputt mache oder jeder dann Zugriff auf mein Netz hat

Und jetzt gleich noch eine Frage: Ich habe noch einen zweiten Anschluss als Backup WAN, der läuft über eine Fritzbox mit statischer IP und an der OPNSense liegt die LAN IP der Fritzbox am WAN2 (muss ich so nutzen wegen der Telefonie). Die IP der OPNSense ist auf der Fritzbox als Exposed Hosted eingestellt. Wenn jetzt mein WAN1 wegbricht ist natürlich auch die Site-to-Site weg. Wenn ich hier noch eine Wireguard Verbindung einrichte und diese über die statische IP der Fritzbox laufen lasse (sofern das überhaupt geht) kommt sich da dann irgendwas in die Quere oder kann ich dann immer egal werlches WAN grad anliegt auf das entfernte Netz zugreifen?

14

German - Deutsch / Re: Site-to-Site Wireguard VPN mit Proxmox OPNSense klappt nicht

« on: October 07, 2023, 10:03:08 pm »

Vielen herzlichen Dank, die Anleitung habe ich nicht gesehen. Und was soll ich sagen es funktioniert!!! Du hast mir keine Ahnung wieviele Stunden Arbeit erspart 
Es haben scheinbar etliche Firewall Regeln (die in Settings: Normalization und die in WireGuard (Group))  gefehlt welche in den anderen Anleitungen nicht angeführt waren.

Was ist eigentlich der unterschied zwischen der Firewall des "Wireguard Interfaces" und "Wireguard (Group)". Von der Logik her hätte ich jetzt gesagt alles was ich in "Wireguard (Group)" gilt für alle Wireguard Interfaces und das andere halt dann nur für das jeweilige Interface. Oder ist dies eine Spezielle Gruppe für Site-to-Site Verbindungen?

Und gleichvorweg sorry für die blöde Frage: Hat das geroutete WG eigentlich einen Vorteil bzw. wann würde das zum Einsatz kommen?

15

German - Deutsch / Site-to-Site Wireguard VPN mit Proxmox OPNSense klappt nicht

« on: October 07, 2023, 11:19:49 am »

Hallo Leute,

ich habe ein Problem mit einer Site-to-Site VPN Verbindung

Folgendes Szenario:

-) PC zuhause - OPNSense mit fixer statischer IP
-) Hosted Server mit Proxmox, hier läuft eine OPNSense VPN
-) Normale Wireguard VPN Verbindung zu der Proxmox OPNSense klappt, es lässt sich auch die GUI von OPNSense unter der LAN IP aufrufen

Proxmox hat auf dem Interface vmbr0 (BridgePort ens18) eine fixe statische IP (120.241.235.94/24, GW 120.241.235.1), die OPNSense VPN hat das Interface vmbr0 und vmbr1 zugewiesen, auf vmbr0 ist in der OPNSense Config die zweite statische IP eingetragen (120.241.235.252/24, GW 120.241.235.1), auf dem vmbr1 ist die LAN IP 192.168.100.1/24 eingetragen.

Es gibt außerdem noch das Tunnelnetzwerk (172.16.100.0/24). Die OPNSense zuhause hat die Tunneladresse 172.16.100.1/24 und die Proxmox OPNSense 172.16.100.2/24.

Ich habe auch in der OPNSense jeweils eine statische Route angelegt

Zuhause
IPv4-Netz: 192.168.0.0
Gateway: 10.0.1.1 (Die IP-Adresse der OPNsense)

Proxmox
IPv4-Netz: 10.0.0.0/8
Gateway: 192.168.100.1 (Die IP-Adresse der OPNsense)

In der Firewall ist auf dem WAN Interface jeweils die Regel "Source=any" - "Destination = WAN adress:51821" angelegt, weiters habe ich auf dem WireGuard Site-to-Site Interface zum testen jetzt mal eine "any any" Regel angelegt.

Bei den Endpoints ist die jeweilige Entpoint Adresse hinterlegt (Zuhause also die 120.241.235.252 und bei der Proxmox OPNSense die IP von zuhause) und bei den Allowed IPs die jeweils andere Tunnel IP sowie alle Netze die erreichbar sein sollen.

Der Handshake ist soweit auch mal erfolgreich. Ich kann über die Shell der OPNsense auch jeweils die andere Tunnealdresse erfolreich anpingen. Aber ich habe keinen Zugriff auf die jeweiligen Clients im anderen Netz.

Hat jemand eine Idee oder einen Tipp wo der Fehler liegt. Kann es sein das hier Proxmox irgendetwas blockiert oder noch etwas in der Proxmox Config eingetragen gehört? (Habe diesbezüglich zur Sicherheit auch noch im Proxmox Forum angefragt)

Danke schonmal im voraus

Grüße
Patrick

PS: Public IPs sind natürlich nicht die echten ;-)