Hallo.
Wenn man nach "OPNSense 10Gbit recommendation" sucht, findet man viele Anfragen, die in diese Richtung gehen (und ich habe auch viele davon gelesen). Dennoch hätte ich gerne nochmal einen guten Tipp, welche NIC ihr in Euren OPNSense-Firewalls für 10GBit-Verbindungen einsetzt?
Wir haben hier ein LAGG aus 2x 10GBit/s mit einer Intel X520-DA2 (CNA Dual Port 2x) NIC laufen -- allerdings liefert iperf3 hier immer nur einen Durchsatz von 4 bis 5 GBit/s. Ich bin bisher nie auch nur in die Nähe von "echten" 10GBit/s gekommen. Daher frage ich mich, welche Netzwerkkarten ihr einsetzt und mit welchen Modellen ihr gute Erfahrungen gemacht habt?
Ist es richtig, dass der Durchsatz der Netzwerkkarte abhängig von der verbauten CPU ist, "da ein Netzwerkport an einen CPU-Kern gebunden ist"? In unserer Firewall steckt eine Intel(R) Core(TM) i5-2400 CPU @ 3.10GHz (4 cores, 4 threads).
Reicht die evtl nicht?
Über einen Austausch diesbzgl würde ich mich freuen.
The I5 is a bit on the slow side.
X710-T4 is very good when pushing 10gbit/s but I think you need more CPU horsepower.
Especially when running IDS/IPS.
Hallo,
Aus meiner Erfahrung heraus ist es leider recht egal, welche NICs man einsetzt, zumindest bei Intel via SPF+. 10G schaffen sie alle. Auch die alten Mellanox. Die große Frage ist: unter welchen Bedingungen.
So ist z.B. Single Thread 10G ist eine echte Herausforderung, sobald geroutet wird / die CPU im Spiel ist. Das zwingt die CPU ganz einfach in die Knie. Der ältere i5 kann da schon untergehen.
Tips zum Testen:
1. iperf3 mit wenigstens 4 Streams laufen lassen
2. Sowohl durch als auch auf der Maschine testen
3. iperf3 auch mal lokal gegen sich selbst auf dem zu testenden Host ausführen
4. CPU während der Tests im Auge behalten (top)
Sollten die 4-5 GBit Multi Stream geswitched (nicht geroutet) sein, dann stimmt etwas nicht.
Danke und Thank you!
Especially when running IDS/IPS.
No, we do not use that.
-----
Klingt interessant - das kann ich testen. Aber wie realisierst Du das hier:
2. Sowohl durch als auch auf der Maschine testen
und wie stellt man das hier fest?
Sollten die 4-5 GBit Multi Stream geswitched (nicht geroutet) sein, dann stimmt etwas nicht.
Ich hatte die CPU damals "gewählt", da sie AES-NI an Bord hatte ... ist nichts besonderes aber scheinbar ist das für VPN eine gute Voraussetzung. Die Firewall nimmt ein paar Wireguard-Verbindungen an (weniger als 10)....
Dazu müsstest Du bitte kurz näher erläutern:
Welche Machine hat das 4-5 Gbit ,,Problem" - die Sense oder ein Server (welches Betriebssystem)?
Womit hast Du das Problem bisher festgestellt?
Generell zum Testen ,,durch": LAGG zerlegen, beide SFP Ports auf dem zu testenden Rechner bridgen und an jeden Port einen Rechner (iperf3 Client & Server). Der Traffic läuft dann nur ,,durch" die Machine (hier nur switching). ,,Durch" ist Standard z.B. zum Testen von Routern.
Testen ,,auf" - klar, iperf auf der Machine selbst laufen lassen (doch das war sicher nicht Deine Frage 😏)
Und immer in beide Richtungen testen. Da gibt es die verrücktesten Sachen, selbst bei genügend CPU etc.
Also der Aufbau bei uns sieht so aus:
1 GBit (Glasfaser-Anschluss)
<--1Gbit--> ONT
<--1GBit--> OPNSense (WAN)
<==2x 10GBit==> LAGG auf Unifi-Switch (US-16-XG) (LAN-Seite)
<==2x 10Gbit==> LAGG auf Cisco-Switch (SG-350X)
<==2x 10Gbit==> Proxmox-Server mit div. VMs
<--1GBit--> Endgeräte (LAN)
Die OPNSense läuft auf einer kleinen Bare-Metal-Kiste mit o.g. CPU (die laut WebUI nicht großartig belastet ist).
Ich habe beispielsweise vom Proxmox-Server aus iperf3 zur OPNSense ausprobiert (mit mit parallelen Streams wie z.B. iperf3 -P 25 )
LAGG zerlegen ist im heißen Betrieb gerade nicht so einfach -- aber gut zu wissen, dass das einen Versuch wert ist.
Interessantes Setup!
Die LAGGs sind failover (da Du immer von 10GBit/s als Sollwert sprichst)?
Wer / wo ist Dein LAN Router - oder liegen alle clients im selben Subnet?
Was ich tun würde falls räumlich möglich:
1. einen verfügbaren Rechner mit einer 2x10Gbit SFP+ Karte ausstatten
2. Alle SFP+ Links zwischen Switches, Proxmox und Sense kappen und auf RJ45 umstellen, notfalls eben 1GBit
3. Stückweise durchtesten. Beginnend mit direkten 1x10G Verbindungen ohne LAGG ( PC <= SFP+ => Proxmox, PC <-> Sense), dann LAGG dazu, dann über die Switches weiter etc.
Der Aufwand wird sich lohnen. So wirst Du den Bottleneck finden.
Noch zwei Tipps zu iperf:
- die beste Performance (CPU iperf) bekommst Du bei -P = physische CPU cores
- immer in separaten Shells die CPUs im Auge behalten, auf iperf Server und Client
QuoteInteressantes Setup!
Fehlen da die Ironie-Tags?
Das LAGG und die 10 GBit Ausstattung
zur OPNSense ist tatsächlich failover bzw war das auch etwas in die Zukunft gedacht, wenn der Internetanschluss tatsächlich mal schneller als 1 GBit werden sollte.
Die Sache mit dem Router im LAN ist etwas komplizierter, denn die Struktur ist ("historisch bedingt") gewachsen: Wir haben nicht nur
einen Cisco-Switch per LAGG verbunden sondern
viele. An all diesen Cisco-Switches hängen Accesspoints, an denen wiederum jede Menge Endgeräte per WLAN hängen. Die Geräte erhalten ihre IP direkt von der OPNSense (DHCP4) -- da sie im LAN nicht viel machen, ist als Gateway ebenfalls direkt die OPNSense-Adresse eingetragen, so dass das WLAN eigentlich eine ganz flache Struktur hat. Es gibt natürlich noch ein anderes VLAN, hinter dem Clients am LAN hängen, doch das hat meiner Meinung nach nichts mit dem "Problem" zu tun, dass es keine echten 10 GBit zur OPNSense sind?!
Wenn ich an diesem Aufbau etwas
grundsätzliches ändern sollte oder etwas
grundsätzliches nicht stimmt, würde ich das ändern. Das ganze Setup ist wie gesagt "gewachsen" und verteilt sich auch über mehrere Gebäudeteile...
QuoteFehlen da die Ironie-Tags?
Ganz und gar nicht - das ist ein "Real World" Netz und an der Struktur gibt es nichts zu auszusetzen.
Ist bei uns ähnlich aufgebaut / gewachsen, daher interessant. Von jedem Punkt zu jedem Punkt erreiche ich 9Gbit+ geswitched. Allerdings betreibe ich keine LAGGs, daher würde ich die erstmal aus der Gleichung rausnehmen.
Den Sinn der LAGGs hast Du noch nicht erklärt - Failover?
Ich würde trotz laufendem Betrieb versuchen, einen Strang (Proxmox bis zur Sense) ohne LAGG zu betreiben. Dann hast Du überall wenigstens einen SFP Port frei zum Testen. Während der Testphase wird Dir schon nicht gerade der Production-Port abbrauchen.
Hast Du einen direkten Weg Unifi<->Cisco<->Proxmox oder liegen da mehrere Switche dazwischen?
Falls ja, Szenario: Test-PC per 1 x SFP+ DAC am Unifi, über den Cisco zum Proxmox. Dort musst Du locker 9GB+ schaffen.
Du kannst Dir spaßeshalber auf der Sense mal die PCI-Anbindung der X520-DA2 ansehen (pciconf auf FreeBSD, leider hat OPNSense keinen pciutils port im repository). Wobei ich mir nicht vorstellen kann, daß die Netzwerk-Hardware bei Dir tatsächlich ein Problem darstellt.
Hi.
Das finde ich beruhigend, da wir hier keine IT-Profi-Abteilung haben sondern das Netzwerk in Eigenregie selbst betreiben. Unser Know-How reicht auch ganz sicher nicht mal ansatzweise an ein "Profi-Netzwerk" heran. (Nicht selten, dass ich frage: Macht man das "professionell" nun so -- oder spricht etwas dagegen?)
Aber zurück zur Sache:
Ich werde in Kürze eine 2. OPNSense zusammenbauen, die im Desaster-Fall einspringen kann (wohl wissend, dass die OPNSense auch CARP kann -- aber da habe ich mich noch nicht herangewagt).
Im Moment ist unsere Firewall ein "Single Point of Failure", was ganz sicher nicht gut ist. Da ich nun auf der Suche nach passender Hardware bin, kann ich auch gleiche was vernünftiges nehmen. Da wäre dann die Frage, welches Board sich anbietet oder ob man lieber gleich eine fertige Lösung nimmt?
Da die intel-NIC scheinbar gar nicht das Problem ist sondern evtl das Zusammenspiel der LAGGs mit den unterschiedlichen Switches, kann ich das im Labor-System im kleinen Stil nochmal nachbilden und messen.
Ach ja: Ursprünglich hatten wir die LAGGs nur auf Kupferleitungen. "Damals" haben wir aus 1GBit dann 2x 1GBit gemacht (LACP). Als die Umstellung auf Glasfaser kam, haben wir es einfach ausprobiert und dann festgestellt, dass es mit 2x 10 Gbit genauso funktioniert und das über alle Gebäudeteile dann gleich redundant ausgelegt. Ob das super sinnvoll war, wird sich wohl erst im Laufe der Zeit zeigen aber die LAGGs vom zentralen Unifi-Switch (der alle Glasfaserleitungen annimmt und weiter verteilt) zu den Cisco-Switchen in den unterschiedlichen Gebäudeteilen laufen stabil.
Der Proxmox-Server hängt (aus Mangel an weiteren freien Ports) direkt an einem Cisco-Switch, so dass iperf die Pakete so schicken müsste: Proxmox <==> Cisco <==> Unifi-Switch <==> OPNSense. Da ist also "nur" ein Cisco-Switch im Weg.
Um die 10Gibt-Verbindung mit einem PC richtig testen zu können, benötige ich aber zunächst die passende Hardware.
Viele Grüße und danke für die Tipps!
Als Test-PC benötigst Du nichts spezielles. Irgend ein aktueller PC (Linux drauf, nimm Deb wenn Du Proxmox kennst) und eine (duale) SFP+ NIC rein, wie Du sie z.B. in der Sense verbaut hast. Dann noch ein DAC Kabel dazu und fertig. Da bist Du mit 120,-€ aufrüsten dabei.
Zur Geschwindigkeit: Es müssen keinesfalls zwangsläufig die LAGG Links sein. Kann durchaus auch softwareseitig sein. Oder etwas anderes hardwareseitiges. Daher musst Du Dich rantesten.
Das schöne an Deiner Umgebung: Du kannst im tatsächlichen Hardware-Netz messen. Im Lab ist immer alles rosa rot.
OPNsense Hardware: Ich betreibe derzeit zwei DECs von Deciso und bin restlos begeistert. Die große (3850) ist gleichzeitig unser LAN (Subnet) Router und benötigt daher auch etwas mehr Kraft. Ein weiterer Vorteil der Teile: Sie sehen im Rack schick aus - ein nicht zu unterschätzender Faktor :)
Quote from: white_rabbit on December 09, 2022, 10:42:43 AM
Hi.
Das finde ich beruhigend, da wir hier keine IT-Profi-Abteilung haben sondern das Netzwerk in Eigenregie selbst betreiben. Unser Know-How reicht auch ganz sicher nicht mal ansatzweise an ein "Profi-Netzwerk" heran. (Nicht selten, dass ich frage: Macht man das "professionell" nun so -- oder spricht etwas dagegen?)
Aber zurück zur Sache:
Ich werde in Kürze eine 2. OPNSense zusammenbauen, die im Desaster-Fall einspringen kann (wohl wissend, dass die OPNSense auch CARP kann -- aber da habe ich mich noch nicht herangewagt).
Da die intel-NIC scheinbar gar nicht das Problem ist sondern evtl das Zusammenspiel der LAGGs mit den unterschiedlichen Switches, kann ich das im Labor-System im kleinen Stil nochmal nachbilden und messen.
Ach ja: Ursprünglich hatten wir die LAGGs nur auf Kupferleitungen. "Damals" haben wir aus 1GBit dann 2x 1GBit gemacht (LACP). Als die Umstellung auf Glasfaser kam, haben wir es einfach ausprobiert und dann festgestellt, dass es mit 2x 10 Gbit genauso funktioniert und das über alle Gebäudeteile dann gleich redundant ausgelegt. Ob das super sinnvoll war, wird sich wohl erst im Laufe der Zeit zeigen aber die LAGGs vom zentralen Unifi-Switch (der alle Glasfaserleitungen annimmt und weiter verteilt) zu den Cisco-Switchen in den unterschiedlichen Gebäudeteilen laufen stabil.
bitte nicht böse nehmen:
- ihr habt keine aqbteilung mit "it-profis" warum nicht
- anstelle einer abteilung nehmt doch einen it dienstleister der euch unterstützt, so ist es dann ordentlich gemacht
- so wie ich das lese seit ihr ein unternehmen was ja positive zahlen schreiben will, also einen tod muss man sterben, entweder den mit einer it-abteiliung (mit den richtigen profis) oder einen ordentlichen dienstleister.
wir bei uns in der firma sind 5 itler und gönnen uns für projekte externe dienstleister zu bestimmten themen (kann man ruhig machen, sonst schafft man jha die ganzen anderen projekte nicht)
PS: Frage: welche position hast du denn bei euch im unternehmen?
und zu eruer eingesetzten hardware (habt ihr wirklich noch vom hersteller support, das dürfte echt teuer sein bei so alter hardware), meine empfehlung: nimm 2 x https://shop.opnsense.com/product/dec850-opnsense-desktop-security-appliance/ (oder die rack variante) und lass die von einem profi einrichten (dienstleister). ich glaube nicht das dein chef noch lächelt wenn bei euch das internet nicht geht und alle kollegen nicht arbeiten können
Hi.
Quote
bitte nicht böse nehmen:
- ihr habt keine aqbteilung mit "it-profis" warum nicht
- anstelle einer abteilung nehmt doch einen it dienstleister der euch unterstützt, so ist es dann ordentlich gemacht
- so wie ich das lese seit ihr ein unternehmen was ja positive zahlen schreiben will, also einen tod muss man sterben, entweder den mit einer it-abteiliung (mit den richtigen profis) oder einen ordentlichen dienstleister.
Einfache Frage - einfache Antwort: Es mangelt an Personal und es mangelt an Geld. "Wir" sind auch kein Unternehmen sondern eine "einfache" Schule. Da ist das alles nicht
sooo einfach wie in der freien Wirtschaft -- zumal wir nur einen vergleichsweise winzigen IT-Etat haben. Dass es
überhaupt funktioniert grenzt manchmal schon an ein Wunder... ich hätte es auch lieber anders aber es ist nicht so leicht zu ändern.
Aber eine professionelle Firewall-Lösung wäre tatsächlich sinnvoll. Wir haben (nur) vormittags viele Zugriffe durch Endgeräte. Daher weiß ich nicht, wie groß die Kiste dimensioniert sein sollte?
Du machst das schon richtig in diesem Fall. Wenn es an Budget mangelt, muss man eben mit dem auskommen, was man hat.
Ich würde Dir dennoch ans Herz legen, zunächst Dein Netz zu überprüfen. Erst danach würde ich den Wechsel der FW Hardware planen.
Zur Hardware: Mit einer DEC der 8er Serie hast Du erstmal ausgesorgt. Das kann zwar auch etwas mit Kanonen auf Spatzen geschossen sein, aber vielleicht möchtest Du die Kiste zukünftig auch noch für zusätzliche Zwecke einsetzen. Abgesehen davon tut man mit der Business subscription - hoffe ich - auch etwas Gutes :)
Mal rein aus Interesse: Welche APs (Hersteller) setzt ihr ein?
Hi.
Ich hatte hier schon vor mehreren Jahren vorgeschlagen, dass wir eine dedizierte Firewall anschaffen sollten ... werde es nun aber nochmal auf den Tisch bringen.
Die DEC-Serien hatte ich mir schon angesehen -- weiß aber trotzdem noch nicht, welcher Typ für uns der richtige wäre. Sehe ich das richtig, dass man ein paar Stunden Support (ohne weiteres) dazu kaufen kann?
Ich werde das ganze aber zunächst mit einem PC und 10GBit über Kupfer und SFP+ wie vorgeschlagen testen ... dazu muss ich aber zunächst die beiden NICs kaufen.
Zu den APs: Wir haben überall Unifi UAP AC Pro ... es gibt hier aber leider bei zunehmender Anzahl von Clients ein paar Merkwürdigkeiten im Unifi-Controller, die hier aber OT sind.
Wie bereits erwähnt: Ich empfehle Dir für euren Zweck eine DEC der 8er Serie. Kostet, aber lohnt sich definitiv.
Zum "zugekauften" Support kann ich nichts sagen. Ich hatte bisher insgesamt zwei ungeklärte Fragen und mir wurde direkt am Telefon bei Deciso geholfen. Ja, ich muss zugeben, auch das macht die Sache für mich sympathisch :)
Du musst übrigens nicht zwangsläufig auf Intel NICs gehen. In einem Server habe ich eine ältere gebrauchte Mellanox und die läuft wunderbar unter Linux (FreeBSD weiß ich leider nicht) über DAC am SFP+ Switch.
Edit: Anm.: Yap, habe auch diverse Probleme mit Unifi APs. Aber das ist hier OT.