Netzwerk/ Durchsatz Probleme

[Load]

Guten Morgen!
Mein Problem ist, dass meine Opensens auf nicht mehr als 500MB/s Up/Download kommt. Mir selber ist leider unbekannt woran es liegen könnte der Load average ist meistens bei    0.40, 0.41, 0.33 bis    0.70,  Im Graphen selbst ist die CPU Auslastung meistens bei 10-20% und der Ram bei 9%
Ich persönlich bin auch ein Neuling was Opensens betrifft daher kann es unter umständen auch ein ganz einfaches Problem sein.
Ich wäre sehr Dankbar wenn man mir helfen könnte!

Ich betreibe eine Opensens auf einer VMWare
Opensens
Leistung: Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz (10 cores)
               12GB Ram DDR4
Host Cluster: 24 Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz
                    256 GB DDR4 Ram
                    5,1 TB Speicher
                   Netzwerkkarte x520 DP10G
                   (ist mit 2x 10Gb/s angeschlossen welche auch vom Rechenzentrum anliegen dies wurde schon
                    kontrolliert)

[superwinni2]

Guten Morgen


an sih klingt die Hardware erstmal nicht all zu schlecht... Ich persönlich habe jedoch bereits schlechte Erfahrungen mit OPNsense auf VMware gemacht.
Trotz allem erstmal ein paar generelle Fragen...
Sind es wirklich 500MB/s (500 MegaByte/s) oder 500Mb/s (500 Megabit/s)?
Was bietet dein Provider/Rechenzentrum für Internetgeschwindigkeiten an? Sind diese Garantiert?
Wohin geht der Geschwindigkeitstest? ist die komplette Stecke auch für die Geschwindigkeit freigegeben? (Wenn es z.B. zu einem anderen Provider geht kann es auch sein, dass hier gedrosselt wird)


Wie machst du einen Leistungstest? Mit der OPNsense selbst oder mit einem Client hinter der OPNsense.
Die OPNsense ist an sich nicht für solch etwas optimiert. Ich erreiche ich mit meiner OPNsense (curl http://speedtest.belwue.net/1G > 1G) beim Download ca. 20MB/s bzw. 160 Mbit/s (bei einer 400 Mbit/s Leitung)


Was hast du für "Zusatzdienste" am laufen? Besonders IPS/IDS/Surrica?

[Load]

Ich meine Konkret Mbit/s also ich weiß durch eigener Recherche Dass die Opensens angeblich 10GB/s schaffen soll nur ich komme ja nicht mal an die 1G XD

Ich habe darüber auch bereits schon nach gedacht dass es an der VMware liegen könnte und dass ich unter umständen die Opensens Dediziert betreiben sollte.

Ich mache die Test mit einem Linux Client auf Iperf der auf 10G Strecken testet.
 

An der Opensens Selbst habe ich noch keinen Speedtest gemacht da man mir im Rechenzentrum sagte dass es eigentlich nur noch an der Opensens Liegen könnte. 


und das unterste was du mit Zusatzdiensten meinst, auf der Opensens läuft nur neben bei ein HAProxy für meine webseiten. Sonst würde ich sagen läuft da nichts 

Danke schonmal für die Rückmeldung

[Patrick M. Hausen]

Was für einen Typ Netzwerkkarte hast Du für die VM konfiguriert?

[Load]

Der Server hat ein Dell Intel x520 DP10G & I350 DP1g Daugther Card  hier ein einfacher beispiel link
( https://www.servershop24.de/dell-57800s-10g-1g-netzwerkkarte/a-122263/?ReferrerID=7&utm_source=googleproducts&utm_medium=cpc&utm_campaign=de&gclid=Cj0KCQiA-K2MBhC-ARIsAMtLKRuL3d8EcSlMUzt-OQDrSFg8jEFzQa9W9zYHZ74kn5C-pt7ivdUuRKoaAkuvEALw_wcB ) es werden beide Anschlüsse im Lacp gebündelt und via Pathtrouh direkt an die Opensens geschickt

[Patrick M. Hausen]

Ah ... Passthrough. Gut 

Wenn Du das System noch nicht produktiv brauchst, dann installier dochmal FreeBSD 13 und teste damit. Der Kernel der aktuellen OPNsense ist ein wenig im die Jahre gekommen und gerade im Netzwerkbereich hat sich eine Menge getan.

Wenn FreeBSD 13 deutlich mehr Durchsatz macht, dann wird es die OPNsense 22.1 auch tun. Beta kommt demnächst.

[Load]

Hab zwar bisschen Bahnhof verstanden aber gebe es so weiter und werde es testen! Vielen Dank Aber nur mal so aus Neugier gefragt… wird opensens eher wenig genutzt in Rechenzentren ? Kenne niemanden der es nutzt 👀

[Patrick M. Hausen]

Wir ersetzen gerade alle Firewalls im Unternehmen durch OPNsense. Aber wir sind auch recht FreeBSD-lastig.

Und ich kenne bisher tatsächlich niemanden, der überhaupt dedizierte Firewalls bei einem fremden Hoster einsetzt. Also außerhalb der eigenen RZs. Normalerweise liefern die Hoster wie Hetzner & Co ja Firewall-Services mit. Und AWS, Azure und andere "Clouds" ja sowieso.

Also nochmal zum Verständnis: OPNsense basiert auf einem Open-Source-Betriebssystem, das nicht Linux sondern FreeBSD heißt. Die aktuelle OPNsense Version auf FreeBSD 12.1, das veraltet und auch schon offiziell EOL ist.

Die nächste OPNsense-Version wird auf dem aktuellen FreeBSD 13 aufsetzen, das speziell im Netzwerkbereich deutlich besser "performen" sollte.

P.S. Es heißt OPNsense oder von mir aus opnsense, aber nicht opensens.

[Load]

Ja hab mir gerade mal ein Paar FreeBSD 13 Videos angesehen und das ist ein versuch wert aber ich glaube ich werde auf den Aktuellesn Build von Opensens dann einfach warten weil bis ich gerafft habe wie das manuell geht wird noch einige zeit Verstreichen. Ich mach dann einfach wieder einen Post wenn es nicht geht XD aber vielen dank für die Mühen!

Ich selber Bin ja auch Hoster zwar in den Start Löchern nur die Eigenen Systeme habe ich halt so nochmal extra abgeschirmt

[JeGr]

> Hab zwar bisschen Bahnhof verstanden aber gebe es so weiter und werde es testen! Vielen Dank Aber nur mal so aus Neugier gefragt… wird opensens eher wenig genutzt in Rechenzentren ? Kenne niemanden der es nutzt 👀

Das ist dann aber schon ein kleiner Horizont wenn du von dir einfach auf alle schließt

Sowohl OPNsense als auch pfSense werden oft und gern in Datacenter Umgebungen benutzt, wir betreuen selbst genug davon Daher also: doch, wird viel genutzt Allerdings - und das kann ich direkt aus der Praxis mal einwerfen - tendieren die meisten dazu, das im DC Betrieb ggf. mal mit Virtualisierung zu starten, wenn das aber ein wenig Größe bekommt, läuft das in den allermeisten Fällen nicht mehr auf irgendwelchen Shared HVs mit irgendwelchen Kundenboxen auf der gleichen Hardware. Nie. Entweder wirds dedizierte Hardware (>90% bei uns) oder es gibt nen eigenen kleinen Cluster für Netwerkkram auf dem Firewalls und ggf. noch sowas wie extra Loadbalancer, Netzwerk VMs o.ä. laufen. Schon allein durch Spectre, Meltdown etc. sowie Hypervisor Bugs die ggf. Durchbrüche zwischen VMs schaffen lässt man aus Security Sicht höchst ungern Firewall auf den gleichen HVs wie Kundensysteme laufen.

Und dann wird gern vergessen, dass bei kritischen HV Updates und dumb luck man plötzlich mal ohne Firewall dasteht, wenn der ESX, Proxmox, Xen oder sonstwas Cluster gegen die Wand fährt und nicht mehr hoch kommt. Das treibt viele alleine schon für SLA und HA Betrieb auf saubere eigene Hardware

Bezüglich IPerf - mit welchen IPERF Daten hast du denn getestet? Es gibt einige, die da single-threaded testen und damit an kleineren Hürden kratzen. Sobald man mehr als einen Datenstrom zulässt, sinds plötzlich dann doch MultiGigabit Je nach Hypervisor und Netzwerkcode/-optimierung kann es sein, dass da single-connection mäßig das Bottleneck hängt. Einfach mal mit 4 oder 8 parallelen Threads messen und schauen wie die Werte dann performen? Ggf. auch mal von HW auf HW direkt testen um Verkabelung oder Wegstrecke auszuschließen?

Cheers

[Load]

Tut mir leid habe gar nicht mit bekommen dass es noch eine Antwort gab!

also wenn es da irgendwo oder wie ein Service angebot von Opensens gibt, da würd ich ja mal gerne die Kontakt daten haben  (falls das ok ist hier danach zu fragen)

zu dem Letzten teil ich habe keine ahnung was mit HW gemeint ist  ich habe den Ipfer vom Rechenzentrum genutzt bzw was man mir geschickt hatte ( https://github.com/masonr/yet-another-bench-script)

[Patrick M. Hausen]

HV - Hypervisor
HW - Hardware

Was Service angeht: kontaktiere doch einfach den @JeGr - der macht so was.

[Load]

ja hab ihm eine DM gesendet würde dir aber auch gerne einen kleinen Obulus für deine Mühe geben daher hast du auch eine DM