Messages

Hello pylox, all

just to be clear: I am testing through plain IP+NAT connection (PPPoE was mentioned as a possible bottleneck, but not tested YET), and that simple test setup has approx. only 40-50% of the max. possible throughput. If I add PPPoE, it will be even slower. That's the point of this thread, trying to find at least 1 credible person who is currently using APU2 with Opnsense, and he/she confirms their speed can reach 85-90% of gigabit (at least). Even if using over PPPoE!
Then the next round will be to see, what needs to be fine-tuned to have the same perf at my ISP.
......

Hi ricsip,

this ist very hard to find. Unfornatunatly i did not have a test setup with a APU2 (and not much time).
But you can try different things:

1. Change this tunables and measure...
vm.pmap.pti="0"  #(disable meltdown patch - this is an AMD processor)
hw.ibrs_disable="1" #(disable spectre patch temporarily)

2. Try to disable igb flow control for each interface and measure
hw.igb.<x>.fc=0  #(x = number of interface)

3. Change the network interface interrupt rate and measure
hw.igb.max_interrupt_rate="16000" #(start with 16000, can increased up to 64000)

4. Disable Energy Efficiency for each interface an measure
dev.igb.<x>.eee_disabled="1" #(x = number of interface)

Should be enough for the first time...;-)

regards pylox

[PPPoE related topic]

Hi pylox,

Having read the relevant man pages it seems I was indeed grossly misinformed. I was told to add those lines when I first started using pfSense (and *BSD), as I was using various Intel Pro and I-series ethernet NICs. I don't run wifi on my gateway (I use Unifi APs) so I was obviously given duff information.

My apologies for repeating it here, and thanks for the lesson.

Hi rainmaker,

no problem... Some time before i did the same entry in loader.conf.local... ;D After some research i realize it's bullshit...
I think the OP's problem is something special PPPoE related topic. Normally there should no problems with performance on APU2.

regards pylox

NIC queues are one factor, as you state. I'm not sure if OPNsense utilises multiple queues (i.e. per core) or whether it just uses one. For your APU specifically, did you accept the Intel proprietary licence? I can't quite recall whether the APU2 uses igb drivers? I don't even know if that applies to OPNsense, but I know on pfSense I was advised to create the following for an APU2:

Code Select Expand

/boot/loader.conf.local
 
legal.intel_ipw.license_ack=1
legal.intel_iwi.license_ack=1

Then reboot. This apparently 'unlocks' some extra functionality in the NIC, which may improve your throughput. If you're running off an SSD don't forget to enable TRIM.

Hi rainmaker,

The license ack has nothing to do with igb driver (imho). This ist related to Intel PRO/Wireless adapters.
(https://www.freebsd.org/cgi/man.cgi?iwi)

regards pylox

[Block-All Rule am Ende weglassen]

Und wenn Du die "Block alles" Regel am Ende weg lässt?
Die ist nämlich nutzlos, da OPNsense sowieso alles blockt was nicht explizit erlaubt ist.

Vermutlich blockt die sogar den passiven FTP Verbindungsaufbau.
Du kannst das prüfen indem Du in der Regel "Log" aktivierst.
Dann kannst Du unter Firewall->Log Files->Normal View sehen ob diese Regel blockt.

@faunsen

Mir sind wg. dem FTP-Proxy schon graue Haare gewachsen...;-) Irgendwann hab ich das Thema dann liegen gelassen.
Der entscheidende Hinweis war nun: Block-All Rule am Ende weglassen - nu gehts.
Danke für den entscheidenden Hinweis.

Grüße pylox

Hi,

My ISP (1&1 / Versanet) provides me VDSL via PPPoE dial-in. They only accept PPPoE traffic which is tagged as VLAN 7.
So I created an interface for that (re1_vlan7) and used it for the PPP configuration (pppoe0). That resulted in the creation of the WAN interface.

- i think, here is a (one) possible problem. My provider is also 1&1 and have a Zyxel (Router configured as modem) - and everything works fine. You must not configure VLAN7/WAN on firewall-side... You have to setup in Zyxel a bridge with VLAN7. Can you try this ?

regards
pylox

Versuche jetzt mal mit VMWARE weiterzukommen. Wenns klappt virtualisiere ich bis freebsd mitspielt.
Auch wenns mir nicht "schmeckt". :-\

Hi Kosti,

mit der Virtualisierung unter VMWare sollte ganz gut klappen, einzig die Konfiguration der (virtuellen) Netzwerkadapter kann etwas tricky sein... Wenn Du da nicht weiterkommst kannst Du Dich ja nochmal melden...

Grüße pylox

Hi kosti,

ich bin mir ziemlich sicher, das es mit Deiner Hardware zusammenhängt (vielleicht ist zusätzlich das BIOS auch noch etwas buggy...). Die basiert auf der Intel ATOM-Reihe C3xxx, ist also relativ neu. Das Thema wurde hier auch im Forum schon mal diskutiert.

In welcher FreeBSD-Version die Hardware unterstützt ist/wird, kann ich Dir nicht sagen. Da könntest Du mal das FreeBSD-Forum bemühen. An Deiner Stelle würde ich mich darauf einstellen, das die Hardware nicht kurzfristig mit FeeeBSD/OPNSense einsetzbar ist.

b.t.w: welche OPNSense-Version setzt Du ein ? Ab OPNsense v18.1 kommt meines Wissens FreeBSD 11.1 zum Einsatz

Grüße
pylox

Hi crankypants,

the SG-4860 works perfect for me (with opnsense). It could be a little bit tricky to configure the serial port. If i'am remember right the tips for OPNsense at netgate homepage worked only until v16.x .

After some trials i found a way for me to get the "lights on":

1. Create a USB-stick with OPNsense serial (amd64)
2. Mount this USB stick on any other running FreeBSD device and navigate into /boot on USB-stick
3. Edit or create (if not there) a file "loader.conf.local" and put the following lines in it:

Code Select Expand


hint.uart.0.flags=0x0
hint.uart.1.flags=0x10
comconsole_speed="115200"
comconsole_port="0x2F8"
console="comconsole"
kern.cam.boot_delay="10000"


3. Save file and unmount USB stick
4. Put USB stick in your Netgate SG-4860 and boot - et voila....

The SG-4860 is running without issues/problems for over 1,5 years now.

have fun,
regards pylox

Hi jwe,

i think your answer is not true in general. I'd like to use the resolver too and i have the same issues like the OP (when i use the Unbound resolver -not forwarding- on my OPnSense box).

So i created a separate FreeBSD-VM on my LAN with Unbound. When i use this one for DNS resolving on my LAN the answers are very quick and at 100% level (10-20ms, no time out). The root zone is not the bottleneck. 

But what is the difference in configuration ?
On my OpnSense box i have blocked IPV6 and the Unbound has a configuration with IPV6=YES. The Unbound on separate VM does not...only IPV4. I'm not sure this is the only difference.

Regards pylox

Hi,

das Problem war in einer anderen Ecke, habe an der falschen Stelle gesucht.  Ich konnte als "Schuldigen" das Suricata ausmachen. Nach langem Hin- Her- u. Rumsuchen  ;) bin ich dann mal halbwegs systematisch vorgegangen, habe FW-Rules bis auf ein Minimum herunter-gestrippt und zum Schluss nicht lebenswichtige Dienste. Und siehe da, nachdem ich das IPS deaktiviert hatte - voila, da war die Welt wieder in Ordnung.

Die gute Nachricht ist - VoIP läuft seit gestern wieder zuverlässig. Leider weiss ich nun noch nicht, was an/mit dem Suricata nicht gestimmt hat...

Eingestellt hatte ich:
IPS-Modus                 an
Promiscuous-Modus   an
Musterprüfer             default
Schnittstellen            WANPPPoE1

Hardware-Offloading ist komplett deaktiviert. Und aktiviert hatte ich bisher nur die "abuse.ch"-Listen. Was ich merkwürdig finde, das Suricata nichts erhellendes ins LOG geschrieben hat und auch keine Alarmmeldungen in der GUI angezeigt wurden...


   

Hi nasq,

aber was mir jetzt aufgefallen ist, nachdem ich Deinen Post gelesen habe: Ich habe die Annahme getroffen, das die 1&1-Server sich in einem /24 - Netzsegment befinden... Das kann natürlich falsch sein ???

Ich werde es daher heute nochmal mit einem entsprechendem Host-Alias (alle 1&1-Server) versuchen.

Gruß pylox

Hi nasq,

danke für Deine Antwort. Ich Komme ursprünglich von der OPNSense 16.7.x, habe also ein Update gemacht - keine Neu-Installation.

Zu Deiner Frage: Der Witz ist ja, das die 1&1-Server, die ich eigentlich per FW-Rule durchlassen will, geblockt werden. Es tauchen im FW-Log nur "Block" - Einträge für eigentlich bekannte Server auf.... Also keine Server, die ich noch freigeben müsste.

Gruß pylox

Hallo,

ich habe ein ziemlich nerviges Problem mit OPNsense (17.1.3) und meiner VoIP-Anbindung bei 1&1. Das äussert sich so, das ich von aussen nicht/oder nur sporadisch angerufen werden kann. Mein Eindruck ist (kann es leider nicht genau festmachen), das es seit dem Update auf 17.1.x auftritt. Voher gab es nichts zu beanstanden. Der Vollständigkeit halber sei erwähnt, meine OPNSense bucht sich über ein Zyxel-Modem (PPPoE) ins Internet ein - also nix weiter dazwischen.

In den Firewall-Rules (WAN) sieht es dann so aus, das die 1&1-SIP Server (2x /24 Netzwerke) per UDP reindürfen, der Rest geblockt wird und per NAT ein Forwarding auf eine Adresse (Gigaset IP-Telefon) in einem privaten Netzwerk-Segment erfolgt. Wie gesagt vor 17.1.x kein Problem.

Ein Blick in das FireWall-Log macht mich dann entgültig wahnsinnig, denn dort sehe ich, das die eigentlich per Rule erlaubten IP-Adressen der 1&1 SIP-Server (UDP) plötzlich geblockt werden ! Für mich ist leider nicht ersichtlich warum. Um dem Ganzen dann noch einen draufzusetzen - manchmal funktioniert es nach einem Neustart kurzzeitig und dann nicht mehr...
Hat sich seit 17.1.x (bzw. mit FreeBSD 11) am Verhalten der FireWall(PF) etwas grundsätzlich geändert ?

Ich bin völlig ratlos und bitte Euch um Hilfe

Gruß pylox

Hallo,

leicht verunsichert durch die Meldungen im Board war ich etwas zurückhaltend mit dem Major-Update. Habe es nun doch gewagt und was soll ich sagen, - es hat prima funktioniert ! Verwendete Hardware ist die Netgate SG-4860.

Ein dickes Dankeschön an die Macher dieses großartigen Projektes !  ;D

Grüße pylox

Hi (Franco),

is there any progress on this topic ? - i have the same problem... This is a very annoying "feature". ;)

regards pylox