Messages

Noch ein Nachtrag, vor allem für jene, die etwas ähnliches probieren und mit "sysctl dev.ix.0.advertise_speed" den oben geannten Fehler (sysctl: dev.ix.0.advertise_speed=4: Invalid argument) erhalten.
Die Meldung heißt nicht, dass die Syntax verletzt wurde, sondern, dass der verwendet Wert unzulässig ist.
Bemerkt habe ich das mit einem Blick auf die Konsole (proxmox VM -> >_ Console). Dort wird (bei mir) folgende Meldung ausgegeben:

Code Select Expand

ix0: Advertised speed can only be set on copper or multispeed fiber media types..
Diese Meldung wird nicht ausgegeben in der SSH-Sitzung. Mit diesem Wissen habe ich auch im Log von OPNsense geschaut, dort ist sie auch in "Log Files > General".

Ich werde den Plan nicht weiter mit der intel X520 verfolgen.

Das kann ich als quick & dirty Lösung mit der vorhandenen Mellanox X3 umsetzen. So richtig happy bin ich damit aber eben auch nicht.  So weit ich das richtig verstanden habe ist das weniger sicher und nicht so performant.

Wie gesagt, mit 10Gbit RJ45 Wald-und-Wiesen-Modulen funktioniert die X520 tadellos unter OPNsense. Nur eben nicht mit nativen 1Gbit Modulen. Deshalb nahm ich an, es wäre kein Treiber-Problem.

Vergessen habe ich noch: Mit dem kmod-Treiber wird keine Fehlermeldung über ein nicht unterstütztes SFP-Modul mehr im Log ausgegeben. Funktioniert trotzdem nicht.

Ist PCIe Passthrough irgendwie zwingend? Vielleicht funktioniert die Hardware besser mit Linux Treibern und man reicht es z.B. als virtIO Device an die VM weiter.

Danke, das habe ich ziemlich am Anfang gemacht. Deshalb laufen auch die nicht-intel-Module (RJ45, 10Gbit).
Sollte ich nicht etwas total offensichtliches übersehen haben (durchaus möglich), gehe ich davon aus, dass die Karte mit der aktuellen OPNsense Version ausschließlich 10Gbit zur Verfügung stellt. Das würde sich mit den Erfahrungen anderer Nutzer decken.
Womöglich liegt es aber auch an der X520, womöglich nicht original?

Danke für eure Hilfe. Ich freue mich über weitere Einfälle, aber ich habe inzwischen so viel Zeit verbraten, dass ich das Thema abhaken möchte.

Hast du eigentlich mal

Code Select Expand

hw.ix.unsupported_sfp=1
ausprobiert? Müsstest du über das UI setzen und dann rebooten, geht nicht zur Laufzeit.

4. Eine andere NIC beschaffen. Hat vielleicht jemand einen Tipp, welche zuverlässig mittels PCIe-Passthrough funktionieren kann?

Code Select Expand

root@pOPNsense:~ # sysctl dev.ix.1.advertise_speed=0
root@pOPNsense:~ # sysctl -x dev.ix.1.advertise_speed=0x0Diese beiden Befehle funktionieren - also ist die Syntax korrekt und die NIC will einfach nicht.

Ich habe von ähnlichen Problemen auch in Verbindung mit der intel x710 gelesen, also würde ich auch nichts gewinnen, eine andere (aktuellere) Karte zu beschaffen.

So langsam komme ich zu dem Fazit, dass die x520 zu viele Probleme macht. Insbesondere wenn sich die Funktionalität von OPNsense Version zu OPNsense Version als zu wackelig erweisen kann.

Daraus ergeben sich für mich drei Optionen:

• Die Mellanox X3 unter proxmox mittels Bridges benutzen
• OPNsense bare metal installieren. - Welches Gerät?
• Doch weiter Unifi benutzen

Die Installation des kmod-Treibers hat keine Besserung gebracht.

Kann es sein, dass es sich um ein Upstreamproblem handelt? Vergleiche https://github.com/opnsense/core/issues/6526

Des weiteren habe ich versucht, mittels "sysctl dev.ix.1.advertise_speed=2", den Port auf 1Gbit zu zwingen, das klappt aber nicht.

Code Select Expand

root@pOPNsense:~ # sysctl dev.ix.1.advertise_speed=2
dev.ix.0.advertise_speed: 0
sysctl: dev.ix.0.advertise_speed=2: Invalid argument
Ich habe mehrere Fragen mit dem gleichen Problem im Netz gefunden (unter anderem hier). Einen Beitrag mit einer Lösung habe ich nicht gefunden.

Ein kurzer Zwischenstand: Ich hab gestern noch mal die Connect X3 eingebaut und damit probiert, da in dieser Karte das GPON-Modul immerhin kurz aktiviert wird. Um es kurz zu machen: Das Modul wurde immer wieder deaktiviert, da es die NIC kein Auto-Negotiation beherrscht

Code Select Expand

Supports auto-negotiation: No.
Nach dem Setzen der Link-Geschwindigkeit in proxmox für den Port mit dem GPON-Modul mittels

Code Select Expand

ethtool -s enp1s0d1 speed 1000 duplex full autoneg off läuft das Modul in dieser Konstellation.
Ich habe im Netz zur intel x520 Hinweise darauf gefunden, dass man zwar die Verwendung intel-fremder Module erreichen kann (habe ich getan), aber diese dann ausschließlich mit 10G betrieben werden. Das würde erklären, warum das DMG3000 in der intel-NIC nicht aktiviert wird.

Da ich lieber NIC an die VM durchreichen möchte (geht nur mit der intel X520) als das Konstrukt mit den Bridges zu fahren, werde ich morgen noch mal versuchen, den intel-ix-kmod zu installieren.

Danke für den Hinweis und den Link, da schaue ich mal rein.
Ich hatte in meinem Ursprungspost vergessen, die Version anzugeben, das habe ich nun nachgezogen. Ich benutze die aktuellste Version.

Code Select Expand

OPNsense 24.7.12_2-amd64
FreeBSD 14.1-RELEASE-p6


Du brauchst einen Kernel-Source-Tree derselben Version, auf der auch die OPNsense läuft, unter /usr/src.

https://docs.freebsd.org/en/books/handbook/cutting-edge/#updating-src-obtaining-src

Ich bin auch verwirrt, da ich mich vorab informiert habe und davon ausging, dass dies eine bewährte Kombination sein sollte.
Bei meinem Modul ist der Wechsel auf HGSMII aber sowieso nicht möglich, da es sich um eine neue Version, mit einer Firmware handelt, bei der SSH verrammelt ist (firmware V1.00(ABVJ.1)b1e) und ich keinen GBit-Tarif nutze.

Hallo, grundsätzlich sollte das Modul in einer x520 laufen. Bei mir hatte es unter OPNsense 24.1 funktioniert. Mittlerweile bin ich aber auf ein anderes Modul und eine andere NIC umgestiegen (BCM57810 Chip), da die x520 kein HGSMII kann und ich somit kein volles Gigabit mit einem SFP Modul über die Karte bekommen kann.

Die hier beschriebene Lösung zur Installation des FreeBSD eigenen intel-Treibers kan ich nicht ausführen, da die Installation abbricht.

Code Select Expand

root@pOPNsense:/usr/ports/net/intel-ix-kmod # make install
===>  Building for intel-ix-kmod-3.3.35.1401000_2
make: "/usr/share/mk/bsd.sysdir.mk" line 16: Unable to locate the kernel source tree. Set SYSDIR to override.

make: stopped in /usr/obj/usr/ports/net/intel-ix-kmod/work/ix-3.3.35/src
===> Compilation failed unexpectedly.
Try to set MAKE_JOBS_UNSAFE=yes and rebuild before reporting the failure to
the maintainer.
*** Error code 1

Stop.
make: stopped in /usr/ports/net/intel-ix-kmod
root@pOPNsense:/usr/ports/net/intel-ix-kmod # make MAKE_JOBS_UNSAFE=yes install
===>  Building for intel-ix-kmod-3.3.35.1401000_2
make: "/usr/share/mk/bsd.sysdir.mk" line 16: Unable to locate the kernel source tree. Set SYSDIR to override.

make: stopped in /usr/obj/usr/ports/net/intel-ix-kmod/work/ix-3.3.35/src
*** Error code 1

Stop.
make: stopped in /usr/ports/net/intel-ix-kmod


Ich setze das hier für Dokuzwecke fort.
Obwohl laut Host die X520 modifiziert wurde und die EEPROM-Sperre für nicht-intel-Module deaktiviert ist, meldet OPNsense beim Booten, dass das SFP-Modul (PMG3000) unsupported sei.
proxmox:

Code Select Expand

root@pvem920x-1:~# ethtool -e enp1s0f0 offset 0x58 length 1
Offset          Values
------          ------
0x0058:         fd
siehe: https://nickcharlton.net/posts/unsupported-sfp-modules-intel-x520-debian-freebsd

OPNsense boot (System -> Log Files -> General):

Code Select Expand

ix1: Unsupported SFP+ module type was detected.
Erkannt wird das Modul immerhin schon mal:

Code Select Expand

plugged vendor part_number serial_number manufacturing_date temperature voltage lane_1_rx_power lane_1_tx_bias
SFP/SFP+/SFP28 1000BASE-LX (SC) ZYXEL PMG3000-D20B xxxxxx 2015-05-25 255.00 C 0.00 0.00 mW (-inf dBm) 0.00 mA

Da das GPON Modul in anderen Geräten erkannt wird und in einem Medienkonverter (TP-Link MC220L) auch die Web-GUI erreicht werden kann, vermute ich ein Problem mit der intel x520.

Ich wollte deshalb versuchen, den Linkspeed für den SFP-Slot fix auf 1 Gbit zu setzen. Jedoch wird auf dem Interface ix1 den Linkspeed nur Default, Autoselect und 10GBase stellen angeboten.
You cannot view this attachment.

Das deckt sich mit

Code Select Expand

root@pOPNsense:~ # ifconfig -m ix1
ix1: flags=1008843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST,LOWER_UP> metric 0 mtu 1500
        description: MODEM (opt1)
        options=4803828<VLAN_MTU,JUMBO_MTU,WOL_UCAST,WOL_MCAST,WOL_MAGIC,HWSTATS,MEXTPG>
        capabilities=4f53fbb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,WOL_UCAST,WOL_MCAST,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO,NETMAP,RXCSUM_IPV6,TXCSUM_IPV6,HWSTATS,MEXTPG>
        ether b4:96:91:0b:22:ba
        inet 10.10.1.2 netmask 0xffffff00 broadcast 10.10.1.255
        inet6 fe80::b696:91ff:fe0b:22ba%ix1 prefixlen 64 scopeid 0x2
        media: Ethernet autoselect (10Gbase-SR <full-duplex,rxpause,txpause>)
        status: active
        supported media:
                media autoselect
                media 10Gbase-SR
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>

Wäre es möglich, dass die Karte schlicht kein 1Gbit beherrscht und deshalb das GPON nicht startet? Ich würde mich sehr freuen, wenn eine:n Leser:in bei sich zu prüfen würde, ob dort andere Optionen angeboten werden, insbesondere mit einer x520. Vielen Dank

Hallo allerseits, ich versuche seit ein paar Tagen mein neues Setup einzurichten.

Code Select Expand

OPNsense 24.7.12_2-amd64
FreeBSD 14.1-RELEASE-p6
Ich habe dafür in einem Lenovo m920x eine intel x520 DA2 (auch mit einer Connect X 3 versucht) eingebaut, proxmox installiert und die Karte an eine OPNsense VM durchgereicht. Mein Problem ist, dass das Glasfasermodem 2 nicht gestartet wird, die LEDs auf der NIC bleiben aus. Bei anderen SFP-Modulen wird der Port aktiviert.
Die x520 ist freigeschaltet und akzeptiert sollte alle SFP Module akzeptieren.

Die Karte wird erkannt und ich sehe die Interfaces:
You cannot view this attachment.

Aber das Glasfasermodul ist nicht aktiviert.

Getestet habe ich auch ein anderes SFP-Modul im gleichen Slot, das wird erkannt:
You cannot view this attachment.


Das Glasfasermodul selbst scheint auch an und für sich zu funktionieren, getestet in meinem Mikrotik-Switch:
You cannot view this attachment.

Ich bin etwas ratlos und wüsste gerne, was ich noch testen kann bzw, an welcher Stelle ich noch nachsehen kann oder ob ich eine Option übersehen habe.

Vielen Dank fürs Lesen.

Hintergrundinfo:
Ich hatte bis dato eine UDM und will gerne zu OPNsense wechseln. Etwas Erfahrung habe ich mit Linux, FreeBSD ist mir neu.