m920x | x520 da2 | Glasfasermodem 2 funktioniert nicht / wird nicht gestartet

[nibbs]

Hallo allerseits, ich versuche seit ein paar Tagen mein neues Setup einzurichten.

Code Select Expand

OPNsense 24.7.12_2-amd64
FreeBSD 14.1-RELEASE-p6
Ich habe dafür in einem Lenovo m920x eine intel x520 DA2 (auch mit einer Connect X 3 versucht) eingebaut, proxmox installiert und die Karte an eine OPNsense VM durchgereicht. Mein Problem ist, dass das Glasfasermodem 2 nicht gestartet wird, die LEDs auf der NIC bleiben aus. Bei anderen SFP-Modulen wird der Port aktiviert.
Die x520 ist freigeschaltet und akzeptiert sollte alle SFP Module akzeptieren.

Die Karte wird erkannt und ich sehe die Interfaces:
You cannot view this attachment.

Aber das Glasfasermodul ist nicht aktiviert.

Getestet habe ich auch ein anderes SFP-Modul im gleichen Slot, das wird erkannt:
You cannot view this attachment.


Das Glasfasermodul selbst scheint auch an und für sich zu funktionieren, getestet in meinem Mikrotik-Switch:
You cannot view this attachment.

Ich bin etwas ratlos und wüsste gerne, was ich noch testen kann bzw, an welcher Stelle ich noch nachsehen kann oder ob ich eine Option übersehen habe.

Vielen Dank fürs Lesen.

Hintergrundinfo:
Ich hatte bis dato eine UDM und will gerne zu OPNsense wechseln. Etwas Erfahrung habe ich mit Linux, FreeBSD ist mir neu.

[nibbs]

Da das GPON Modul in anderen Geräten erkannt wird und in einem Medienkonverter (TP-Link MC220L) auch die Web-GUI erreicht werden kann, vermute ich ein Problem mit der intel x520.

Ich wollte deshalb versuchen, den Linkspeed für den SFP-Slot fix auf 1 Gbit zu setzen. Jedoch wird auf dem Interface ix1 den Linkspeed nur Default, Autoselect und 10GBase stellen angeboten.
You cannot view this attachment.

Das deckt sich mit

Code Select Expand

root@pOPNsense:~ # ifconfig -m ix1
ix1: flags=1008843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST,LOWER_UP> metric 0 mtu 1500
        description: MODEM (opt1)
        options=4803828<VLAN_MTU,JUMBO_MTU,WOL_UCAST,WOL_MCAST,WOL_MAGIC,HWSTATS,MEXTPG>
        capabilities=4f53fbb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,WOL_UCAST,WOL_MCAST,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO,NETMAP,RXCSUM_IPV6,TXCSUM_IPV6,HWSTATS,MEXTPG>
        ether b4:96:91:0b:22:ba
        inet 10.10.1.2 netmask 0xffffff00 broadcast 10.10.1.255
        inet6 fe80::b696:91ff:fe0b:22ba%ix1 prefixlen 64 scopeid 0x2
        media: Ethernet autoselect (10Gbase-SR <full-duplex,rxpause,txpause>)
        status: active
        supported media:
                media autoselect
                media 10Gbase-SR
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>

Wäre es möglich, dass die Karte schlicht kein 1Gbit beherrscht und deshalb das GPON nicht startet? Ich würde mich sehr freuen, wenn eine:n Leser:in bei sich zu prüfen würde, ob dort andere Optionen angeboten werden, insbesondere mit einer x520. Vielen Dank

[nibbs]

Ich setze das hier für Dokuzwecke fort.
Obwohl laut Host die X520 modifiziert wurde und die EEPROM-Sperre für nicht-intel-Module deaktiviert ist, meldet OPNsense beim Booten, dass das SFP-Modul (PMG3000) unsupported sei.
proxmox:

Code Select Expand

root@pvem920x-1:~# ethtool -e enp1s0f0 offset 0x58 length 1
Offset          Values
------          ------
0x0058:         fd
siehe: https://nickcharlton.net/posts/unsupported-sfp-modules-intel-x520-debian-freebsd

OPNsense boot (System -> Log Files -> General):

Code Select Expand

ix1: Unsupported SFP+ module type was detected.
Erkannt wird das Modul immerhin schon mal:

Code Select Expand

plugged vendor part_number serial_number manufacturing_date temperature voltage lane_1_rx_power lane_1_tx_bias
SFP/SFP+/SFP28 1000BASE-LX (SC) ZYXEL PMG3000-D20B xxxxxx 2015-05-25 255.00 C 0.00 0.00 mW (-inf dBm) 0.00 mA

[nibbs]

Die hier beschriebene Lösung zur Installation des FreeBSD eigenen intel-Treibers kan ich nicht ausführen, da die Installation abbricht.

Code Select Expand

root@pOPNsense:/usr/ports/net/intel-ix-kmod # make install
===>  Building for intel-ix-kmod-3.3.35.1401000_2
make: "/usr/share/mk/bsd.sysdir.mk" line 16: Unable to locate the kernel source tree. Set SYSDIR to override.

make: stopped in /usr/obj/usr/ports/net/intel-ix-kmod/work/ix-3.3.35/src
===> Compilation failed unexpectedly.
Try to set MAKE_JOBS_UNSAFE=yes and rebuild before reporting the failure to
the maintainer.
*** Error code 1

Stop.
make: stopped in /usr/ports/net/intel-ix-kmod
root@pOPNsense:/usr/ports/net/intel-ix-kmod # make MAKE_JOBS_UNSAFE=yes install
===>  Building for intel-ix-kmod-3.3.35.1401000_2
make: "/usr/share/mk/bsd.sysdir.mk" line 16: Unable to locate the kernel source tree. Set SYSDIR to override.

make: stopped in /usr/obj/usr/ports/net/intel-ix-kmod/work/ix-3.3.35/src
*** Error code 1

Stop.
make: stopped in /usr/ports/net/intel-ix-kmod


[motorsense1]

Hallo, grundsätzlich sollte das Modul in einer x520 laufen. Bei mir hatte es unter OPNsense 24.1 funktioniert. Mittlerweile bin ich aber auf ein anderes Modul und eine andere NIC umgestiegen (BCM57810 Chip), da die x520 kein HGSMII kann und ich somit kein volles Gigabit mit einem SFP Modul über die Karte bekommen kann.

[Patrick M. Hausen]

Die hier beschriebene Lösung zur Installation des FreeBSD eigenen intel-Treibers kan ich nicht ausführen, da die Installation abbricht.

Du brauchst einen Kernel-Source-Tree derselben Version, auf der auch die OPNsense läuft, unter /usr/src.

https://docs.freebsd.org/en/books/handbook/cutting-edge/#updating-src-obtaining-src

[nibbs]

Ich bin auch verwirrt, da ich mich vorab informiert habe und davon ausging, dass dies eine bewährte Kombination sein sollte.
Bei meinem Modul ist der Wechsel auf HGSMII aber sowieso nicht möglich, da es sich um eine neue Version, mit einer Firmware handelt, bei der SSH verrammelt ist (firmware V1.00(ABVJ.1)b1e) und ich keinen GBit-Tarif nutze.

Hallo, grundsätzlich sollte das Modul in einer x520 laufen. Bei mir hatte es unter OPNsense 24.1 funktioniert. Mittlerweile bin ich aber auf ein anderes Modul und eine andere NIC umgestiegen (BCM57810 Chip), da die x520 kein HGSMII kann und ich somit kein volles Gigabit mit einem SFP Modul über die Karte bekommen kann.

[nibbs]

Danke für den Hinweis und den Link, da schaue ich mal rein.
Ich hatte in meinem Ursprungspost vergessen, die Version anzugeben, das habe ich nun nachgezogen. Ich benutze die aktuellste Version.

Code Select Expand

OPNsense 24.7.12_2-amd64
FreeBSD 14.1-RELEASE-p6


Du brauchst einen Kernel-Source-Tree derselben Version, auf der auch die OPNsense läuft, unter /usr/src.

https://docs.freebsd.org/en/books/handbook/cutting-edge/#updating-src-obtaining-src

[Patrick M. Hausen]

Dann musst du einen 14.1-p6 source tree per Git auschecken, steht ein wenig weiter unten in dem verlinkten Dokument. Danach solltest du den Port bauen können.

[motorsense1]

Ich bin auch verwirrt, da ich mich vorab informiert habe und davon ausging, dass dies eine bewährte Kombination sein sollte.

Das Modul (aber ältere, offene Firmware) lief bei mir damals out of the box ohne Probleme in der x520. Bin dann aber später auf Gigabit und deswegen auch auf die Broadcom. Mit dieser war das Zyxel extrem zickig (kein Auto-MDI, löten auf der Nic zur erkennung notwendig, sporadisches zurücksetzen auf SGMII und wegen fehlendem Auto-MDI dann keine Connection).
Ich bin mir aber sicher, dass man unter OPNsense 24.1 noch die Verbindungsgeschwindigkeit im WEBUI einstellen konnte. 10000, 1000 bei der x520 und zusätzlich 2500 bei der Broadcom. Unter 24.7 sieht die Einstellung aus wie bei dir aus, obwohl aus auf 2500 läuft.

[nibbs]

Ein kurzer Zwischenstand: Ich hab gestern noch mal die Connect X3 eingebaut und damit probiert, da in dieser Karte das GPON-Modul immerhin kurz aktiviert wird. Um es kurz zu machen: Das Modul wurde immer wieder deaktiviert, da es die NIC kein Auto-Negotiation beherrscht

Code Select Expand

Supports auto-negotiation: No.
Nach dem Setzen der Link-Geschwindigkeit in proxmox für den Port mit dem GPON-Modul mittels

Code Select Expand

ethtool -s enp1s0d1 speed 1000 duplex full autoneg off läuft das Modul in dieser Konstellation.
Ich habe im Netz zur intel x520 Hinweise darauf gefunden, dass man zwar die Verwendung intel-fremder Module erreichen kann (habe ich getan), aber diese dann ausschließlich mit 10G betrieben werden. Das würde erklären, warum das DMG3000 in der intel-NIC nicht aktiviert wird.

Da ich lieber NIC an die VM durchreichen möchte (geht nur mit der intel X520) als das Konstrukt mit den Bridges zu fahren, werde ich morgen noch mal versuchen, den intel-ix-kmod zu installieren.

[nibbs]

Die Installation des kmod-Treibers hat keine Besserung gebracht.

Kann es sein, dass es sich um ein Upstreamproblem handelt? Vergleiche https://github.com/opnsense/core/issues/6526

Des weiteren habe ich versucht, mittels "sysctl dev.ix.1.advertise_speed=2", den Port auf 1Gbit zu zwingen, das klappt aber nicht.

Code Select Expand

root@pOPNsense:~ # sysctl dev.ix.1.advertise_speed=2
dev.ix.0.advertise_speed: 0
sysctl: dev.ix.0.advertise_speed=2: Invalid argument
Ich habe mehrere Fragen mit dem gleichen Problem im Netz gefunden (unter anderem hier). Einen Beitrag mit einer Lösung habe ich nicht gefunden.

[nibbs]

Code Select Expand

root@pOPNsense:~ # sysctl dev.ix.1.advertise_speed=0
root@pOPNsense:~ # sysctl -x dev.ix.1.advertise_speed=0x0Diese beiden Befehle funktionieren - also ist die Syntax korrekt und die NIC will einfach nicht.

Ich habe von ähnlichen Problemen auch in Verbindung mit der intel x710 gelesen, also würde ich auch nichts gewinnen, eine andere (aktuellere) Karte zu beschaffen.

So langsam komme ich zu dem Fazit, dass die x520 zu viele Probleme macht. Insbesondere wenn sich die Funktionalität von OPNsense Version zu OPNsense Version als zu wackelig erweisen kann.

Daraus ergeben sich für mich drei Optionen:

• Die Mellanox X3 unter proxmox mittels Bridges benutzen
• OPNsense bare metal installieren. - Welches Gerät?
• Doch weiter Unifi benutzen

[nibbs]

4. Eine andere NIC beschaffen. Hat vielleicht jemand einen Tipp, welche zuverlässig mittels PCIe-Passthrough funktionieren kann?

[Patrick M. Hausen]

Hast du eigentlich mal

Code Select Expand

hw.ix.unsupported_sfp=1
ausprobiert? Müsstest du über das UI setzen und dann rebooten, geht nicht zur Laufzeit.