Wie eine Intel I350-T4 am besten einsetzen?

[tokade]

Hallo zusammen,

ich will meine Infrastruktur umbauen und meinen Ubuntu XEN Server, auf dem auch eine OPNsense VM läuft durch Proxmox ablösen.

Im Server steckt eine I350-T4, deren Interfaces ich aktuell individuell für verschiedene Netze mit VLANs nutze. Die individuelle Nutzung geht auf meine Versuche zurück, die SR-IOV Funktionalität mit XEN und den VMs zu verwenden. Das hat aber nie so richtig funktioniert.

Bei der Umstellung auf Proxmox stellt sich für mich jetzt die Frage, wieder jedes Interface einzeln zu nutzen oder die 4 Interfaces über bonding gemeinsam zum Einsatz zu bringen. SR-IOV scheint ja immer noch problematisch zu sein.

Ergänzend noch die Bemerkung, dass der Server 2 weitere Netzwerk-Interfaces hat, von denen eines mein Management-LAN ist und das andere für WAN an die OPNsense durchgereicht wird.

Gibt es Empfehlungen, Vor- / Nachteile für die beiden Szenarien?

Viele Grüße
Torsten

[openMe]

Hi,

ich habe ein Mainboard auf dem leider keine getrennten IOMMU Groups gebildet werden. Daher muss ich auf SR-IOV verzichten, weil ich die Lösung mit ACS nicht will. Auch besitzt das Mainboard nur eine Gb-NIC, die ist für Management reserviert.

Unter Proxmox nutze ich einen Port der Intel-NIC für Proxmox HA (Cluster intern), einen für DRBD (Shared Nothing Cluster), einen für OPNsense WAN und einen für interne LANs (VLANs). Routen muss OPNsense nichts, das macht die Netzwerkhardware dahinter.

Mein Einsatzszenario beruht natürlich auf meinen Anforderungen alleine, nicht auf best practices. In der (fernen) Zukunft würde ich nach Hardware gucken, die IOMMU Group und SR-IOV vernünftig unterstützt, eine Dual-Port 10 Gb NIC reinsetzen und eine zusätzliche Schnittstelle je nach Geschwindigkeit der Internetanbindung.

[tokade]

Hi,

danke für Deine Rückmeldung. Würde dafür sprechen, die Karte wie gehabt mit einzelnen Interfaces zu betreiben.

Mal sehen, ob es noch weitere Antworten gibt.

VG
Torsten

[cadzen]

Gibt es Empfehlungen, Vor- / Nachteile für die beiden Szenarien?

Moin.

Geschmackssache bzw. abhängig von deinen Anforderungen/Vorraussetzungen.
Ich habe alle 4 Ports in einem Bond/LACP/Layer2+3. vmbrX ist VLAN aware. VLAN definiere ich in der OPNsense. Vorteil für mich: schnelleres und einfacheres Backup/Restore auch unabhängig von der verwendeten Hardware des PVE-Host.

[openMe]

Jawoll, Geschmacksache.

Ich habe die VLANs auf Proxmox-Seite als VLAN-aware definiert und stelle über SDN vInterfaces in den gewünschten VLANs den VMs bereit. Heißt natürlich: bei einem Restore, ggfs. auf anderer HW, muss ich erst auf Proxmox-Seite etwas konfigurieren, bevor OPNsense wieder genauso aufgesetzt oder aus dem Backup zurückgespielt werden kann. LAGG/Bonding ist möglich, habe mich aber für die "physikalische" Trennung entschieden - Geschmack eben und weil es bei mir im LAN ausreicht:-). Bei weniger Ports, z.B. Dual-Port 10 Gb NIC, wäre die VLAN-Lösung mit Bonding vermutlich auch mein Weg, weil einen physikalischen 10 Gb/s WAN Port zu stellen, lohnt sich bei meiner Internetanbindung nicht ;-)

[JeGr]

Bei der Umstellung auf Proxmox stellt sich für mich jetzt die Frage, wieder jedes Interface einzeln zu nutzen oder die 4 Interfaces über bonding gemeinsam zum Einsatz zu bringen. SR-IOV scheint ja immer noch problematisch zu sein.

Nö ist es nicht. Wenn die Hardware nicht super-exotisch ist, bekommt man HW Durchschleifen bei ner NIC recht einfach hin.

Ergänzend noch die Bemerkung, dass der Server 2 weitere Netzwerk-Interfaces hat, von denen eines mein Management-LAN ist und das andere für WAN an die OPNsense durchgereicht wird.

Mal so mal so. Stark abhängig, was Performance und Wunschleistung, sonstige Hardware und andere Punkte angeht. Es ist ja auch die Frage, wieviel VLANs bspw. intern gesprochen werden, über wie viele NICs sind die angebunden, etc. etc. - je nachdem weiß man wie viel und ob man die NIC direkt durchreichen möchte. Aus Security Sicht macht es Sinn, denn beim sauberen Durchreichen bekommt die Sense direkt die HW Interfaces ab und du kannst nicht "versehentlich" auf dem Hypervisor landen oder musst dich auf dessen VM Schicht verlassen. Tut also meistens auch der Performance keinen Abbruch ;)

Wenn du aber eher den Durchsatz brauchst und eh ein Bond baust, wirds schwieriger. Wobei dann die Frage ist ob sich der BOND/LAGG überhaupt lohnt. 1+1+1+1 ist nicht gleich 4G. Das wird meist so gern weg-ignoriert, dass man dann nicht automagisch 4G Leitung hat, sondern eben 4x1G auf die gebalanced wird. Und das trägt erst so richtig bei vielen Geräten Früchte. Bei ein paar wenigen internen Büchsen wird man da eher wenig bemerken und keine wahnsinnigen Sprünge erleben.

Daher hängt das stark von deinem Einsatzzweck ab. Gerade aber auch Restore/Ausfall und Co sind Gründe, warum ich sehr gern bei der Firewall auf VMs verzichte, denn im Fall der Fälle ist nach einem Proxmox Update was schief, nichts kommt mehr richtig hoch und du hast kein Internet und guckst in die Röhre. Selbst "mal eben nen HV Update" scheidet aus, das startet die Firewall neu. Meh.

Darum nehm ich die FW da gerne raus aus der "VM" Geschichte und zusammen mit dem Proxmox und Co. ist das echte HW, damit das Grundkonstrukt sauber läuft ohne Schluckauf. Ich hab das leider auch bei Kunden schon viel zu häufig gesehen, dass dann "mal eben" was aktualsiert wird am Hypervisor ohne dran zu denken, dass man sich dann vllt das Internet wegsäbelt. Ziemlich unschön :)

Cheers

[tokade]

Hallo zusammen,

danke für Eure Antworten zu Euren Erfahrungen. Der Hinweis, dass 4 x 1 GB nicht unbedingt 4 GB bedeuten, meine bisherigen guten Erfahrungen mit der getrennten Nutzung und um nicht noch mehr Komplexität in das ganze Setup zu bekommen, haben mich dazu bewogen, die Karte wie bislang (4 einzelne Interfaces) zu verwenden. Die gebe ich an die OPNSense und die anderen VMs als Bridge vom Proxmox weiter.

Funktioniert prima und ich habe sogar den Eindruck etwas stabiler als unter XEN. Unter Xen hat oft das durchgereichte Interface für WAN nach einem Reboot der OPNSense nicht richtig funktioniert.

Viele Grüße
Torsten