Hallo zusammen,
ich möchte gern eine Konfiguration in Proxmox umsetzen, komme allerdings nicht weiter.
Hier mal mein aktuelles Setup:
Proxmox lief bisher mit einer NIC als meine LAB Büchse.
Darauf befinden sich diverse Systeme, von Pihole bis Wireguard.
Insgesamt laufen 10 lxcs mit diversen Konfigurationen.
Mein Heimnetz ist über Private Network 10.0.0.0/24 eingerichtet in der Fritzbox, welche ich eventuell durch eine Dratek Vigor 167 austauschen möchte.
Nun habe ich mir zum testen von OPNSense installiert, vmbr1 und vmb2 laut anleitung von hier konfiguriert.
vmb1 befindet sich im Subnetz 10.0.1.0/24 als LAN auf der OPNsense.
vmbr2 befindet sich im Subnetz 10..0.2.0/24 als WAN schnittstelle.
Wo möchte ich hin?
Mein Plan ist folgender:
Fritzbox soll nur noch als WIfi AP dienen,
Draytek Vigor soll WAN an die OPNsense weiter reichen.
Alle netze von 10.0.0.1/24 - 10.0.2.254/24, sowie zwei 172.x.x.x/24 Netze welche über das Modem (Draytek) in VLANS geworfen werden, sollen Ihren Netzwerkverkehr über die OPNSense leiten.
Die OPNSense soll aber auch in den Netzen als DHCP fungieren ipv4 sowie ipv6.
Versucht habe ich es, da die Draytek eine Notlösung darstellt und noch nicht bestellt ist, alles über openvswitch-switch zu realisieren.
Allerdings stehe ich wie der Ochs vorm Berg mit jede menge Fragezeichen.
1.) würde ich vor bestellen der Draytec, das ganze zu testzwecken erst mal mit openvswitch-switch realisieren,
2.) Proxmox soll weiterhin über die IP 10.0.0.47/24 erreichbar sein (ich habe gelesen das man es sogar hinbekommen könnte, den PVE Host in mehreren Netzen bereit zu stellen???),
3.) (AM WICHTIGSTEN!!) Jeglicher Verkehr soll über die OPNSense laufen.
Ich hab zwar Grundkenntnisse in Netzwerken, bin da allerdings nicht so richtig drin.
Daher wäre es auch super wenn ihr erklären könntet, was und wieso und warum, sowie ob das ganze überhaupt realisierbar ist.
Beste Grüße
0zzy
Also was ich schonmal hinbekommen habe:
OVS Brigdges für jegliches Interface, außerdem dazugehörige OVS INTPorts.
Darüber kann ich zumindest mit Proxmox kommunizieren.
Allerdings weiss ich nicht wie ich nun den Verkehr auf der vmb0 (inbond für Proxmox) zu OPNSense hinzufüge damit da auch alles mitgeschnitten wird.
Eventuell habe ich auch reichlich denkfehler, nur ohne feedback eurerseits wird das nix ;)
Würde ja gerne, aber ich habe leider keine Ahnung von Proxmox ;)
Eine Sache allerdings:
QuoteAllerdings weiss ich nicht wie ich nun den Verkehr auf der vmb0 (inbond für Proxmox) zu OPNSense hinzufüge damit da auch alles mitgeschnitten wird.
Eine Firewall schneidet nichts mit. Verkehr von Hosts innerhalb eines Netzes geht nie durch die Firewall. Alles, was in einer sog. Broadcast-Domain ist, also in einem gemeinsamen Netz per Switch oder vSwitch oder WLAN AP, kommuniziert einfach direkt miteinander.
Du musst also dafür sorgen, dass alle deine VMs und dein Proxmox auf der einen Seite deiner OPNsense sind ("LAN") und das böse Internet auf der anderen Seite deiner OPNsense ("WAN").
Nur Traffic, der durch die OPNsense hindurch geht, also zu einem Interface hinein und zu einem anderen wieder hinaus, kann von dieser inspiziert und abgesichert werden.
hm @Patrick M. Hausen klingt sinnig.
d.h. mein rein theoretisch, ohne ein entsprechendes modem wird das nix richtig?
ich liebäugle gerade mit ner Draytec Vigor 167.
würde bedeuten:
draytec = gateway --> opnsense wan --> dann erst auf der opnsense alles konfigurieren --> jegliche vm / alle clients etc. per dhcp in der opnsense verwalten, dort auch falls gewünscht entsprechende vlans einrichten, dann würde alles (entsprechende regeln vorausgesetzt) gefiltert?
soweit ich das versteh kann die opnsense ja IPS (Intrusion Prevention and Detection System) sowie über plugins DPI (Deep Packet Inspection).
Kurz gesagt muss ich es unter Proxmox auf die kette bekommen, das alle hosts über das entsprechende lan interface der opnsense kommunizieren richtig?
Ich kann dir auch dieses Modem empfehlen. Ich setze das und den Vorgänger seit Jahren produktiv ein (auch mit OPNsense zusammen). Stürzt nie ab und ist sehr stabil. Allerdings im Telekom Netz. :)
https://www.zyxel.com/de/de/products/dsl-cpe/vdsl2-supervectoring-bridge-modem-vmg3006-d70a
Draytex nix Gateway. Draytek nur Modem. OPNsense macht die PPPoE-Einwahl und wird dein Internet-Router. Die Fritzbox hängst du dann als LAN-Client in dein LAN.
Das habe ich genau so laufen, allerdings mit einem Zyxel-Modem. Draytek funktioniert m.W. genau so gut.
Für das WAN (Verbindung zum Modem) würde ich der Sense eine dedizierte Netzwerkschnittstelle per PCIe-Passthrough geben. Das interne LAN und evtl. weitere VLANs kannst du per vSwitch abbilden. Eine phys. Schnittstelle brauchts natürlich dann noch für die Fritzbox. Deren übrige 3 LAN-Schnittstellen kannst du dann für weitere kabelgebundene Geräte nehmen, ohne dass du einen extra Switch brauchst.
Gut Draytek ist bestellt ;)
@Patrick M. Hausen
Aktuell hab ich ne Fritzbox welche als Gateway dient, mag hier allerdings nicht auf wifi verzichten.
PPPOE fällt flach, bei 1und1 ist das der letzte r*tz ;)
Nachdem was ich in meiner Ausbildung gelernt habe übernimmt ein Gateway die funktion eines Routers sowie die des Modems, daher das "gateway".
Klar eine Vigor ist nur ein reines Modem.
PCI Passthrough klingt erstmal nicht übel, die frage ist welches interface ich nehme, weil habe 3 (intern auf meiner bastelbüchse die als server fungiert (Proxmox) und nochmal zusätzlich ne Intel Dual Port NIC als PCIE Card.
Quote from: 0zzy on September 29, 2023, 04:58:07 PM
Aktuell hab ich ne Fritzbox welche als Gateway dient, mag hier allerdings nicht auf wifi verzichten.
PPPOE fällt flach, bei 1und1 ist das der letzte r*tz ;)
Macht deine Fritzbox kein PPPoE?
Gateway == Router. Eingebautes Modem ist nicht zwingend.
https://forum.opnsense.org/index.php?topic=36141.0
>> Ich hatte hier schon mit 0zzy ein funktionierendes Setup erarbeitet und ihn wegen DS-Lite und dem GIF Interface in der OPNsense aufgeklärt. Er benutzt die Fritzbox gerade als Modem/Router und leitet alles per statische Route weiter zu seiner OPNsense.
@Monviech - ah jetzt ja ;)
Dann sehe ich nicht, weshalb er sich jetzt einen Draytek besorgen will ...
@Monviech ist korrekt, ich das routing bewirkt allerdings das alle Systeme alles sehen im Netzwerk.
Daher (und weil ich gern mit den möglichkeiten spiele die mir zur verfügung stehen) habe ich mich für einen anderen weg entschieden.
In der Theorie sollte das auch mit openvswitch-switch unter Proxmox laufen, ich bekomm die Konfiguration allerdings nicht hin.
@Patrick M. Hausen
Daher der Hardware weg (neues Modem) um dem ganzen problemen aus dem weg zu gehen.
Abgesehen davon ist das alles für mich noch ne lernkurve die ich erst mal kratzen muss, was nur funktioniert, wenn ich unter anderem aus den erfahrungen anderer nutzen ziehe.
OPNSense ist für mich absolut neu, aber höchst interessant.
Und dazu ist ein Forum doch da, euch allen löcher in den Bauch zu fragen oder?
@Patrick M. Hausen doch macht Sie, hab ich auch bereits probiert, hat allerdings keinen effekt für mich da ich das wifi der FB benötige (warum? ganz einfach ich hab jede menge kram von Fritz von smarten heizkörper thermostaten über repeater und Telefone, könnte ich dann alles versemmeln was ziemlich unbefriedigend wäre).
Abgesehen davon bin ich mit der Fritz ziemlich unzufrieden, keine VLANs möglich, meine Netgear Switche verweigern bei anlage schon jegliche kommunikation, routing hin oder her.
Ich muss allerdings befriedigenderweise sagen, das ich nun kein DSLite mehr habe, nach einem Jahr hats 1und1 auf die kette bekommen mir einen IP basierten anschluss ohne dieses DSLite Tunnel gedrisse zu schalten ;)
@0zzy wenn die Fritzbox mit 1&1 PPPoE spricht, hast du keine Wahl als das mit der OPNsense auch zu nutzen, wenn du Internet willst. 1&1 liefert dir PPPoE. Dann ist das eben so.
@Patrick M. Hausen
nee mag ich nicht, läuft leider nicht so rund wie ich das erwartet hätte.
mal connected dann die OPNSense und am nächsten Tag wacht man auf und alles ist tot.
Wie gesagt ohne wifi steigen mir meine mädels auf das Dach, weil dann der ganze spass mit den ganzen Homeautomatismen nicht mehr funktionieren, da alles im Mesh der Fritze verheiratet ist.
@0zzy:
Du kannst an einem DSL Anschluss nicht einfach sagen, nö PPPoE will ich nicht, ich will reines Ethernet. Das legt der Provider fest, was du als Netzabschluss bekommst.
@Monviech laut dem 2nd level support von 1und1 rät man mir davon völlig ab, eben weil es nicht stabil läuft.
Bevorzugt wird laut den Kollegen immer der Bridge-Mode, den ich allerdings nicht will aus bereits erwähnten gründen.
Ergo muss doch ein Modem her, damit ich die funktionen weiter nutzen kann auf die ich nicht verzichten will.
Ist das nun ein denkfehler?
Deine Fritzbox wählt sich gerade per PPPoE (Point to Point Protocol over Ethernet) beim Provider ein. Der Provider sendet alle Pakete Enkapsuliert mit dem PPPoE Protokoll zu deiner Fritzbox, und die entfernt den PPPoE Header sodass Ethernet "entsteht". Um sich bei PPPoE zu Authentifizieren, wird vom Provider ein Radius Server benutzt, in dem dein Benutzername und Passwort die Einwahl Authentifizieren. Das alles funktioniert über die Modulationstechnik DSL. Es kommt kein Ethernet an deinem Modem/Router an, sondern DSL.
So, irgendein Gerät muss das obige ausführen. Sei es die Fritzbox, oder Draytek oder was auch immer.
Aber das hast du doch jetzt schon.
Du willst, dass deine ISP Netz direkt auf der OPNsense ohne Umwege ankommt, also brauchst du ein Layer2 Transparent Bridge Modem, das dir das DSL Signal in ein Ethernet Signal umwandelt (MODEM = Modulatur und Demodulator - Wandelt ein Signal in ein anderes Signal um). An der angeschlossenen Opnsense kommen jetzt diese PPPoE Pakete an, enkapsuliert und es muss immer noch eine Authentifizierung stattfinden. Das muss jetzt beides die OPNsense machen.
erst mal danke für die erklärung. interessantes verfahren das da ein RADIUS hinter steht war mir nicht bewusst.
zu dem :
Quote from: Monviech on September 29, 2023, 05:49:06 PM
Du willst, dass deine ISP Netz direkt auf der OPNsense ohne Umwege ankommt, also brauchst du ein Layer2 Transparent Bridge Modem, das dir das DSL Signal in ein Ethernet Signal umwandelt (MODEM = Modulatur und Demodulator - Wandelt ein Signal in ein anderes Signal um). An der angeschlossenen Opnsense kommen jetzt diese PPPoE Pakete an, enkapsuliert und es muss immer noch eine Authentifizierung stattfinden. Das muss jetzt beides die OPNsense machen.
exakt das will ich alles, aber wirklich alles über die opnsense laufen lassen. nur eben wifi geht nicht weil an meiner server büchse kein wifi vorhanden und selbst wenn, glaube ich kaum das ich es mit dem mesh aufnehmen würde.
Dann hast du dich richtig entschieden.
Die Draytek wird MODEM sein, also das DSL Signal in ein Ethernet Signal umwandeln (OSI Schicht 1). Danach wird die Draytek als Bridge fungieren (OSI Schicht 2) und das Ethernet Signal (in dem PPPoE Pakete laufen) an die OPNsense weiterleiten. Die OPNsense meldet sich mit Benutzernamen und Passwort beim Provider an, und kann somit den PPPoE Header entfernen, den Ethernet Header entfernen und das Paket auspacken, sodass es an die IP Adressen darin kommt (OSI Schicht 3). Ab jetzt ist die OPNsense der vollwertige Router und der Gateway in deinem Netzwerk. Die OPNsense ist aber KEIN MODEM.
Also da mein frickeltrieb mich nicht in ruhe lassen wollte, hab ichs nochmal probier (war alles recht zum mäusemelken).
@Monviech
habe deine Tipps beherzigt, es also auch mit PCI Passthrough probiert, nix nada, meine Karte wird zwar angezeigt bekommt allerdings die wildesten IP Konfigurationen mitgeteilt.
Nun hab ich erst mal, allein schon um opnsense mal zu begutachten folgende settings durch geführt:
meine zwei interfaces in Proxmox habe ich wie folgt konfiguriert:
enp1s0f0 --> vmbr1 -> erst mal kein VLAN etc. ---> bekommt IP 192.168.1.1/24
enp1s0f1 --> vmbr0 -> DHCP --> bekommt 10.0.0.44/24 aus dem Fritz Netz.
Soweit so gut, was ich nicht verstehe:
Habe hierzu eine route angelegt in der Fritz --> 192.168.1.0/24 GW:10.0.0.1
Ich bin erst mal nicht drauf gekommen, zufälligerweise bin ich über einen reddit artikel gestossen, welcher besagte nutz doch einfach ne VM im gleichen netz um auf das WebUI der OPNSense zu gelangen.
Also Flux ne W11 Maschine aufgesetzt, zwei NICs vergeben, eine zeigt ins OPNSense LAN netz (192.168.1.100/24) die andere dient mir als Brücke zu meinem Fritz Netz (10.0.0.151/24), damit ich auch per RDP drauf komme.
Jetzt kommt was ich überhaupt nicht verstehe:
Ich habe natürlich auch direkt versucht über die 192er IP der OPNSense im Fritz Netz zuzugreifen, erst mal fehlanzeige.
Nach der Konfiguration im Wizard der OPNSense und anschliessendem Update der OPNSense, kam ich auf einmal doch übers Fritz Netz drauf.
Eventuell kannst du hier u.a. noch mal einharken, denn es entzieht sich meinem verständnis, warum es erst klappt nachdem ich alles auf den aktuellsten stand gebracht habe.
Die genutzte ISO ist die von der OPNSense Website.
Des weiteren nun noch weiter fragen, bevor der spass wieder los geht sobald die Draytek da ist:
1.) rein spasseshalber würde ich gern die DHCP releases über die OPNSense laufen lassen, hier habe ich nun zwei möglichkeiten:
1a) ich deaktivere DHCP an der Fritz, stelle die OPNSense auf die gleiche IP um (10.0.0.1/24), wäre die OPNsense dann überhaupt erreichbar?,
1b) ich deaktivere DHCP an der belasse das Netzwerk erstmal zum testen auf der OPNSense, schalte dort DHCP ein und lasse es darüber laufen, werden dann wirklich alle Releases über die OPNSense geleitet auch die des WIFI?
Habe mir die Nacht um die Ohren geschlagen und erneut festgestellt das es für meine Netzwerk kenntnisse doch ne Hausnummer ist, aber hey alles ist ne lernkurve.
Ging soweit das die Fritze nach dem 6ten umstellen der IPs nicht mehr reagierte und ich glück im unglück hatte das ein DECT Telefon registriert war, da ich ansonsten garnicht mehr drauf kam (es gibt an der fritze keinen reset knopp).
1c) nun habe ich noch das Problem das ich meine VMs, Mobile Devices, und und und, gern in separate VLANs stecken möchte, ich es an den Netgear Geräten (in meinem Fall eine GS308E, habe aber noch eine weitere managed und einige unmanagd switche), recht frickelig ist das einzurichten, als beispiel:
ich würden hier den 802.1Q mode nutzen.
der weg wäre laut Netgear Dokumentation:
1.) erstelle VLANs: hab ich VLAN 2 und VLAN 3
2.) wirf alle Geräte die kommunizieren sollen in die entsprechenden VLANs, in meinem fall wäre der LAN Port der OPNSense auf port 5, WAN Port auf 6, laut Doku muss mein upostrem Port der von der Fritze kommt mit Trunk also T gekennzeichnet sein.
3.) vergeb PVIDs pro VLAN, habe ich natürlich auch zum testen einfach die in VLAN 2 geworfenen geräte mit ID 2 versehen.
Dann geht rein garnichts mehr.
Insofern sich jemand mit Proxmox auskennt, ich habe nichts VLAN Aware gesetzt, probiert schon aber egal was ich mache sobald ich das so aktiviere, ist nix mehr da.
:-X
@Bob.Dig learning by doing ist dir ein begriff oder?
Keine ahnung wie es bei dir ist, aber wissen fällt nicht vom himmel.
Daher wenn du nichts konstruktuktives dazu beitragen kannst, einfach enthalten, danke!
Vielleicht hat es @Bob.Dig etwas unsanft ausgedrückt, aber es stimmt schon.
Du darfst nicht zuviel auf einmal machen. Immer eine Sache nach der anderen kochen. Immer einen "Good Known State" schaffen auf dem man nach und nach weiter aufbauen kann. Gehe immer den Weg von Einfach nach Mittel nach Schwer.
Kümmere dich erstmal darum, dass du dein Draytek Bridge Modem mit PPPoE an die OPNsense bekommst. (Mit dem Modem kenne ich mich nicht aus, ich habe immer Zyxel genommen)
Mit Proxmox kenne ich mich leider auch nicht aus, da kann ich nicht viel helfen. Vielleicht wäre es für den Anfang einfacher für dich, Hyper-V zu benutzen. Das ist sehr einfach zu konfigurieren und es gibt sehr viele Anleitungen.
@0zzy
1. wenn du so gut wie keine ahnung hast, warum willst du dann dir eine komplexitätsschicht weiter einbauen mit dem proxmox?
2. lies/beschäftige dich doch erstmal mit der Offiziellen Dokumentation der Sense, da wird eigentlich alles erklärt wie du was konfigurieren musst.
3. am besten nutz du die Forum suche und Liest so mal die beiträge die zu deinen wünsche passen, wir haben hier sehr viel schon behandelt (und wie man PPPoE einrichtet ist auch oft dabei)
4. alles was Proxmox betrifft währen die Fragen denke ich besser im proxmox forum aufgehoben (hat ja nichts mit der sense zu tun)
5. du musst um die sense zu lernen kein echtes netz bauen. ich habe meine ersten schritte mit vm ware fusion mir ein virtuelles netz gebaut mit der sense und einem virtuellen client (die in einem virtuellen netzwerk waren)
6. wie sind deine netzwerk kenntnisse?
@micneu
1.) weils mir freude bereitet und ich es liebe mich in neue dinge reinzuarbeiten,
2.) mache ich bereits, aktuell hab ich die "sense" wie du schreibst am laufen,
3.) habe ich bereits durch, die problematik schrieb ich weiter oben,
4.) da bin ich bereits auch unterwegs, wo sonst?,
5.) schon klar, ich arbeite mit diversen Hypervisor geschichten (VMWare, VMware-Fusion, Hyper-V, proxmox, kvm, qemu),
6.) rudimentär, bin kein netzwerker ist also nicht mein hauptgeschäft, allerdings schreibe ich IaC geschichten, bsp. terraform, powershell oder docker, da komme ich zurecht.
Wenns allerdings an die Hardware geschichten geht, im fall von Netgear Switche, ist das eine andere sache.
Hyper-v befeuere ich allerdings nur im Arbeitsumfeld, aus performance gründen und weil mir windows in jeglicher form nicht ins haus kommt (außer für den job) verzichte ich darauf.
So und nun geb ich mal meinen senf dazu:
finde ich es ziemlich arrogant über jemanden zu urteilen den man nicht kennt, wenn ich etwas in der IT gelernt habe, dann ist es niemals über jemanden zu urteilen, ich bin wie viele IT ler Fachidiot in meinem Bereich.
Was hält mich davon ab neues zu probieren und zu erlernen? Dazu gehört auch zu fragen und das sicherlich am besten Kollegen die sich damit auskennen (im fall von OPNsense bin ich halt hier).
Ist es nicht so das ich nicht bereits netzwerke aufgebaut hätte, in meiner Jugend waren es bspw. LAN Partys zu organisieren, jedoch war ich zu der zeit nicht allein unterwegs, jeder hatte seine funktion und kannte sich mit seinen dingen aus, wenn du nicht weiter weisst bilde halt nen arbeitskreis damals das motto.
Abgesehen davon finde ich es traurig wie in Foren mittlerweile agiert wird. Ich bin in diversen Foren unterwegs, ein hey du bist aber doof gibts nicht bei mir.
Ich bin der meinung jeder kann erlernen was er möchte wenn er es nur will.
Abgesehen bin ich nur hilfesuchend, nichts ist ein muss alles ein kann, wäre nicht das erste mal das ich mir dinge selbst beibringe.
@Monviech, zuviel auf einmal ist voll mein ding, nein spass beiseite, ich stimme dir voll und ganz zu, es gibt allerdings tage da übernehme ich mich gern. Ist so ein tick ;)
Vielleicht gibt dir das ja inspiration. In dem Thread habe ich mal zu Testzwecken ein gesamtes virtuelles Opnsense Setup mit virtuellem PPPoE Server gemacht. Alles mit QEMU und OpenVSwitch.
https://github.com/opnsense/core/issues/6650
https://github.com/opnsense/core/issues/6650#issuecomment-1634742746
@Monviech ich bin ja bereits soweit das die OPNsense ihren dienst verrichtet.
Soweit ich das der Doku entnommen habe finde ich den traffic unter Logging:Traffic.
Schaut doch erst mal nice aus, siehe anhang
Machst Du Telefonie über die Fritzbox?
PS: Wenn WAN und LAN im gleichen netz sind macht die Firewall eigentlich nichts. BZW kann nicht blocken. Du siehst nur was hier drüber läuft.
@lewald
Ja habe ich.
Allerdings ist das LAN auf der Sense ein anderes netz als das der Fritte.
Frittenetz: 10.0.0.1/24
Sense WAN: 10.0.0.252/24
Sense LAN: 192.168.1.1/24
Ist so eingerichtet das neue Geräte sich im LAN Netz der Sense melden. Demnach sollte die Sense Blocken oder?
Falls nicht ists auch nicht so schlimm, war lediglich ein test die Sense überhaupt ans laufen zu bekommen.
Ich sehe gerade war der falsche screenshot.
In dem fall geb ich dir recht dürfte die sense nicht eingesprungen sein.
Kommendes WE wird der Plan anders umgesetzt:
nämlich Böses Internet --> Modem (Draytek) -> Sense -> Fritte
hierbei wird das DHCP der Fritte auch deaktiviert und die Sense übernimmt (konnte ich ja bereits testen).
Mein Problem ist, bei allen Dokumentationen (die der Sense ist richtig abgefahren ;) ) bin ich eher der Visuelle Lerntyp, d.h. ich muss auch sehen was ich mache ansonsten bleibts nicht im Hirnkasten.
Ich hätte das so gebaut.
(http://network.jpg)
Und zwar wegen Telefonie und PPP.