Home
Help
Search
Login
Register
OPNsense Forum
»
International Forums
»
German - Deutsch
»
Proxmox PCI Passthrough Hetzner OVSwitch
« previous
next »
Print
Pages: [
1
]
2
Author
Topic: Proxmox PCI Passthrough Hetzner OVSwitch (Read 8463 times)
JoeB
Newbie
Posts: 15
Karma: 1
Proxmox PCI Passthrough Hetzner OVSwitch
«
on:
May 03, 2019, 01:48:32 pm »
Hallo zusammen,
Vielleicht könnte mich jemand gezielt unterstützen:
Es soll mein Proxmox vollständig hinter OPNsense als VM Router gestellt sein.
Hetzner ist der Provider.
Auf Proxmox möchte ich außerdem zur vollständigen Isolierung Openswitch verwenden.
Ich habe eine Haupt IP:
5.9.xxx.136, netmask 255.255.255.224, gw 5.9.xxx.129
Proxmox:
/etc/network/interfaces
auto lo
iface lo inet loopback
auto vmbr0
iface vmbr0 inet manual
ovs_type OVSBridge
ovs_ports int0
allow-vmbr0 int0
iface int0 inet static
address 10.0.0.2
netmask 255.255.255.0
gateway 10.0.0.1
ovs_type OVSIntPort
ovs_bridge vmbr0
/etc/hosts
127.0.0.1 localhost
10.0.0.1 pve .....
pci_passthrough ist eingerichtet und funktioniert auch ( soweit überprüfbar ).
Proxmox mit dieser config gestartet, OPNsense als VM100 gestartet.
In OPN:
WAN: igb0, Haupt-IP von Hetzner mit Gw etc. ( 5.9.xxx136/27, 5.9.xxx.129): MAc-Adresse stimmt.
LAN: vtnet0, 10.0.0.1
Ping :
10.0.0.1 funktioniert
5.9.xxx.136 funktioniert ( Haupt-IP)
5.9.xxx.129 -- HOST is down
8.8.8.8 -- HOST is down
zur Info:
das GW antwortet auf ICMP
Der Plan, WAN über DHCP funktioniert nicht. Da kommt nichts.
Auf PVE gibt s ja mangels einem eigenen NIC keine route für WAN IPs.
die route für das 10er net ist gesetzt und funktioniert.
Vielleicht könnte mir jemand sagen, wo der "Fehler" liegt.
Eigentlich bin ich der Ansicht, viel kann da nicht mehr sein. Doch 20% der Arbeit benötigen meist 80% Aufwand.
( Mein Kompliment: Ich habe mich OPNsense über pfSense genähert - OPNsense ist eindeutig das bessere ).
Vielleicht noch soviel: Bridge mag ich nicht. Es ist auch eher nicht die Frage nach bridge. Nachdem sich OPN den NIC gegriffen hat, ist ja nur OPN für das WAN zunächst zuständig und muß selber ins Internet kommen können.
Was jemand einen Rat ?
Vielen Dank im Voraus.
Logged
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #1 on:
May 03, 2019, 03:20:52 pm »
Hallo zusammen,
Ich bin auf der Suche noch über das Stichwort "hostroute" ( pointopoint unter Debian ) gestolpert.
Offensichtlich benötigt Hetzner Konfiguration diese hostroute
unter Debian in /etc/network/interfaces
....
gateway <GWIp>
pointopoint <GWIp>
Also gehe ich davon aus, dass man diese hostroute auch in OPN setzen muss.
ich habe da noch etwas gefunden im FreeBSD Forum:
"ein wenig mit den Routen frickeln hat geholfen. Im Prinzip habe ich jetzt ein script, das ich aus der rc.conf aufrufen lasse, was mir eine Route über das Interface auf meinen Gateway legt und dann über den Gateway nach 0.0.0.0 weiterroutet und zusätzlich musste ich noch die Netzmaske fest auf 255.255.255.255 setzen, da FreeBSD mir eine ffff0000 gesetzt hatte"
In die Praxis umsetzen, in Befehle bzw. statische Dateien in BSD, verstehe ich aber nicht wirklich.
Könnte es dies der Fehler sein ? Könnte mir jemand behilflich sein, dies umzusetzen ?
mfg
JoeB
Logged
hbc
Hero Member
Posts: 501
Karma: 47
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #2 on:
May 03, 2019, 03:31:46 pm »
Quote
"ein wenig mit den Routen frickeln hat geholfen"
Frickeln? Klingt nach Trial and Error, weniger nach Verständnis der Materie was den Autoren deiner Quelle angeht.
Hostrouten sind Routen mit Netzmaske /32. Statt in ein Netz, wird direkt zu einem Host geroutet.
Das geht natürlich auch in OPNsense. Ein Gateway anlegen und dann eine Route zur IP des Hosts mit Maske /32 und Auswahl deines Gateways. Fertig.
Logged
Intel(R) Xeon(R) Silver 4116 CPU @ 2.10GHz (24 cores)
256 GB RAM, 300GB RAID1, 3x4 10G Chelsio T540-CO-SR
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #3 on:
May 04, 2019, 02:56:59 am »
Vielen Dank hbc,
Ja, das mit den Quellen ...; ich fand das auch doch sehr verwirrend...;
Routing war noch nie mein Stärke, aber "Hetzner" macht es auch nicht einfacher.
Die Schwierigkeit liegt ja darin, dass dies von der Konsole aus geschehen muss; ohne Netz kein WEB(GUI);
also lediglich mit "qm terminal <VMID> von proxmox Konsole aus einzig und allein über das sehr fortschrittliche Spider-KVM, welches von Hetzner da zugemutet wird. ('LARA').
Ich bin ein Freund der Konsole - aber hauptsächlich in Linux statt FreeBSD. FreeBSD hat eine andere Konfigdatei Struktur iAllg, OPNsense im Besonderen.
Deshalb muß ich auf der Konsole unter
"2) - IP Zuordnen" .
Könnte dann dem WAN [5.9.xxx.136/32] statt [5.9.xxx.136/27] als HauptIP eintragen?
( GW muß ja jeweils [5.9.xxx.129] bleiben).
Ansonsten könnte ich zwar über die Shell noch weitere routen hinzufügen, nur die werden ja nicht persistent ?
Logged
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #4 on:
May 04, 2019, 07:25:24 am »
Moin,
ich habe jetzt proxmox/KVM Verbindung. Und OPNsense per pci_passthrough die NIC zugeteilt.
LAN (vtnet0) -> v4:10.0.0.1/24
WAN (igb0) -> v4:5.9.xxx.136/27 ( DHCP funktioniert hier nicht ?!)
Die route in OPNsense sieht jetz so aus:
Destination Gateway Flags Netif Expire
default 5.9.xxx.129 UGS igb0
5.9.xxx.128/27 link#1 U igb0
5.9.xxx.129 34:xx:f6:xx:54:xx UHS igb0
5.9.xxx.136 link#1 U lo0
10.0.0.0/24 link#2 UHS lo0
PNsense link#2 UHS lo0
localhost link#4 UH lo0
ping nach 10.0.0.1 funktioniert (vtnet0)
ping nach 8.8.8.8 -->
ping: sendto: Host is down
Proxmox hat ja jetzt nur noch vmbr0 mit 10.0.0.2. das funktioniert.
die durchgereichte NIC sieht PVE gar nicht mehr.
Aber hier funktioniert eben auch nichts.
Wie könnte ich hier eine "hostroute" richtig einstellen ?
ich habe schon versucht mit 5.9.xxx.136/32 die IP als Host zu definieren, brachte aber auch nichts.
Bin für jede Hilfe dankbar.
Vielen Dank.
Logged
hbc
Hero Member
Posts: 501
Karma: 47
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #5 on:
May 04, 2019, 10:30:13 am »
Wo konfigurierst Du auf der Konsole? OPNsense oder Proxmox? Bei Opnsense kannst Du sonst Deine Route auch per vi in die
/conf/config.xml
eintragen. Muss halt richtige XML Syntax haben, nach Reload der Dienste bzw. Reboot müsste dann das aktiv und persistent sein.
Logged
Intel(R) Xeon(R) Silver 4116 CPU @ 2.10GHz (24 cores)
256 GB RAM, 300GB RAID1, 3x4 10G Chelsio T540-CO-SR
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #6 on:
May 04, 2019, 10:09:43 pm »
in Proxmox unter /etc/pve/qemu-server/<VM-ID>.conf
serial0: socket hinzufügen ( geht auch über proxmox 5.3/5.4 WEBGUI <VMID> ->Hardware->hinzufügen->serieller port
Nach der Installation von OPN ohne PCI_Passthrough kann mit über die VM-Konsole unter proxmox ( TINY SPICe etc. ) und erstmaligem Start
auf der VM in /conf/config.xml mit vi folgende Tags einstellen:
<serialspeed>115200</serialspeed>
<primaryconsole>serial</primaryconsole>
<secondaryconsole>video</secondaryconsole>
Neustart.
qm start <VMID>
OPNSense Konsole "qm terminal <VMID>". ( nur über Ctrl-o zu verlassen).
Proxmox benötigt in dieser Konfiguration mho keine Konfiguration, damit OPN mit pci_passthrough
das routing übernehmen kann.
mit den tags
<wan>
<if>em0</if>
<enable>1</enable>
<ipaddr>5.9.xxx.136</ipaddr>
<ipaddrv6/>
<blockbogons>on</blockbogons>
<blockpriv>on</blockpriv>
<subnet>27</subnet>
<gateway>GW_WAN</gateway>
<subnetv6/>
<gatewayv6/>
</wan>
</interfaces>
<gateways>
<gateway_item>
<descr>Interface WAN Gateway</descr>
<ipprotocol>inet</ipprotocol>
<interface>wan</interface>
<gateway>5.9.xxx.129</gateway>
<monitor_disable>1</monitor_disable>
<name>GW_WAN</name>
<interval>1</interval>
<weight>1</weight>
</gateway_item>
erstellt OPN automatisch die routing table:
Destination Gateway Flags Netif Expire
default 5.9.xxx.129 UGS igb0
5.9.xxx.128/27 link#1 U igb0
5.9.xxx.129 34:xx:f6:xx:54:xx UHS igb0
5.9.xxx.136 link#1 U lo0
Diese route funktioniert offensichtlich bei HETZNER nicht.
welche tags in der config.xml nötig sind, damit ein anderes routing erstellt wird, ist mir noch nicht bekannt.
Mein Beitrag zur Lösung der Herausforderung:
Ich habe dann Proxmox ohne OPN im router mode mit folgender Einstellung in
/etc/network/interfaces gestartet:
auto enp5s0
iface enp5s0 inet static
address 5.9.xxx.136
broadcast 5.9.xxx.159
netmask 255.255.255.224
gateway 5.9.xxx.129
pointopoint 5.9.xxx.129
auto vmbr0
iface vmbr0 inet static
address 5.9.xxx.136
netmask 255.255.255.224
bridge_ports none
bridge_stp off
bridge_fd 0
was zu folgender routing table auf proxmox führt: (netstat -anvr)
Ziel Router Genmask Flags MSS Fenster irtt Iface
0.0.0.0 5.9.xxx.129 0.0.0.0 UG 0 0 0 enp5s0
5.9.xxx.128 0.0.0.0 255.255.255.224 U 0 0 0 vmbr0
5.9.xxx.129 0.0.0.0 255.255.255.255 UH 0 0 0 enp5s0
Wo liegt jetzt der Unterschied zwischen den 2 routing tables:
1. default route
a) OPN
default 5.9.xxx.129 UGS igb0
b) Proxmox
0.0.0.0 5.9.xxx.129 0.0.0.0 UG 0 0 0 enp5s0
mho identisch:
OPN: default über 5.9.xxx.129 , (proxmox) debian: default über 5.9.xxx.129
2. Subnet
OPN:
5.9.xxx.128/27 link#1 U igb0
debian:
5.9.xxx.128 0.0.0.0 255.255.255.224 U 0 0 0 vmbr0
aus
https://www.freebsd.org/doc/de_DE.ISO8859-1/books/handbook/network-routing.html
"FreeBSD wird automatisch Subnetzrouten für das lokale Subnetz hinzufügen. ....
Das Ziel link#1 bezieht sich auf die erste Ethernet-Karte im Rechner."
der Unterschied der Schnittstelle hier liegt wohl im bridge mode von Proxmox;
im Wesen aber gleich (?)
3. MAC-Adresse
OPN: 5.9.xxx.129 34:xx:f6:xx:54:xx UHS igb0
debian: -----------
aus
https://www.freebsd.org/doc/de_DE.ISO8859-1/books/handbook/network-routing.html
Bei den mit 0:e0: beginnenden Adressen handelt es sich um MAC-Adressen.
FreeBSD identifiziert Rechner im lokalen Netz, im Beispiel test0,
automatisch und fügt eine direkte Route über die Ethernet-Schnittstelle re0
zu diesem Rechner hinzu. Außerdem existiert in der Spalte Expire ein Timeout,
der verwendet wird, wenn dieser Rechner in einem definierten Zeitraum nicht
reagiert. Wenn dies passiert, wird die Route zu diesem Rechner automatisch
gelöscht. Rechner im lokalen Netz werden über das Routing Information
Protocol (RIP) identifiziert, welches den kürzesten Weg zu
den jeweiligen Rechnern berechnet.
Was ich hier nicht verstehe, ist die MAC-Adresse.
diese MAC adresse ist von dem eingebauten NIC im Server, wird hier aber
dem Gateway zugeordnet.
Wenn ich davon ausgehe, daß das IP Protokoll über Layer (1) die route findet,
könnte diese doch eigentlich nicht richtig sein ?
4. Host
OPN: 5.9.xxx.136 link#1 U lo0
debian:
hier finde ich mal keine Entsprechung auf proxmox.
Ein Unterschied hier:
Debian:
5.9.xxx.129 0.0.0.0 255.255.255.255 UH 0 0 0 enp5s0
Flag H: Host
route: 0.0.0.0 ( default)
netif: enp5S0 ( entspräche in OPN igb0)
Aber wie könnte man eine derartige route in OPN: conf/config.xml
eintragen ?
ist mir derzeit noch ein Rätsel.
Vielleicht habe ich da etwas nicht verstanden oder was meinst Du?
Logged
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #7 on:
May 07, 2019, 02:50:45 pm »
Hallo erstmal
Neuer Tag neues Glück.
Ich habe die Nacht verwendet, um den Fehler zu suchen.
Ob ich ihn gefunden habe, bin ich mir nicht sichre.
Ich habe gedacht - jetzt ist es egal. Ich installiere OPNsense direkt auf der MAschine. das müsste doch schliesslich gehen.
Also habe ich eine KVM beantragt und das ISO eingebunden und mit dem OPNsense image gebootet.
Jetzt gibt es ja die Möglichkeit, vom Live system aus OPN zu "betreiben".
Es geschah merkwürdiges.
1. OPNsense hat vom DHCP eine Adresse zugewiesen bekommen -> das gab es als VM mit PCI Passthrough noch nie.
2. es funktionierte - Ich hatte Zugriff auf OPNsense.
Na, dachte ich, vielleicht haben die von Hetzner mich ja erhört und etwas geändert in Ihrer Router Konfiguratiion.
Also wieder mit Proxmox gebootet und VM PCI "durchgereicht" - und nichts funktionierte mehr.
Eines fiel mir aber auf: ( aus der Erinnerung vielleicht nicht sauber wieder gegeben );
Während OPN-solo im Live mode gebootet hat, meldete plötzlich der Netzwerk-Adapter: "Going down".
Jetzt könnte das ja normal sein, aber eine derartiege HArdware - Response Meldung bekam ich im VM Modus nie.
Natürlich habe ich die Routen zwischen VM Mode und Live - Mode verglichen. Die waren jetzt wirklich identisch ( bis auf die route zu den DENS Servern )
Im Life Mode konnte ich von OPN das Gateway pingen, im VM Mode erschien: HOST is down:
Ich nehme die Meldung jetzt einfach mal ernst: HOST is DOWN: Bedeutet für mich: HOST ist ausgeschaltet. Ist er natürlich nicht, was nur heißen kann, die NIC meldet dies an
OPN so weiter bzw. mangels wirklicher Antwort von der NIC sit für OPN der hsot wirklich down.
Das kann ja sein, wenn die NIC nicht sauber durchgereicht wird ( IRQ share etc. ).
Hat jemand Erfahrung mit PCI Passthrough und
05:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
Subsystem: ASUSTeK Computer Inc. I210 Gigabit Network Connection
Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
Latency: 0, Cache Line Size: 64 bytes
Interrupt: pin A routed to IRQ 16
auf proxmox ?
Offensichtlich reicht die Anleitung von Proxmox für diese Thema (Konfiguration ) nicht aus.
da steht nämlich nichts von so Dingen wie
/etc/modprobe.d/vfio.conf
options vfio-pci ids=8006:1553
/etc/initramfs-tools/modules
vfio
vfio_iommu_type1
vfio_virqfd
vfio_pci ids=8086:1533
/etc/modprobe.d/igb.conf
blacklist igb
Ich glaube, da fehlt etwas in der Konfiguration von PVE, damit die NIC sauber und fehlerfrei durchgereicht werden kann.
Leider bin heute morgen um 6.00 Uhr dann mit dem Kopf auf der Tastatur aufgeschlagen ...
Nein, Hetzner brauchte die KVM wohl wieder und ich hatte von dieser Session ja erst mal genug.
Ich dachte auch, muss da mal in Ruhe drüber nachdenken und ein bisschen Erfahrungen austauschen ....
#
Gruß Joe
Logged
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #8 on:
May 10, 2019, 10:14:19 pm »
Hallo erstmal,
das Problem ist wohl gelöst.
Die Anleitung von OPNSense über PCI_passthrough in der VM ist nicht vollständig.
Wichtige Teile fehlen, so das man wohl Support braucht.
Ich bin dankbar, dass ich das hier aufschreiben durfte, dadurch wurde mir klar
"I'm on the woodway"
Es scheint hier zu sein, wie vermutet.
Wenn man neu ist im Forum, bekommt man keine Antworten bzw. evtl noch Mitleid zu Themen, die nicht
im WebGui zu "klicken" sind. Ist wie bei Windows. Konsole kann dort auch keiner mehr.
Schliesslich gibt es, wie an anderer Stelle im Forum vermerkt, ja noch den bezahlten Support.
Was soll der noch lösen, wenn doch die Lösungen im Forum schon verteilt sind.
Es ist so wie mit manch anderer Opensource Software.
Wie Radio Eriwan beginnt: "Im Prinzip ja, aber .....".
Out of the Box funktioniert es eben nur für Triviales, Spezielles sollte bitteschön bezahlt werden.
Aber hier für diejenigen, die Lösungen suchen:
https://github.com/yoonsikp/macos-kvm-pci-passthrough/blob/master/README.md
beschreibt es ganz gut. Große Bedeutung kommen den Parametern beim laden von vfio_pci zu.
(vfio_pci ids=8086:15b7).
und wenn es gar nicht funktionieren will
blacklist <Driver>
Logged
hbc
Hero Member
Posts: 501
Karma: 47
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #9 on:
May 10, 2019, 10:51:02 pm »
Hattest Du eigentlich Dein Problem auch in einem proxmox-orientierten Forum gepostet?
Die eigentliche Problem ist ja nicht OPNsense, was dein Test mit extra KVM und Live-System bewiesen hat, sondern die richtigen Einstellungen in Proxmox für FreeBSD.
Somit kannst Du hier nicht erwarten, das die Hilfe so groß ausfällt, da nur jene mit Proxmox-Installation mitreden können. Die meisten werden physikalische Maschinen verwenden oder Vmware.
Logged
Intel(R) Xeon(R) Silver 4116 CPU @ 2.10GHz (24 cores)
256 GB RAM, 300GB RAID1, 3x4 10G Chelsio T540-CO-SR
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #10 on:
May 10, 2019, 11:53:50 pm »
Proxmox-Forum: Habe ich gepostet.
OPNsense nicht das Problem: generell richtig.
Wiewohl ich mir gewünscht hätte, das vielleicht Tips zur Prüfung der vollen Funktionsfähigkeit der NIC unter FreeBSD dabei sein könnten.
Ich erwarte nicht, dass jemand mir Taste für Taste diktiert ( mache ich übrigens auch nicht ); wobei Hinweise
für Möglichkeiten von Fehlern und deren Testings mir sehr willkommen sind.
Aber ich habe ja auch nicht mit allem Erfahrung. Insoweit habe ich auf die kollektive Intelligenz von Vielen gehofft.
Vielleicht haben wir eines aus diesem Thread mitgenommen:
Hardware muss nicht immer fehlerfrei funktionieren, nur weil ein Treiber geladen wurde.
Das Misstrauen gegenüber dem Computer muss wieder früher beginnen.
Was man nicht getestet hat ( Basis, Schritt für Schritt) darf man nicht einfach als Voraussetzung annehmen.
Deshalb bei Schnittstellen - Problemen schon im Bereich Hardware (Layer0), Treiber (layer1) Test der angebotenen Funktionen des Treibers prüfen (layer2). Erst wenn dies "abgesichert" ist, in Layer3 gehen - Protokolle bzw. API.
Aber tatsächlich ist es so, dass mir meine schriftliche Formulierung der Aufgabe hier im Board sehr geholfen hat:
Damit meine ich:
Strukturiert Anderen beschreiben, was vorhanden ist:
a) Ziel
b) vermeintlicher Fehler
c) Konfiguration
d) Ergebnisse von Tests
e) bisher gefundene Docus
d) Interpretation aus vorherigen Schritten
Können wir uns darauf einigen ?
Logged
micneu
Hero Member
Posts: 1913
Karma: 59
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #11 on:
May 11, 2019, 12:55:07 am »
Dein ergebnis gefällt mir.
ich bin it-systemadministrator, und so arbeite ich nur, und setze es aber auch vorraus.
wir arbeiten mit ticketsystemen und wir sagen unseren usern immer bittschreibe eine userstorry.
bedeutet, was ist dein ziel, was wiilst du erreichen. wir wählen dann immer die mögliche lösungen und besprechen dann die einzelnen vor und nachteile.
hier könnte sowas helfen wenn man ein problem beschreibt und im zuge auch sagt was eigentlich das ziel sein soll.
ich habe jetzt in den letzten 2 monaten festgestellt in der ich versuche hier zu helfen das es doch sehr wichtig ist IMMER einen netztplan zu haben.
euch noch einen schöne nacht
Logged
Internet: Willy.tel Down: 1Gbit/s, UP: 250Mbit/s Glasfaser |
Router/Firewall: pfSense+ 23.09 |
Hardware: Netgate 6100
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #12 on:
May 12, 2019, 08:19:02 pm »
Hallo MicNeu,
ich administriere Linux / Unix Systeme schon seit 25 Jahren.
Alles was es gibt und gab. SuSe / SCO Unix / RedHat / Ubuntu / FreeBsd / Next etc.
Bis vor 5 Jahren hauptberruflich, heute noch projektbezogen.
Bin aber jetzt bei Debian angekommen und geblieben.
Natürlich kann man nicht alles wissen. Bevor ich mich hier an das Forum gewendet habe, sind mindestens 3 Nächte draufgegangen. Und man beginnt an allem zu zweifeln. Bekannte Grundzüge von Linux funktionieren einfach nicht mehr. Na wenn die "Hardware" aber auch defekt ist.
Habe aber beschlossen, mich etwas in diesen Foren einzubringen. Wiewohl ich mit der Art der Anfrage manchmal nichts anfangen kann. Weil die oben genannten Basics fehlen.
Außerdem denke ich, dass die beste Lösung für das eigene Verständnis, selbst gelöste Rätsel sind.
Aber wenn man natürlich nach doch tieferer Vorarbeit immer noch auf dem Holzweg ist, auch nach Rat und Tat fragen kann. Dann könnte die Vorarbeit und die Lösung allen etwas bringen.
Logged
mhe
Newbie
Posts: 2
Karma: 0
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #13 on:
May 13, 2019, 05:37:03 pm »
Für alle die mehr wissen möchten und eine Struktur gut finden,
ein paar "Ideen" dazu.
guter Überblick zum Thema
https://www.thomas-krenn.com/de/wiki/Intel_VT_Virtualisierungsfunktionen_im_%C3%9Cberblick
Ebenen die "mindestens" beteiligt sind und in welcher Reihenfolge (...?) bzw. Abhängigkeit diese stehen.
Hardware - CPU, Chipsätze / IO-Chips Netzwerk, GPU usw.
Überblick in der "Xen VT-d HowTo"
https://wiki.xenproject.org/wiki/VTd_HowTo
PCI passthrough bzw. IO-Virtualisierung
PCIe vs. PCI
VT-d z. B. eine Netzwerkkarte für ein Gast-System
VT-c SR-IOV z. B. mehrere Gast-Systeme nutzen eine Netzwerkkarte im passthrough
BIOS und/oder UEFI bzw. OVMF
aktivieren von VT-x
aktivieren von VT-d
Linux Kernel
"älter" PCI device assignment
"aktuell" vfio Framework
https://www.kernel.org/doc/Documentation/vfio.txt
single function / multi function
KVM / QEMU
KVM VT-d
https://www.linux-kvm.org/page/How_to_assign_devices_with_VT-d_in_KVM
Xen VT-d HowTo
https://wiki.xenproject.org/wiki/VTd_HowTo
Proxmox:
https://pve.proxmox.com/wiki/Pci_passthrough
FreeBSD
Besonderheiten für FreeBSD device-driver? z. B. e1000
https://www.linux-kvm.org/page/Guest_Support_Status#FreeBSD
OPNsense/pfSense
Empfehlung "disable CRC, TSO, LRO offload"
PS: @JoeB ... für mich klingt das alles etwas zu vorwurfsvoll. Proxmox hat mehr Informationen dazu im wiki (siehe oben) als Sie hier aufführen.
Und Virtualisierung ist evtl. eine Baustelle für nochmal 25 Jahre Erfahrung sammeln
«
Last Edit: May 14, 2019, 12:26:46 am by mhe
»
Logged
JoeB
Newbie
Posts: 15
Karma: 1
Re: Proxmox PCI Passthrough Hetzner OVSwitch
«
Reply #14 on:
May 13, 2019, 07:14:21 pm »
Danke.
Prost.
Habe auch nur auszugsweise aus dem Wiki von Proxmox zitiert. Weiß ich.
Ich habe "alle" Wikis gelesen in den 2 Wochen.
Und ganz zu Anfang bin ich auf eine komplette russische Anleitung und Howto gestossen.
Da gab es ganz viele tolle Parameter für grub:
pci=noaer
pci=nomsi
damit auch alle Kompatibiltätssorgen gelöst wären.
Was war bei mir letztendlich der Fehler: genau die 2 Parameter - die braucht bei mir mal kein Mensch.
lediglich intel_iommu=on.
Da hab ich mir mal gedacht: siehste, hättest dir einfach keinen Kopf gemacht und das erst beste Wiki genommen.
Aber nein, Gut gemeint, ist halt nicht gut gemacht. !
Jetzt geht der Teil ja.
mfg
JoB
Logged
Print
Pages: [
1
]
2
« previous
next »
OPNsense Forum
»
International Forums
»
German - Deutsch
»
Proxmox PCI Passthrough Hetzner OVSwitch