Cannot connect to directly attached client

[seed]

I have found a strange Problem.

Network:

+---------------------------+
|                                   |
|                                   |
|                                   |
|   OPNsense                |
|                                   |
|                                   |
|                                   |
|                                   |
+----------------+---------+
                       |
                       |
                       |
                       |
                       |
+----------------+---------+
|                                    |
|                                    |
|                                    |
|    ESXi                         |
|                                    |
|                                    |
|                                    |
+----------------------------+


When the opnsense is directly attached to my esxi this happens:

ESXi in shutdown state (PSU is switched on):
start ESXi -> works

ESXi completly powerded of (PSU switched off):
start ESXi by attaching the power cord: ESXi boots -> cannot reach vm using the vmnetwork

once i reboot the OPNsense the VM on the ESXi is reachable.
Could this be an ARP issue?

I have seen this behavior since i use OPNsense (18.7) I even swapped the NICs (Intel on both sides)