Suricata Log Handling!?

Started by antiager, October 11, 2023, 02:22:19 PM

Previous topic - Next topic
Hallo!

Ich habe Suricata nun seit einigen Tagen am laufen!

Ich bemerke jetzt die ziemlich großen Logs!

Wie geht ihr mit diesen Logs um?

Ich habe logrotate jetzt auf einen Tag eingestellt.

Gibt es eigentlich eine möglichkeit die Logs automatisch auszulagern, sodass immer nur das aktuelle Log auf der sense liegt und die anderen beispielsweise auf einem FTP-Server?
Danke für die Hilfe!
Thank you for your Help

Was hindert dich daran, die Logs von der OPNSense irgentwo hin zu kopieren ?

Ich mache das mich den Config-Backups, die werden bei mir per RSYNC auf meine NAS ausgelagert und das täglich per cronjob.
Damit das ganze Passwortfrei geht, ssh-Key erstellt und auf der NAS eingetragen und fertig.

Vereinfacht sieht das so aus:


/usr/local/bin/rsync --delete -avz  <QUELLVERZEICHNISS>  <USER>@<ZIELSERVER>:<ZIELVERZEICHNISS>

( RSYNC muss nachinstalliert werden auf der OPN )

und fürs aufräumen kannst notfalls noch ein "find" Kommando nutzen, falls das Logrotate das nicht schon selber macht

Danke!

Das ist natürlich eine Möglichkeit!
Danke für die Hilfe!
Thank you for your Help

October 12, 2023, 11:12:02 AM #3 Last Edit: October 12, 2023, 11:16:30 AM by 0zzy
@Tuxtom007 wieviel GB an Logs werden denn da generiert?
bin am überlegen ob ich das einschränken sollte.
Aktuell läuft die Sense auf ner 100GiB Partition. Wäre auch interessant zu wissen, falls du das weisst wie man unter freebsd den storage nachträglich erweitern kann.

ah ich sehe gerade die sind 10MB groß pro file insofern das die richtigen sind:
-rw-------   1 root             wheel              10M Oct 11 21:29 flowd.log.000001
-rw-------   1 root             wheel              10M Oct 11 11:47 flowd.log.000002
-rw-------   1 root             wheel              10M Oct 10 21:12 flowd.log.000003
-rw-------   1 root             wheel              10M Oct 10 12:12 flowd.log.000004
-rw-------   1 root             wheel              10M Oct 10 03:45 flowd.log.000005
-rw-------   1 root             wheel              10M Oct  9 15:49 flowd.log.000006
-rw-------   1 root             wheel              10M Oct  9 09:13 flowd.log.000007
-rw-------   1 root             wheel              10M Oct  8 23:46 flowd.log.000008
-rw-------   1 root             wheel              10M Oct  8 14:20 flowd.log.000009
-rw-------   1 root             wheel              10M Oct  8 07:14 flowd.log.000010


Protectli FW4B
Intel J6412 4 cores
4x Intel I225-V 2,5 Gbit/s
16 GB memory
480 GB m.2 SATA SSD storage
Coreboot

Quote from: 0zzy on October 12, 2023, 11:12:02 AM
@Tuxtom007 wieviel GB an Logs werden denn da generiert?
/var/log/suricata - dort liegen die Logs

Ich kanns dir nicht sagen, was da an Logs produziert wird, da ich es nicht aktiviert habe.


Es sind bei folgender Konfiguration allein nach einem Tag und einer Nacht bereits 85G an logs (bzw. ein log das so big ist).
Habs nun erst mal deaktiviert, bis ich mir sicher bin wie man die interne Platte erweitert.

Heisst im Umkehrschluss wenn ich mir eine Protectli gönne, sollte ich genügend Speicher haben.
Mit 120GB komme ich scheinbar nicht aus.
Protectli FW4B
Intel J6412 4 cores
4x Intel I225-V 2,5 Gbit/s
16 GB memory
480 GB m.2 SATA SSD storage
Coreboot

Quote from: 0zzy on October 13, 2023, 09:08:19 AM
Heisst im Umkehrschluss wenn ich mir eine Protectli gönne, sollte ich genügend Speicher haben.
Mit 120GB komme ich scheinbar nicht aus.
Du solltest dir lieber darüber Gedanken machen, den Loglevel geringer einzustellen.
Wie willst du die Files auswerten ?

Und denke dran, das ganze Logging mit Suricata kosten richtig Performance.

October 13, 2023, 05:15:20 PM #7 Last Edit: October 13, 2023, 05:25:17 PM by 0zzy
@Tuxtom007 sprechen wir gerade vom selben Tool?
Du sagst "Suricata" ich meine das was ich unter Services: Intrusion Detection: Administration konfiguriert habe.
Von Seiten des Log Pfades den du genannt hattest (was auch stimmt) passt es.
Verwirrt mich ungemein wenn diverse Bezeichnungen das selbe meinen.

LOG Level kann ich garnicht verändern, da hab ich nur die Wahl bei "Rotate Log" wo ich nur Daily also täglich und Weekly also wöchentlich auswählen kann (granularer wäre besser einfach sowas wie nach 4 stunden als custom o.ä.).
Und außerdem noch bei "Save Logs" eine 1.

Da gibts nix was ich am level ändern könnte (bin zwar öfters mal verwirrt aber das ist ein neues Level).

Abgesehen davon, performance ist relativ, läuft sowieso aktuell auf ner PVE, cpu=host, was dann ein i7-6700k ist, ich denke das reicht bei 4 vergebenen kernen dafür locker oder?
Protectli FW4B
Intel J6412 4 cores
4x Intel I225-V 2,5 Gbit/s
16 GB memory
480 GB m.2 SATA SSD storage
Coreboot