Log Analyse

[Andreas]

Hi hat jemand schon Erfahrung gesammelt mit

https://hml.io/2015/03/28/elk-for-pfsense/

bzw, hier von suricata verweisend

http://suricata-ids.org/features/

[2rjlknfws12]

HI,

ich habe den ELK stack installiert. Ist auch nicht so schwer. Dann schicke ich alle Logs dahin.
Der Logstash-Filter passt nicht ganz fuer die OpnSense logfiles. Aber im Grossen und Ganzen funkrioniert das gut.

Ich kann einfach nach "Drop" filtern und sehe alle Logs etc.

Gruesse

[Zeitkind]

Hmm.. sieht nett aus. Ob man das nicht standardmäßig integrieren resp. ein gepflegtes Plugin draus machen könnte? Verbrät sicher mal wieder auch einiges an Resourcen, sollte also optional sein, aber meine sparsame Kiste mit Atom N270 und SSD hätte da wohl locker Luft für.

[2rjlknfws12]

Ich bin mir nicht sicher, ob das auf dem Atom läuft.
Das hat schon, insbesondere wenn man filtert etc, ne ziemliche Last auf dem Server.
Diese Sache ist ja eigentlich dafür gemacht, alles dahin schreiben zu lassen. Also alle Server, Boxen etc.
Ich denke, für nur eine OPNSense ist das Kanone vs. Spatz und so.

[Micky]

Guten Abend @all,

mal wieder das Thema nach oben holen ;-) gibt es die Möglichkeit die Logs grafisch via Plugin auszuwerten oder nutzt ihr ein seperates System?

Grüße M.

[Kruemel]

Moin,

ich hole das Thema mal wieder aus der Versenkung...
Hatte auch kurz drüber nachgedacht, ELK zu nutzen. Allerdings gibt es aktuell offensichtlich keine vernünftige Logstash Config, die funktioniert.

Gibt es außer ELK ein gutes Werkzeug zur Loganalyse?

Gruß
Krümel

[Alphakilo]

ich hole das Thema mal wieder aus der Versenkung...
Hatte auch kurz drüber nachgedacht, ELK zu nutzen. Allerdings gibt es aktuell offensichtlich keine vernünftige Logstash Config, die funktioniert.

Würde ich so nicht ganz unterschreiben. Fabian hat da mal was gebaut:
https://github.com/fabianfrz/opnsense-logstash-config

Die in das Logstash-Verzeichnis legen, z.B.:

Code: [Select]

/etc/logstash/conf.d/opnsense.logstash.conf
Unten bei Output eure Elasticsearch-Instanz angeben, z.B.:

Code: [Select]

output {
  elasticsearch {
     hosts =>  "http://localhost:9200"
     index => "logstash-opnsense-syslog-%{+YYYY.MM.dd}"
  }

Den logstash-filter (ebenfalls von fabian) installieren:

Code: [Select]

logstash-plugin install logstash-filter-opnsensefilter
OPTIONAL ingest-geoip für Elasticsearch nachinstallieren:

Code: [Select]

elasticsearch-plugin install ingest-geoip
(Dann sollte der Index im Output aber definitiv mit den "logstash"-Prefix haben, sonst gibt es Probleme mit den Templates)

Kräftig schütteln (Dienste Neustarten), voila.

[fabian]

@Alphakilo tolles dashboard hast du da.
Würde mich darüber freuen, wenn du die Kibana-Konfigs dazu gibst und ggf. einen Artikel für docs.opnsense.org daraus machst.

[Alphakilo]

@Alphakilo tolles dashboard hast du da.
Würde mich darüber freuen, wenn du die Kibana-Konfigs dazu gibst und ggf. einen Artikel für docs.opnsense.org daraus machst.

Gerne. Aber das ist Anfängerkram was ich da gebaut habe, jeder mit ein bisschen Ahnung von Kibana würde sich schlapp lachen 

[fabian]

Gerne. Aber das ist Anfängerkram was ich da gebaut habe, jeder mit ein bisschen Ahnung von Kibana würde sich schlapp lachen 

Viele Fragen hier im Forum auch - und trotzdem werden diese Fragen gestellt. Bei offizieller Dokumentation kann man wenigstens drauf verlinken
Außerdem: Ich hoffe mal, dass eine gute Dokumentation auch das Forum entlastet - für alle meine Plugins gibt es zum Beispiel Dokumentation in den offiziellen How-To's (FRR, mdns-repeater, TOR, rspamd, …). Die zielen immer auf Anfänger ab, die kein Vorwissen haben und den Dienst einfach nur auf der FW laufen lassen wollen und nicht irgendeine erweiterte Konfiguration machen wollen, da diese Leute das Handbuch eh nicht brauchen.

[Kruemel]

Naja, ich bin ja schon froh, dass meine Docker ELK Installation jetzt mal die Logs der Sense annimmt und ich auf "block" der verschiedenen VLANs suchen kann, so kann man wenigstens schauen, was wie wann geblockt wird.

Was nicht funktioniert sind die schönen Geografiken, weil ich kein Index "geoip" habe.
Wäre wirklich toll, wenns dazu ne Doku geben würde...

Ansonsten super Arbeit mit der vorgefertigten Logstash Config und den AddOns...

VG
Krümel

[fabian]

geoip ist ein logstash filter plugin. kann einfach eingefügt werden (hinter dem filterlog plugin von mir).

Die logstash config ist sicher nicht vollständig - deckt aber die meisten Systemevents und FRR weitestgehend ab.

[Kruemel]

Jau - also irgendiwie will er auf der Karte aber nix anzeigen. Ich habe folgende Einstellungen gesetzt (siehe Attachment).
Ich vermute mal ein Layer 8 Problem....

Kannst Du mir sagen, was ich falsch mache?

[fabian]

Das hier geht bei mir - musst du halt an deinen Index anpassen

[Kruemel]

Sorry, aber das versteh ich nicht. Bin noch ziemlich unerfahren, was ELK angeht...
Wo und wie genau wird denn "geoip.ip" erzeugt? Wenn ich darauf auf "exists" filtere, bekomme ich auch keine Treffer. Das Feld scheint bei mir zwar zu existieren, aber wird nicht befüllt.

Bisher habe ich die Index Patterns logstash.* und logstash.**