OPNsense Forum

International Forums => German - Deutsch => Topic started by: Andreas on December 07, 2015, 11:44:40 pm

Title: Log Analyse
Post by: Andreas on December 07, 2015, 11:44:40 pm
Hi hat jemand schon Erfahrung gesammelt mit

https://hml.io/2015/03/28/elk-for-pfsense/

bzw, hier von suricata verweisend

http://suricata-ids.org/features/
Title: Re: Log Analyse
Post by: 2rjlknfws12 on February 02, 2016, 10:29:11 pm
HI,

ich habe den ELK stack installiert. Ist auch nicht so schwer. Dann schicke ich alle Logs dahin.
Der Logstash-Filter passt nicht ganz fuer die OpnSense logfiles. Aber im Grossen und Ganzen funkrioniert das gut.

Ich kann einfach nach "Drop" filtern und sehe alle Logs etc.

Gruesse
Title: Re: Log Analyse
Post by: Zeitkind on February 04, 2016, 11:27:52 pm
Hmm.. sieht nett aus. Ob man das nicht standardmäßig integrieren resp. ein gepflegtes Plugin draus machen könnte? Verbrät sicher mal wieder auch einiges an Resourcen, sollte also optional sein, aber meine sparsame Kiste mit Atom N270 und SSD hätte da wohl locker Luft für.
Title: Re: Log Analyse
Post by: 2rjlknfws12 on February 05, 2016, 03:59:51 pm
Ich bin mir nicht sicher, ob das auf dem Atom läuft.
Das hat schon, insbesondere wenn man filtert etc, ne ziemliche Last auf dem Server.
Diese Sache ist ja eigentlich dafür gemacht, alles dahin schreiben zu lassen. Also alle Server, Boxen etc.
Ich denke, für nur eine OPNSense ist das Kanone vs. Spatz und so.
Title: Re: Log Analyse
Post by: Micky on December 15, 2016, 09:21:45 pm
Guten Abend @all,

mal wieder das Thema nach oben holen ;-) gibt es die Möglichkeit die Logs grafisch via Plugin auszuwerten oder nutzt ihr ein seperates System?

Grüße M.
Title: Re: Log Analyse
Post by: Kruemel on March 27, 2018, 12:02:42 am
Moin,

ich hole das Thema mal wieder aus der Versenkung...
Hatte auch kurz drüber nachgedacht, ELK zu nutzen. Allerdings gibt es aktuell offensichtlich keine vernünftige Logstash Config, die funktioniert.

Gibt es außer ELK ein gutes Werkzeug zur Loganalyse?

Gruß
Krümel
Title: Re: Log Analyse
Post by: Alphakilo on March 29, 2018, 12:42:18 pm
ich hole das Thema mal wieder aus der Versenkung...
Hatte auch kurz drüber nachgedacht, ELK zu nutzen. Allerdings gibt es aktuell offensichtlich keine vernünftige Logstash Config, die funktioniert.

Würde ich so nicht ganz unterschreiben. Fabian hat da mal was gebaut:
https://github.com/fabianfrz/opnsense-logstash-config

Die in das Logstash-Verzeichnis legen, z.B.:
Code: [Select]
/etc/logstash/conf.d/opnsense.logstash.conf
Unten bei Output eure Elasticsearch-Instanz angeben, z.B.:
Code: [Select]
output {
  elasticsearch {
     hosts =>  "http://localhost:9200"
     index => "logstash-opnsense-syslog-%{+YYYY.MM.dd}"
  }

Den logstash-filter (ebenfalls von fabian) (https://github.com/fabianfrz/logstash-filter-opnsensefilter) installieren:
Code: [Select]
logstash-plugin install logstash-filter-opnsensefilter
OPTIONAL ingest-geoip für Elasticsearch nachinstallieren:
Code: [Select]
elasticsearch-plugin install ingest-geoip
(Dann sollte der Index im Output aber definitiv mit den "logstash"-Prefix haben, sonst gibt es Probleme mit den Templates)

Kräftig schütteln (Dienste Neustarten), voila.
Title: Re: Log Analyse
Post by: fabian on March 29, 2018, 03:58:17 pm
@Alphakilo tolles dashboard hast du da.
Würde mich darüber freuen, wenn du die Kibana-Konfigs dazu gibst und ggf. einen Artikel für docs.opnsense.org daraus machst.
Title: Re: Log Analyse
Post by: Alphakilo on March 29, 2018, 04:10:04 pm
@Alphakilo tolles dashboard hast du da.
Würde mich darüber freuen, wenn du die Kibana-Konfigs dazu gibst und ggf. einen Artikel für docs.opnsense.org daraus machst.

Gerne. Aber das ist Anfängerkram was ich da gebaut habe, jeder mit ein bisschen Ahnung von Kibana würde sich schlapp lachen  ;D
Title: Re: Log Analyse
Post by: fabian on March 29, 2018, 04:57:41 pm
Gerne. Aber das ist Anfängerkram was ich da gebaut habe, jeder mit ein bisschen Ahnung von Kibana würde sich schlapp lachen  ;D

Viele Fragen hier im Forum auch - und trotzdem werden diese Fragen gestellt. Bei offizieller Dokumentation kann man wenigstens drauf verlinken ;)
Außerdem: Ich hoffe mal, dass eine gute Dokumentation auch das Forum entlastet - für alle meine Plugins gibt es zum Beispiel Dokumentation in den offiziellen How-To's (FRR, mdns-repeater, TOR, rspamd, …). Die zielen immer auf Anfänger ab, die kein Vorwissen haben und den Dienst einfach nur auf der FW laufen lassen wollen und nicht irgendeine erweiterte Konfiguration machen wollen, da diese Leute das Handbuch eh nicht brauchen.
Title: Re: Log Analyse
Post by: Kruemel on April 07, 2018, 12:28:36 am
Naja, ich bin ja schon froh, dass meine Docker ELK Installation jetzt mal die Logs der Sense annimmt und ich auf "block" der verschiedenen VLANs suchen kann, so kann man wenigstens schauen, was wie wann geblockt wird.

Was nicht funktioniert sind die schönen Geografiken, weil ich kein Index "geoip" habe.
Wäre wirklich toll, wenns dazu ne Doku geben würde...

Ansonsten super Arbeit mit der vorgefertigten Logstash Config und den AddOns...

VG
Krümel
Title: Re: Log Analyse
Post by: fabian on April 07, 2018, 02:46:07 pm
geoip ist ein logstash filter plugin. kann einfach eingefügt werden (hinter dem filterlog plugin von mir).

Die logstash config ist sicher nicht vollständig - deckt aber die meisten Systemevents und FRR weitestgehend ab.
Title: Re: Log Analyse
Post by: Kruemel on April 07, 2018, 11:11:53 pm
Jau - also irgendiwie will er auf der Karte aber nix anzeigen. Ich habe folgende Einstellungen gesetzt (siehe Attachment).
Ich vermute mal ein Layer 8 Problem....

Kannst Du mir sagen, was ich falsch mache?
Title: Re: Log Analyse
Post by: fabian on April 08, 2018, 11:23:28 am
Das hier geht bei mir - musst du halt an deinen Index anpassen
Title: Re: Log Analyse
Post by: Kruemel on April 08, 2018, 11:54:26 pm
Sorry, aber das versteh ich nicht. Bin noch ziemlich unerfahren, was ELK angeht...
Wo und wie genau wird denn "geoip.ip" erzeugt? Wenn ich darauf auf "exists" filtere, bekomme ich auch keine Treffer. Das Feld scheint bei mir zwar zu existieren, aber wird nicht befüllt.

Bisher habe ich die Index Patterns logstash.* und logstash.**
Title: Re: Log Analyse
Post by: fabian on April 09, 2018, 09:59:57 am
Scheint ein Logstash-Problem zu sein. Du brauchst den geoip filter: https://www.elastic.co/guide/en/logstash/current/plugins-filters-geoip.html
Title: Re: Log Analyse
Post by: Kruemel on April 09, 2018, 10:24:00 am
Das Geoip filter plugin ist installiert, aber danach habe ich alles im Default gelassen.
Sind denn ansonsten noch Anpassungen notwendig?

Danke für deinen Support!  :)
Title: Re: Log Analyse
Post by: fabian on April 09, 2018, 10:55:30 am
Falls du die Config von mir verwendest: da ist bewusst kein GeoIP drin. Die Konfiguration zerlegt in erster linie mal die Zeilen in Werte, um sie durchsuchbar zu machen.
Title: Re: Log Analyse
Post by: Kruemel on April 09, 2018, 08:46:16 pm
Du würdest mir helfen, wenn Du Deine Config inkl. GeoIP mal posten würdest....
Title: Re: Log Analyse
Post by: Alphakilo on April 13, 2018, 04:16:52 pm
@Alphakilo tolles dashboard hast du da.
Würde mich darüber freuen, wenn du die Kibana-Konfigs dazu gibst und ggf. einen Artikel für docs.opnsense.org daraus machst.

Hi fabian!

Ich habe mich nun endlich dran gemacht mal meine ELK-Config zu bereinigen um sie als Beispiel zur Verfügung zu stellen.
Jetzt stehe ich vor einem Problem: deine GitHub-Repo von der ich ursprünglich angefangen habe verfügt über keine klare Lizenz...

Streng genommen hätte ich so nicht mal forken dürfen.  ::)
Wäre es ein Problem für dich eine Lizenz anzugeben?

LG
Title: Re: Log Analyse
Post by: fabian on April 13, 2018, 04:38:07 pm
Ich habe mich nun endlich dran gemacht mal meine ELK-Config zu bereinigen um sie als Beispiel zur Verfügung zu stellen.
Jetzt stehe ich vor einem Problem: deine GitHub-Repo von der ich ursprünglich angefangen habe verfügt über keine klare Lizenz...
Ist erledigt - ist jetzt MIT und damit solltest du keine Probleme bekommen.
MIT erlaubt so gut wie alles, solange die Lizenz erhalten bleibt.

Streng genommen hätte ich so nicht mal forken dürfen.  ::)
Wäre es ein Problem für dich eine Lizenz anzugeben?

LG
Forken darfst du auf GitHub immer - das liegt daran, dass es in den AGBs von GitHub geregelt ist.
Von dem her kannst du auf GitHub nicht viel falsch machen ;)

Title: Re: Log Analyse
Post by: uwaechte on June 24, 2018, 03:44:14 pm
Hi,
irgendwie bekomme ich die logstash Konfiguration nicht ans laufen.
Die plugins wurden geladen, die einzige Änderung die ich gemacht habe ist das ich die Ports von 514 auf 5000 geändert habe, weil auf dem Port bereits rsyslog gelauscht hat. Ich sehe auch auf dem logstash Server syslog Pakete auf Port 5000 ankommen, es wird aber nichts ins elasticsearch geschrieben, welches auf dem selben Server liegt.
Ich habe das Gefühl das der Filter nicht greift.
Hat jemand eine idee wie ich das weiter debuggen kann ?
Gruß Uwe