OPNsense
  • Home
  • Help
  • Search
  • Login
  • Register

  • OPNsense Forum »
  • International Forums »
  • German - Deutsch (Moderator: JeGr) »
  • Log Analyse
« previous next »
  • Print
Pages: [1] 2

Author Topic: Log Analyse  (Read 8585 times)

Andreas

  • Sr. Member
  • ****
  • Posts: 272
  • Karma: 9
    • View Profile
Log Analyse
« on: December 07, 2015, 11:44:40 pm »
Hi hat jemand schon Erfahrung gesammelt mit

https://hml.io/2015/03/28/elk-for-pfsense/

bzw, hier von suricata verweisend

http://suricata-ids.org/features/
Logged

2rjlknfws12

  • Guest
Re: Log Analyse
« Reply #1 on: February 02, 2016, 10:29:11 pm »
HI,

ich habe den ELK stack installiert. Ist auch nicht so schwer. Dann schicke ich alle Logs dahin.
Der Logstash-Filter passt nicht ganz fuer die OpnSense logfiles. Aber im Grossen und Ganzen funkrioniert das gut.

Ich kann einfach nach "Drop" filtern und sehe alle Logs etc.

Gruesse
Logged

Zeitkind

  • Full Member
  • ***
  • Posts: 178
  • Karma: 25
    • View Profile
Re: Log Analyse
« Reply #2 on: February 04, 2016, 11:27:52 pm »
Hmm.. sieht nett aus. Ob man das nicht standardmäßig integrieren resp. ein gepflegtes Plugin draus machen könnte? Verbrät sicher mal wieder auch einiges an Resourcen, sollte also optional sein, aber meine sparsame Kiste mit Atom N270 und SSD hätte da wohl locker Luft für.
Logged

2rjlknfws12

  • Guest
Re: Log Analyse
« Reply #3 on: February 05, 2016, 03:59:51 pm »
Ich bin mir nicht sicher, ob das auf dem Atom läuft.
Das hat schon, insbesondere wenn man filtert etc, ne ziemliche Last auf dem Server.
Diese Sache ist ja eigentlich dafür gemacht, alles dahin schreiben zu lassen. Also alle Server, Boxen etc.
Ich denke, für nur eine OPNSense ist das Kanone vs. Spatz und so.
Logged

Micky

  • Jr. Member
  • **
  • Posts: 99
  • Karma: 11
    • View Profile
Re: Log Analyse
« Reply #4 on: December 15, 2016, 09:21:45 pm »
Guten Abend @all,

mal wieder das Thema nach oben holen ;-) gibt es die Möglichkeit die Logs grafisch via Plugin auszuwerten oder nutzt ihr ein seperates System?

Grüße M.
Logged

Kruemel

  • Newbie
  • *
  • Posts: 33
  • Karma: 1
    • View Profile
Re: Log Analyse
« Reply #5 on: March 27, 2018, 12:02:42 am »
Moin,

ich hole das Thema mal wieder aus der Versenkung...
Hatte auch kurz drüber nachgedacht, ELK zu nutzen. Allerdings gibt es aktuell offensichtlich keine vernünftige Logstash Config, die funktioniert.

Gibt es außer ELK ein gutes Werkzeug zur Loganalyse?

Gruß
Krümel
Logged

Alphakilo

  • Newbie
  • *
  • Posts: 49
  • Karma: 5
    • View Profile
Re: Log Analyse
« Reply #6 on: March 29, 2018, 12:42:18 pm »
Quote from: Kruemel on March 27, 2018, 12:02:42 am
ich hole das Thema mal wieder aus der Versenkung...
Hatte auch kurz drüber nachgedacht, ELK zu nutzen. Allerdings gibt es aktuell offensichtlich keine vernünftige Logstash Config, die funktioniert.

Würde ich so nicht ganz unterschreiben. Fabian hat da mal was gebaut:
https://github.com/fabianfrz/opnsense-logstash-config

Die in das Logstash-Verzeichnis legen, z.B.:
Code: [Select]
/etc/logstash/conf.d/opnsense.logstash.conf
Unten bei Output eure Elasticsearch-Instanz angeben, z.B.:
Code: [Select]
output {
  elasticsearch {
     hosts =>  "http://localhost:9200"
     index => "logstash-opnsense-syslog-%{+YYYY.MM.dd}"
  }

Den logstash-filter (ebenfalls von fabian) installieren:
Code: [Select]
logstash-plugin install logstash-filter-opnsensefilter
OPTIONAL ingest-geoip für Elasticsearch nachinstallieren:
Code: [Select]
elasticsearch-plugin install ingest-geoip
(Dann sollte der Index im Output aber definitiv mit den "logstash"-Prefix haben, sonst gibt es Probleme mit den Templates)

Kräftig schütteln (Dienste Neustarten), voila.
Logged

fabian

  • Hero Member
  • *****
  • Posts: 2768
  • Karma: 199
  • OPNsense Contributor (Language, VPN, Proxy, etc.)
    • View Profile
    • Personal Homepage
Re: Log Analyse
« Reply #7 on: March 29, 2018, 03:58:17 pm »
@Alphakilo tolles dashboard hast du da.
Würde mich darüber freuen, wenn du die Kibana-Konfigs dazu gibst und ggf. einen Artikel für docs.opnsense.org daraus machst.
Logged

Alphakilo

  • Newbie
  • *
  • Posts: 49
  • Karma: 5
    • View Profile
Re: Log Analyse
« Reply #8 on: March 29, 2018, 04:10:04 pm »
Quote from: fabian on March 29, 2018, 03:58:17 pm
@Alphakilo tolles dashboard hast du da.
Würde mich darüber freuen, wenn du die Kibana-Konfigs dazu gibst und ggf. einen Artikel für docs.opnsense.org daraus machst.

Gerne. Aber das ist Anfängerkram was ich da gebaut habe, jeder mit ein bisschen Ahnung von Kibana würde sich schlapp lachen  ;D
Logged

fabian

  • Hero Member
  • *****
  • Posts: 2768
  • Karma: 199
  • OPNsense Contributor (Language, VPN, Proxy, etc.)
    • View Profile
    • Personal Homepage
Re: Log Analyse
« Reply #9 on: March 29, 2018, 04:57:41 pm »
Quote from: Alphakilo on March 29, 2018, 04:10:04 pm
Gerne. Aber das ist Anfängerkram was ich da gebaut habe, jeder mit ein bisschen Ahnung von Kibana würde sich schlapp lachen  ;D

Viele Fragen hier im Forum auch - und trotzdem werden diese Fragen gestellt. Bei offizieller Dokumentation kann man wenigstens drauf verlinken ;)
Außerdem: Ich hoffe mal, dass eine gute Dokumentation auch das Forum entlastet - für alle meine Plugins gibt es zum Beispiel Dokumentation in den offiziellen How-To's (FRR, mdns-repeater, TOR, rspamd, …). Die zielen immer auf Anfänger ab, die kein Vorwissen haben und den Dienst einfach nur auf der FW laufen lassen wollen und nicht irgendeine erweiterte Konfiguration machen wollen, da diese Leute das Handbuch eh nicht brauchen.
Logged

Kruemel

  • Newbie
  • *
  • Posts: 33
  • Karma: 1
    • View Profile
Re: Log Analyse
« Reply #10 on: April 07, 2018, 12:28:36 am »
Naja, ich bin ja schon froh, dass meine Docker ELK Installation jetzt mal die Logs der Sense annimmt und ich auf "block" der verschiedenen VLANs suchen kann, so kann man wenigstens schauen, was wie wann geblockt wird.

Was nicht funktioniert sind die schönen Geografiken, weil ich kein Index "geoip" habe.
Wäre wirklich toll, wenns dazu ne Doku geben würde...

Ansonsten super Arbeit mit der vorgefertigten Logstash Config und den AddOns...

VG
Krümel
Logged

fabian

  • Hero Member
  • *****
  • Posts: 2768
  • Karma: 199
  • OPNsense Contributor (Language, VPN, Proxy, etc.)
    • View Profile
    • Personal Homepage
Re: Log Analyse
« Reply #11 on: April 07, 2018, 02:46:07 pm »
geoip ist ein logstash filter plugin. kann einfach eingefügt werden (hinter dem filterlog plugin von mir).

Die logstash config ist sicher nicht vollständig - deckt aber die meisten Systemevents und FRR weitestgehend ab.
Logged

Kruemel

  • Newbie
  • *
  • Posts: 33
  • Karma: 1
    • View Profile
Re: Log Analyse
« Reply #12 on: April 07, 2018, 11:11:53 pm »
Jau - also irgendiwie will er auf der Karte aber nix anzeigen. Ich habe folgende Einstellungen gesetzt (siehe Attachment).
Ich vermute mal ein Layer 8 Problem....

Kannst Du mir sagen, was ich falsch mache?
Logged

fabian

  • Hero Member
  • *****
  • Posts: 2768
  • Karma: 199
  • OPNsense Contributor (Language, VPN, Proxy, etc.)
    • View Profile
    • Personal Homepage
Re: Log Analyse
« Reply #13 on: April 08, 2018, 11:23:28 am »
Das hier geht bei mir - musst du halt an deinen Index anpassen
Logged

Kruemel

  • Newbie
  • *
  • Posts: 33
  • Karma: 1
    • View Profile
Re: Log Analyse
« Reply #14 on: April 08, 2018, 11:54:26 pm »
Sorry, aber das versteh ich nicht. Bin noch ziemlich unerfahren, was ELK angeht...
Wo und wie genau wird denn "geoip.ip" erzeugt? Wenn ich darauf auf "exists" filtere, bekomme ich auch keine Treffer. Das Feld scheint bei mir zwar zu existieren, aber wird nicht befüllt.

Bisher habe ich die Index Patterns logstash.* und logstash.**
Logged

  • Print
Pages: [1] 2
« previous next »
  • OPNsense Forum »
  • International Forums »
  • German - Deutsch (Moderator: JeGr) »
  • Log Analyse
 

OPNsense is an OSS project © Deciso B.V. 2015 - 2023 All rights reserved
  • SMF 2.0.19 | SMF © 2021, Simple Machines
    Privacy Policy
    | XHTML | RSS | WAP2