LogManagement & Reporting Lösung

M

MrDeluxe

Enthusiast
Thread Starter
Mitglied seit
01.04.2006
Beiträge
1.443
Hallo Community,

ich hoffe ich bin hier im richtigen Unterthread gelandet. Ich bin aktuell auf der Suche nach einer bzw. mehreren Lösungen mit denen ich zum einen meine Logs verwalten, filtern etc. kann und mit diesen Informationen Reportings (Monthly, Weekly, etc.) zu erstellen. Falls euch die Sophos UTM geläufig ist. Da gibt es so eine charmante Lösung aber vermutlich ist diese eine Eigenkreation und wird nicht vermarktet oder bereitgestellt.
Ich bin für jegliche Tipps dankbar!

VG
MrDeluxe
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
@Opticum: Die Lösung ist etwas zu spezifisch. Es sollten generell Syslog Daten verwertet werden.

@VirtuGuy: Graylog hatte ich auch schon überlegt. Weißt du, ob es damit möglich ist Userbasierte Reports zu erstellen?


Ich weiß nicht ob ich mich falsch ausgedrückt habe. Ich möchte NICHT die Daten von der Sophos UTM verwerten SONDERN ich finde nur die mitgelieferte Funktionen (Reporting&Logging) recht charmant.
 
Zuletzt bearbeitet:
GitHub - n1trux/awesome-sysadmin: A curated list of amazingly awesome open source sysadmin resources.

Elasticsearch - A Lucene Based Document store mainly used for log indexing, storage and analysis.
Fluentd - Log Collector and Shipper.
Flume - Distributed log collection and aggregation system.
GoAccess - Real-time web log analyzer and interactive viewer that runs in a terminal or through the browser. (Source Code) MIT C
Graylog - Pluggable Log and Event Analysis Server with Alerting options.
Hindsight - Stream processing system which may be used for log aggregation (Replaces Heka).
Kibana - Visualize logs and time-stamped data.
Logstash - Tool for managing events and logs.
Octopussy - Log Management Solution (Visualize / Alert / Report).
 
Danke für die Auflistung aber ohne Erfahrungswerte nützt es mir nichts. Googlen kann ich auch :)
 
schau dir die Sachen doch an ob was für dich dabei ist. So viele sind es ja nicht. Dann kannst hier berichten ob was dafür dabei ist :-)
 
Reports über bestimmte User/Kunden.
 
Also wir schreiben bei uns ca 200GB Daten an Logs täglich in unseren ELK Stack.
Für die ersten Tests in Logstash einen Syslog Receiver konfigurieren und als Output Plugin Elasticsearch. Der unterstützt aber nur RFC3164 und hat Performanceprobleme, da er singlethreaded ist (~2000 Zeilen/s schafft der), alternativ einen generischen UDP Socket aufmachen und dann den syslog codec einstellen, oder das raw event selbst mit grok parsen.
Dann sind zumindest mal die Logs durchsuchbar. Wenn du mehr willst, dann musst du dich dann schon einarbeiten.
Schön zum auswerten sind strukturierte Logs, also entweder im Logstash mit grok deinen Syslog parsen und strukturieren, oder gleich strukturiert versenden. Wir nutzen da mittlerweile Gelf als Protokoll.

Für bis zu 500MB/Tag an Datenmenge schau dir mal Splunk an. Bis dahin ist das nämlich kostenlos und sehr bedienerfreundlich.

Um was für Mengen Events/s bzw Datenmenge/Tag geht es denn eigentlich?

EDIT:
Bei Elasticsearch gibts kostenlos keine Benutzerauthentifizierung von elastic selbst, hier gibts nur die kostenpflichtige x-pack Option. Als teilweise kostenlose Lösung habe ich search-guard.com gefunden, aber hatte noch keine Zeit zum testen.
 
Zuletzt bearbeitet:
2GB bis 5GB werden es mindestens sein. Wir wollen hauptsächlich Mailverkehr und DNS auswerten. Bisher lösen wir das Ganze über einen stark konfigurieren Syslog-ng, Perl-scripten und einer SQL-Datenbank. Meiner Meinung nach eine Frickellösung, die man eben besser machen könnte, wenn ich wüsste wie ;)

PS: Es würde reichen, wenn wir die Daten für den User/Kunden gerecht exportieren. Er muss sich nicht an der ELK Stack Oberfläche selbst anmelden.
 
Zuletzt bearbeitet:
Macht ihr das Syslog Parsing dann schon im syslog-ng, oder in den nachfolgenden Perl Skripten?
Wenn ihr das in ersterem macht, dann kannst du Graylog bzw Elasticsearch/Kibana (einfach) einbinden. Syslog-ng hat in den aktuellen Versionen für die beiden Output Plugins.

Wir hatten ganz früher auch eine Syslog-ng -> mysql Variante, das wurde aber ab einer gewissen Tabellengrösse ziemlich langsam.

Logs speichern und sinnvoll auswerten ist mM nach nicht so trivial wie man anfangs meint.
 
Das Syslog-Parsing läuft bereits über das syslog-ng. Die Perl-Scripte frachten das Ganze zum MySQL Server.
Aber was meinst du mit "einfach einbinden". Welche Möglichkeiten habe ich denn dann?
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh