紅聯Linux門戶
Linux幫助

5 個有用的開源日志分析工具

發布時間:2019-05-23 00:00:00來源:未知作者:admin

監控網絡活動既重要又繁瑣,以下這些工具可以使它更容易。

監控網絡活動是一項繁瑣的工作,但有充分的理由這樣做。例如,它允許你查找和調查工作站和連接到網絡的設備及服務器上的可疑登錄,同時確定管理員濫用了什么。你還可以跟蹤軟件安裝和數據傳輸,以實時識別潛在問題,而不是在損壞發生后才進行跟蹤。

這些日志還有助于使你的公司遵守適用于在歐盟范圍內運營的任何實體的通用數據保護條例(GDPR)。如果你的網站在歐盟可以瀏覽,那么你就有遵守的該條例的資格。

日志記錄,包括跟蹤和分析,應該是任何監控基礎設置中的一個基本過程。要從災難中恢復 SQL Server 數據庫,需要事務日志文件。此外,通過跟蹤日志文件,DevOps 團隊和數據庫管理員(DBA)可以保持最佳的數據庫性能,又或者,在網絡攻擊的情況下找到未經授權活動的證據。因此,定期監視和分析系統日志非常重要。這是一種重新創建導致出現任何問題的事件鏈的可靠方式。

現在有很多開源日志跟蹤器和分析工具可供使用,這使得為活動日志選擇合適的資源比你想象的更容易。自由和開源軟件社區提供的日志設計適用于各種站點和操作系統。以下是五個我用過的最好的工具,它們并沒有特別的順序。

Graylog

Graylog 于 2011 年在德國創立,現在作為開源工具或商業解決方案提供。它被設計成一個集中式日志管理系統,接受來自不同服務器或端點的數據流,并允許你快速瀏覽或分析該信息。

Graylog 在系統管理員中有著良好的聲譽,因為它易于擴展。大多數 Web 項目都是從小規模開始的,但它們可能指數級增長。Graylog 可以均衡后端服務網絡中的負載,每天可以處理幾 TB 的日志數據。

IT 管理員會發現 Graylog 的前端界面易于使用,而且功能強大。Graylog 是圍繞儀表板的概念構建的,它允許你選擇你認為最有價值的指標或數據源,并快速查看一段時間內的趨勢。

當發生安全或性能事件時,IT 管理員希望能夠盡可能地根據癥狀追根溯源。Graylog 的搜索功能使這變得容易。它有內置的容錯功能,可運行多線程搜索,因此你可以同時分析多個潛在的威脅。

Nagios

Nagios 始于 1999 年,最初是由一個開發人員開發的,現在已經發展成為管理日志數據最可靠的開源工具之一。當前版本的 Nagios 可以與運行 Microsoft Windows、Linux 或 Unix 的服務器集成。

它的主要產品是日志服務器,旨在簡化數據收集并使系統管理員更容易訪問信息。Nagios 日志服務器引擎將實時捕獲數據,并將其提供給一個強大的搜索工具。通過內置的設置向導,可以輕松地與新端點或應用程序集成。

Nagios 最常用于需要監控其本地網絡安全性的組織。它可以審核一系列與網絡相關的事件,并幫助自動分發警報。如果滿足特定條件,甚至可以將 Nagios 配置為運行預定義的腳本,從而允許你在人員介入之前解決問題。

作為網絡審計的一部分,Nagios 將根據日志數據來源的地理位置過濾日志數據。這意味著你可以使用地圖技術構建全面的儀表板,以了解 Web 流量是如何流動的。

Elastic Stack (ELK Stack)

Elastic Stack,通常稱為 ELK Stack,是需要篩選大量數據并理解其日志系統的組織中最受歡迎的開源工具之一(這也是我個人的最愛)。

它的主要產品由三個獨立的產品組成:Elasticsearch、Kibana 和 Logstash:

  • 顧名思義, Elasticsearch 旨在幫助用戶使用多種查詢語言和類型在數據集之中找到匹配項。速度是它最大的優勢。它可以擴展成由數百個服務器節點組成的集群,輕松處理 PB 級的數據。
  • Kibana 是一個可視化工具,與 Elasticsearch 一起工作,允許用戶分析他們的數據并構建強大的報告。當你第一次在服務器集群上安裝 Kibana 引擎時,你會看到一個顯示著統計數據、圖表甚至是動畫的界面。
  • ELK Stack 的最后一部分是 Logstash,它作為一個純粹的服務端管道進入 Elasticsearch 數據庫。你可以將 Logstash 與各種編程語言和 API 集成,這樣你的網站和移動應用程序中的信息就可以直接提供給強大的 Elastic Stalk 搜索引擎中。

ELK Stack 的一個獨特功能是,它允許你監視構建在 WordPress 開源網站上的應用程序。與跟蹤管理日志和 PHP 日志的大多數開箱即用的安全審計日志工具相比,ELK Stack 可以篩選 Web 服務器和數據庫日志。

糟糕的日志跟蹤和數據庫管理是導致網站性能不佳的最常見原因之一。沒有定期檢查、優化和清空數據庫日志,不僅會降低站點的運行速度,還可能導致其完全崩潰。因此,ELK Stack 對于每個 WordPress 開發人員的工具包來說都是一個優秀的工具。

LOGalyze

LOGalyze 是一個位于匈牙利的組織,它為系統管理員和安全專家構建開源工具,以幫助他們管理服務器日志,并將其轉換為有用的數據點。其主要產品可供個人或商業用戶免費下載。

LOGalyze 被設計成一個巨大的管道,其中多個服務器、應用程序和網絡設備可以使用簡單對象訪問協議(SOAP)方法提供信息。它提供了一個前端界面,管理員可以登錄界面來監控數據集并開始分析數據。

在 LOGalyze 的 Web 界面中,你可以運行動態報告,并將其導出到 Excel 文件、PDF 文件或其他格式。這些報告可以基于 LOGalyze 后端管理的多維統計信息。它甚至可以跨服務器或應用程序組合數據字段,借此來幫助你發現性能趨勢。

LOGalyze 旨在不到一個小時內完成安裝和配置。它具有預先構建的功能,允許它以法律所要求的格式收集審計數據。例如,LOGalyze 可以很容易地運行不同的 HIPAA 報告,以確保你的組織遵守健康法律并保持合規性。

Fluentd

如果你所在組織的數據源位于許多不同的位置和環境中,那么你的目標應該是盡可能地將它們集中在一起。否則,你將難以監控性能并防范安全威脅。

Fluentd 是一個強大的數據收集解決方案,它是完全開源的。它沒有提供完整的前端界面,而是作為一個收集層來幫助組織不同的管道。Fluentd 在被世界上一些最大的公司使用,但是也可以在較小的組織中實施。

Fluentd 最大的好處是它與當今最常用的技術工具兼容。例如,你可以使用 Fluentd 從 Web 服務器(如 Apache)、智能設備傳感器和 MongoDB 的動態記錄中收集數據。如何處理這些數據完全取決于你。

Fluentd 基于 JSON 數據格式,它可以與由卓越的開發人員創建的 500 多個插件一起使用。這使你可以將日志數據擴展到其他應用程序中,并通過最少的手工操作從中獲得更好的分析。

寫在最后

如果出于安全原因、政府合規性和衡量生產力的原因,你還沒有使用活動日志,那么現在開始改變吧。市場上有很多插件,它們可以與多種環境或平臺一起工作,甚至可以在內部網絡上使用。不要等發生了嚴重的事件,才采取一個積極主動的方法去維護和監督日志。


via: https://opensource.com/article/19/4/log-analysis-tools

作者:Sam Bocetta 選題:lujun9972 譯者:MjSeven 校對:wxy

推薦教程

601268股票行情中心