日志收集工具有哪些

近日见闻

  1. Murena Fairphone 5 发布:搭载去谷歌化的 /e/OS 系统,murena是一家在欧洲的智能手机和云服务供应商,凭借其去谷歌化的产品,受到了越来越多的关注。他们和智能手机制造商合作,提供开箱即用的隐私关注体验 –Linux 中国

  2. 网易云音乐 Tango 前端低代码引擎正式开源 ,官方文档站点: https://netease.github.io/tango/ –网易

  3. 今年的 KubeCon + CloudNativeCon 选择在阿姆斯特丹(4.18-21 已举办)、上海(9.26-28 报名中)、芝加哥(10.6-9)分别进行。在即将举办的 KubeCon + CloudNativeCon + Open Source Summit 中国论坛,将召开 100 多个分组会议,包括主题分享、动手学习、案例研究等形式。通过参加这些会议,参会者可以了解云生态系统的实践方式和最新发展趋势。–CNCF

常用日志收集工具

ELK Stack:

Elasticsearch: 用于搜索和分析大规模日志数据。例如,你可以将服务器的Nginx访问日志导入Elasticsearch,并使用其查询功能来查找特定的请求。

Logstash: 用于数据的收集、转换和传输。例如,你可以使用Logstash将多个微服务的日志聚合到一起,以便进行中央分析。

Kibana: 提供可视化仪表板,用于实时监控和可视化日志数据。你可以创建自定义仪表板,以查看系统性能、错误频率等。

Splunk:一款功能强大的商业日志管理和分析工具。例如,Splunk可用于监控安全事件,如登录失败、漏洞扫描结果等,并生成相关报告。

Fluentd:一个轻量级的开源日志收集工具,支持多种输入和输出。例如,你可以使用Fluentd将Docker容器的日志发送到集中式存储或云服务。

Graylog:一个开源的日志管理和分析平台,提供了强大的搜索和分析功能。例如,你可以使用Graylog监视Web应用程序的访问日志并设置警报规则以检测异常活动。

Prometheus:主要用于监控和警报,但也可用于收集和查询日志数据。例如,你可以使用Prometheus监控应用程序的HTTP请求响应时间,并记录相关日志。

Apache Kafka:分布式消息队列系统,可用于实时日志数据传输和处理。例如,你可以使用Kafka将分布式应用程序的事件日志传递到中央处理器。

Syslog-ng:一个用于系统和应用程序日志的开源工具,支持多种日志源和输出。例如,你可以使用Syslog-ng收集Linux服务器的系统日志并将其发送到中央日志服务器。

Loggly:云端日志管理服务,提供实时搜索和分析功能。例如,你可以使用Loggly监视AWS Lambda函数的执行日志并创建警报规则。

Sentry:主要用于应用程序错误追踪,但也可以用于捕获和分析日志。例如,你可以使用Sentry跟踪Web应用程序的JavaScript错误,并查看相关的日志信息。

Datadog:云监控和安全平台,支持日志集成和分析。例如,你可以使用Datadog监视容器化应用程序的性能,并分析相关的日志数据。

Papertrail:云端日志管理服务,用于快速设置和查看日志。例如,你可以使用Papertrail监视Heroku应用程序的日志输出。

Logentries:提供实时日志监控和分析的服务,适用于应用程序和基础设施日志。例如,你可以使用Logentries分析AWS EC2实例的日志。

Sumo Logic:云原生日志管理和分析平台,支持各种数据源。例如,你可以使用Sumo Logic监控多云环境中的应用程序性能和日志。

Logz.io: Cloud Observability & Security Powered by Open Source :提供托管ELK Stack的日志管理服务,适用于云原生环境。例如,你可以使用Logz.io监控Kubernetes集群的容器日志。

SolarWinds Log Analyzer:适用于网络和系统日志的日志分析工具。例如,你可以使用SolarWinds Log Analyzer监控路由器和交换机的日志。

Rsyslog:一个开源的系统日志守护程序,可用于UNIX系统。例如,你可以使用Rsyslog收集Linux服务器的安全日志。

LogRhythm:一个安全信息和事件管理(SIEM)平台,包括日志管理和分析功能。例如,你可以使用LogRhythm监视组织的网络流量和相关日志。

Microsoft Azure Monitor:用于监视Azure云服务和应用程序的综合监控解决方案,包括日志收集和分析。例如,你可以使用Azure Monitor监视Azure虚拟机的性能和日志。