Vector日志收集

  • 2023/9/27
  • 阅读时间 1 分钟

近日见闻

  1. openai陷版权风波，美作家协会联名起诉。 –https://www.theregister.com/2023/09/21/authors_guild_openai_lawsuit/?td=keepreading

  2. 2023年9月27日 - 中国，上海 有鉴于云原生人才在开源社区的需求与来越来大，LF开源软件学园（LFOSSA）与CNCF 联合发布云原生人才培养计划- 中国区Powered by LFOSSA & CNCF。此计划专为 企业、高校及科研单位而设的，LFOSSA希望透过这个计划，可以帮助机构进一步培养更多云原生开源人才，共建更好的云原生社区。另外本人也是此计划受益者，感兴趣的朋友可以关注下。 – LFOSSA

  3. 据不完全统计，使用libwebp组件的下游软件可能超过百万款，或将使其成为下一个Log4Shell漏洞。谷歌为近期热议的libwebp漏洞申请了独立漏洞编号CVE-2023-5129，终结了安全社区的混乱讨论。 –安全内参

  4. KubeCon + CloudNativeCon + Open Source Summit China 2023，由 Linux 基金会、CNCF 主办，将在 9 月 26-28 日于上海跨国采购会展中心盛大开幕。–CNCF

高效日志处理工具vector

Vector是一个强大的开源工具，用于日志处理和数据管道构建。它提供了一个简单而灵活的方式来采集、转换和路由各种数据，使数据工程师和开发人员能够更轻松地管理和分析各种数据源。

Vector的重要特性：

多数据源支持：Vector支持多种数据源，包括文件、标准输入、TCP/UDP、HTTP等。这使得它能够轻松地集成不同类型的数据流。

数据转换和处理：Vector具有强大的数据转换功能，可以对数据进行过滤、格式化和重命名等操作。这使得您可以在数据到达目标之前对其进行必要的处理。

实时数据流：Vector能够以实时方式处理数据，这对于需要及时响应事件的应用程序非常重要。它可以将数据发送到多个目标，包括日志存储、分析工具和消息队列。

可扩展性：Vector是高度可扩展的，可以轻松处理大规模数据流。它具有小内存占用和低延迟的特点，适用于各种规模的数据工程任务。

安装vector

注意：在执行这些步骤之前，请确保您已经安装了所需的操作系统和软件依赖项，例如Docker、Rust等。

Vector是一个用于处理和分析事件日志数据的开源工具，通常用于日志分析、安全监控和数据处理等任务。要部署和安装Vector，您可以按照以下步骤进行操作：

注意：在执行这些步骤之前，请确保您已经安装了所需的操作系统和软件依赖项，例如Docker、Rust等。

  1. 安装Vector：

    • 使用安装脚本：Vector提供了一个方便的安装脚本，可以从官方网站下载并执行。要使用这种方法，请运行以下命令：

      curl --proto '=https' --tlsv1.2 -sSf https://sh.vector.dev | sh

      这将自动下载并安装最新版本的Vector。

    • 手动安装：您也可以手动安装Vector，首先从官方GitHub仓库下载源代码，然后按照官方文档中的说明构建和安装Vector。

  2. 配置Vector：

    您需要配置Vector以适应您的特定用例。Vector的配置文件通常是YAML格式，您可以编辑配置文件来定义数据源、目标、数据转换和策略等。配置文件的示例可以在Vector的文档中找到。

  3. 运行Vector：

    一旦配置文件准备好，您可以使用以下命令运行Vector：

    vector --config /path/to/your/vector.toml

    请将 /path/to/your/vector.toml 替换为您的实际配置文件路径。

  4. 监控和管理Vector：

    Vector提供了一些命令和工具来监控和管理运行中的实例。您可以使用 vector top 命令查看正在运行的数据流，使用 vector logs 命令查看日志，以及使用其他命令来执行各种操作。

配置示例

以下是一个简单的Vector配置示例，用于从一个文件读取日志，并将日志发送到标准输出。您可以根据您的需求和数据源来修改此配置示例：

# vector.toml

# 选择 Vector 的版本
version = "0.17"

# 配置数据源 (Source)
[sources.my_source]
  type = "file"  # 指定数据源类型为文件

  # 配置文件路径，此处将文件路径替换为您的日志文件路径
  path = "/path/to/your/log/file.log"

# 配置数据目标 (Sink)
[sinks.my_sink]
  type = "console"  # 指定数据目标类型为标准输出

# 配置数据传输路由 (Router)
[routers.my_router]
  inputs = ["my_source"]  # 指定输入源为 "my_source"
  outputs = ["my_sink"]   # 指定输出目标为 "my_sink"

上述配置示例有以下关键部分：

  • sources 部分定义了数据源。在这个示例中，我们使用文件数据源 (file) 并指定了日志文件的路径。

  • sinks 部分定义了数据目标。在这个示例中，我们使用了标准输出 (console) 作为数据目标，这意味着日志数据将打印到终端。

  • routers 部分定义了数据传输路由。它将数据从数据源 (my_source) 传递到数据目标 (my_sink)。

要使用此配置文件，您需要运行Vector并指定配置文件的路径：

vector --config /path/to/your/vector.toml

读者福利：

公众号关注并回复关键词，即可免费获取整理资料（仅供参考学习之用）：

1、节省时间，免去读者朋友自己搜索

2、节省钱，免去读者朋友自己花钱购买

3、接触大厂资源，了解大厂技术（本人一线厂螺丝钉一枚，可内推）。

如想进一步学习：

1、想结交志同道合的朋友，探讨技术知识（可私信进群）。

2、获得培训：本人根据积累的企业实践经验，授课赚点零花钱（主要面向初中级技术人员），目前开通云原生认证系列（KCNA、CKA、CKAD、CKS）、AWS-devops课程、运维开发（云原生前后端）课程，感兴趣可后台私信交流，感谢支持。

关键词：

  • 计算机基础：操作系统、计算基组成原理

  • 网络：常用网络工具+故障排查

  • 前端： 包含HTML+CSS+JS、框架、Ts、项目

  • 后端： java、python、go、c、c+等主流语言及项目

  • 运维： linux、docker、k8s

  • 测试： 性能测试、集成测试、功能测试

  • 嵌入式：linux、c

  • 算法：数据结构与算法，leetcode

  • 安全：安全概念、渗透测试基础知识学习

  • Ai：机器学习、框架学习

9月