使用 Prometheus 和 InfluxDB 进行任务和批处理监控

本节介绍如何监控作为 Data Flow 中任务定义的一部分部署的应用程序。每个平台的设置都不同，但总体架构在所有平台上都是相同的。

Data Flow 指标架构围绕 Micrometer 库设计，这是一个与供应商无关的应用程序指标外观。它为最流行的监控系统的仪表客户端提供了一个简单的外观。有关支持的监控系统列表，请参阅 Micrometer 文档。Micrometer 是一个仪表库，支持从 Spring Boot 传递应用程序指标。Spring Batch 提供了 额外的集成 来公开有关任务持续时间、速率和错误的指标，这些指标对于监控已部署的批处理作业至关重要。

我们专注于使用三种时间序列数据库：Wavefront、Prometheus 和 InfluxDB。

Wavefront 是一个高性能的流分析平台，支持 3D 可观测性（指标、直方图、跟踪和跨度）。它可以扩展到非常高的数据摄取率和查询负载，同时还可以从整个应用程序堆栈中的许多服务和来源收集数据。

Prometheus 是一个流行的基于拉取的时间序列数据库，它使用预先配置的端点从目标应用程序中拉取指标，并提供一种查询语言来实时选择和聚合时间序列数据。

InfluxDB 是一个流行的开源基于推送的时间序列数据库。它支持下采样、自动过期和删除不需要的数据，以及备份和恢复。数据的分析是通过类似 SQL 的查询语言完成的。

启用任务指标

要启用任务指标与数据流的集成，您必须将 spring-boot-starter-actuator 添加到您的任务应用程序中，并导入 spring-cloud-dependencies BOM，如下所示

<dependencies>
  <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-actuator</artifactId>
  </dependency>
</dependencies>

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-dependencies</artifactId>
            <version>2021.0.5</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

然后，您需要将所需的 Micrometer 注册表作为依赖项包含在任务 POM 中

<dependency>
	<groupId>io.micrometer.prometheus</groupId>
	<artifactId>prometheus-rsocket-spring</artifactId>
    <version>1.5.0</version>
</dependency>

<dependency>
    <groupId>io.micrometer</groupId>
    <artifactId>micrometer-registry-wavefront</artifactId>
</dependency>

<dependency>
    <groupId>com.wavefront</groupId>
    <artifactId>wavefront-sdk-java</artifactId>
</dependency>

<dependency>
    <groupId>io.micrometer</groupId>
    <artifactId>micrometer-registry-influx</artifactId>
</dependency>

构建 Docker 镜像

要构建 Docker 镜像，请运行以下命令

mvn spring-boot:build-image

为了帮助您开始监控任务，Data Flow 提供了 Grafana 仪表板，您可以根据需要安装和自定义它们。

下图显示了如何监控任务应用程序的总体架构

Spring Cloud Task 指标标签

为了允许按应用程序类型和实例 ID 或任务名称聚合指标，Spring Cloud Task 应用程序配置为使用以下 Micrometer 标签

• task.name：包含发送指标的应用程序的任务的名称。
• task.execution.id：已执行任务的实例 ID。
• task.external.execution.id：外部任务 ID，如目标平台（例如 Cloud Foundry 或 Kubernetes）上所示。报告指标的应用程序的类型（源、处理器或接收器）。
• task.parent.execution.id：父任务 ID，用于标识执行另一个或多个任务的任务。

如果 Data Flow 服务器在启动时 spring.cloud.dataflow.metrics.dashboard.url 属性指向您的 Grafana URL，则启用 Grafana 功能，并且 Data Flow UI 为您提供 Grafana 按钮，可以为给定任务打开特定仪表板。

安装 Wavefront、Prometheus 和 InfluxDB 的方式有所不同，具体取决于您运行的平台。以下各节提供了安装说明的链接。

本地

本节介绍如何使用 Prometheus 或 InfluxDB 作为本地计算机上的指标存储来查看任务的应用程序指标。

app register --name myTask --type task --uri https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow-samples/main/dataflow-website/feature-guides/batch/monitoring/prometheus-task-demo-metrics-0.0.1-SNAPSHOT.jar

task create --name task1 --definition "myTask";

task create --name task2 --definition "myTask";

task launch --name task1

task launch --name task2

app register --name myTask --type task --uri https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow-samples/main/dataflow-website/feature-guides/batch/monitoring/influx-task-demo-metrics-0.0.1-SNAPSHOT.jar

task create --name task1 --definition "myTask";

task create --name task2 --definition "myTask";

task launch --name task1

task launch --name task2

Kubernetes

本节介绍如何在 Kubernetes 上使用 Prometheus 或 InfluxDB 作为指标存储来查看任务的应用程序指标。

minikube service --url grafana
http://192.168.99.100:31595

dataflow:>app register --name myTask --type task --uri docker://<your task app>

dataflow:>task create --name task1 --definition "myTask"
dataflow:>task create --name task2 --definition "myTask"

dataflow:>task launch --name task1
dataflow:>task launch --name task2
dataflow:>task launch --name task1
dataflow:>task launch --name task2
dataflow:>task launch --name task1
dataflow:>task launch --name task2

minikube service --url scdf-server
http://192.168.99.100:32121

management:
  metrics:
    export:
      wavefront:
        enabled: true
        api-token: <YOUR API-KEY>
        uri: <YOUR WAVEFRONT-URI>
        source: demo-scdf-source

Cloud Foundry

本节介绍如何使用 Prometheus 和 InfluxDB 作为 Cloud Foundry 上的指标存储来查看流的应用程序指标。

dataflow:>app register --name myTask --type task --uri https://raw.githubusercontent.com/spring-cloud/spring-cloud-dataflow-samples/main/dataflow-website/feature-guides/batch/monitoring/prometheus-task-demo-metrics-0.0.1-SNAPSHOT.jar

dataflow:>task create --name task1 --definition "myTask"
dataflow:>task create --name task2 --definition "myTask"

dataflow:>task launch --name task1
dataflow:>task launch --name task2