使用 Prometheus、Wavefront 和 InfluxDB 进行流监控

本节介绍如何监控作为流数据管道一部分部署的应用程序。每个平台的设置不同，但总体架构在所有平台上都是相同的。

Data Flow 指标架构围绕 Micrometer 库设计，为最流行的监控系统的仪表客户端提供简单的外观。有关支持的监控系统列表，请参阅 Micrometer 文档。Micrometer 支持从 Spring Boot 传递应用程序指标。Spring Integration 提供 额外的 Micrometer 集成，以公开有关消息速率和错误的指标，这对监控已部署的流至关重要。

所有 Spring Cloud 流应用程序启动器 和 流应用程序 都预先配置为支持三种最流行的监控系统：Prometheus、Wavefront 和 InfluxDB。您可以声明性地选择已部署的应用程序使用哪个监控系统。

为了支持不同的监控系统，您可以自定义 Stream Applications以使用不同的监控系统。

为了帮助您开始监控流，Data Flow 提供了Grafana仪表板（适用于 Prometheus 和 InfluxDB），您可以根据需要安装和自定义这些仪表板。 对于 Wavefront，您可以使用 Data Flow Integration 磁贴进行丰富而全面的指标可视化。

下图显示了如何监控流应用程序的总体架构

此外，对于基于 Kafka binder 的流数据管道，还提供了一个基于 Apache Kafka 指标的专用 Kafka 和 Kafka Stream 仪表板

Data Flow 指标标签

为了允许按应用程序类型和每个实例或每个流聚合指标，Spring Cloud Stream Application Starters 被配置为使用以下 Micrometer 标签

• stream.name：包含发送指标的应用程序的流的名称
• application.name：报告指标的应用程序的名称或标签
• application.type：报告指标的应用程序的类型（源、处理器或接收器）
• application.guid：报告指标的应用程序实例的唯一实例标识符
• application.index：应用程序实例 ID（如果可用）

数据流指标按钮

如果使用指向 Grafana 或 Wavefront URL 的 spring.cloud.dataflow.metrics.dashboard.url 属性启动数据流服务器，则 Dashboard 功能启用，并且数据流 UI 会为您提供 Grafana 或 Wavefront 按钮，可以为给定的流、应用程序或应用程序实例打开特定的仪表板。以下屏幕截图说明了这些按钮（查找螺旋图标）

在 Wavefront、Prometheus 或 InfluxDB 之间进行选择并安装必要的组件会有所不同，具体取决于您运行的平台。以下每个部分都提供了安装说明的链接。

本地

本节介绍如何在本地机器上查看使用 Prometheus 或 InfluxDB 作为指标存储的流的应用程序指标。Wavefront 是一种云产品，但您仍然可以在本地部署数据流并将其指向云托管的 Wavefront 监控系统。

dataflow:>app import --uri https://dataflow.springframework.org.cn/kafka-maven-latest --force
dataflow:>stream create stream2 --definition "time --fixed-delay=10 --time-unit=MILLISECONDS | filter --expression=payload.contains('3') | log" --deploy

dataflow:>app import --uri https://dataflow.springframework.org.cn/kafka-maven-latest --force

dataflow:>stream create stream2 --definition "time --fixed-delay=10 --time-unit=MILLISECONDS | filter --expression=payload.contains('3') | log" --deploy

docker exec -it influxdb /bin/sh
docker exec -it grafana /bin/bash

root:/# influx
> show databases
> use myinfluxdb
> show measurements
> select * from spring_integration_send limit 10

Kubernetes

本节介绍如何在 Kubernetes 上查看使用 Prometheus 作为指标存储的流的应用程序指标。

minikube service --url grafana
http://192.168.99.100:31595

dataflow:>stream create metricstest --definition "time --fixed-delay=10 --time-unit=MILLISECONDS | filter --expression=payload.contains('3') | log" --deploy

management:
  metrics:
    export:
      wavefront:
        enabled: true
        api-token: <YOUR API-KEY>
        uri: <YOUR WAVEFRONT-URI>
        source: demo-scdf-source

Cloud Foundry

本节介绍如何查看使用 Prometheus 作为 Cloud Foundry 上的指标存储的流的应用程序指标。

dataflow:>stream create metricstest --definition "time --fixed-delay=10 --time-unit=MILLISECONDS | filter --expression=payload.contains('3') | log" --deploy