Flink算子执行性能指标用于衡量Flink作业中各个算子的性能。这些指标可以帮助用户监控作业的运行状况,发现问题并进行性能调优。以下是一些常见的Flink算子执行性能指标:
1.Records
Sent/Received:
RecordsSent:
算子发送的数据记录数量。
RecordsReceived:
算子接收的数据记录数量。
2.Bytes
Sent/Received:
BytesSent:
算子发送的数据字节大小。
BytesReceived:
算子接收的数据字节大小。
3.Latency:
ProcessingTime:
算子处理数据的时间。
EndToEndDelay:
数据在算子间传输的延迟。
4.Throughput:
RecordsPerSecond:
每秒处理的记录数。
BytesPerSecond:
每秒处理的数据字节数。
5.Memory
Usage:
MemoryUsage:
算子使用的内存大小。
DirectMemoryUsage:
算子使用的直接内存大小。
HeapMemoryUsage:
算子使用的堆内存大小。
6.Buffer
Pool:
BuffersInPool:
缓冲区池中可用的缓冲区数量。
BuffersAllocated:
分配给算子的缓冲区数量。
BuffersInUse:
算子正在使用的缓冲区数量。
7.Task
Manager:
AvailableProcessors:
可用的处理器核心数。
MemoryFraction:
Flink任务使用的内存占总内存的比例。
8.GC
Activity:
GcTimeMillis:
算子执行垃圾回收所花费的时间。
GcCount:
算子执行垃圾回收的次数。
9.Operator
Metrics:
NumRestarts:
算子重启的次数。
NumRecordsReprocessed:
重新处理的记录数。
NumRecordsForwarded:
向下游传递的记录数。
这些指标可以通过Flink的Web
UI、Metrics
Reporter或者自定义的监控系统来获取。例如,可以将Flink指标输出到Prometheus中,并通过Grafana来消费Prometheus的指标数据进行图形监控和展示。通过监控这些指标,用户可以有效地了解Flink作业的运行状态,并针对可能出现的问题进行诊断和优化。