监控指标说明
存算分离集群监控看板指标如下：
| 分类 | 指标名称 | 指标说明 |
|---|---|---|
| Cluster Overview | FE Node Number | 集群 FE 总节点数 |
| FE Not Alive Number | 集群掉线的 FE 节点数 | |
| BE Node Number | 集群 BE 总节点数 | |
| BE Not Alive Number | 集群掉线的 BE 节点数 | |
| Data Size | 集群中数据量大小 | |
| Data Size per table | 每个表的数据量大小 | |
| FE JVM Heap Use Rate | 集群中 FE 的 jvm heap 使用率 | |
| BE Compaction Score | 每个 BE 的 compaction score | |
| Load Rows Rate | 单位时间内的数据导入情况 | |
| QPS | 不同 FE 的 qps 情况 | |
| 99th Latency | 不同 FE 的 99 分位查询延时 | |
| Host Monitor | CPU Used Rate | 节点的 cpu 使用率 |
| Mem Usage | 节点的内存使用大小 | |
| Mem Used Rate | 节点的内存使用率 | |
| I/O Util | 单位时间内的磁盘 io util 情况 | |
| DIsk Used Rate | 磁盘空间已用百分比 | |
| Disk Write Throughput | 磁盘写能力的吞吐情况 | |
| Disk Read Throughput | 磁盘读能力的吞吐情况 | |
| Network Outbound Traffic | 网关的 Outbound 流量 | |
| Network Inbound Traffic | 网关的 inbound 流量 | |
| Query Statistic | RPS | 单位时间内的不同 FE 的请求 |
| QPS | 不同 FE 的 qps | |
| 99th Latency | 99 分位的查询延时 | |
| Query Percentile | 查询延时（不同分位） | |
| Query Error [1m] | 1 min 内的查询失败率 | |
| Connections | 每个 FE 的连接数 | |
| Jobs | Broker Load Job | Broker load 任务状态分布 |
| Insert Load Job | Insert 任务状态分布 | |
| Routine Load Job | Routine load 任务状态分布 | |
| Spark Load Job | Spark load 任务状态分布 | |
| Broker Load Tendency | Broker load 任务情况 | |
| Insert Load Tendency | Insert 任务情况 | |
| Routine Load Tendency | Routine load 任务情况 | |
| Spark Load Tendency | Spark load 任务情况 | |
| SC Job | 正在运行的 schema change 任务数 | |
| Report Queue Size | master 节点的 Report Queue Size | |
| Rollup Job | 正在运行的 rollup 任务数 | |
| Transactions | Txn Begin/Success on FE | FE 上发起的 txn 和成功的 txn 总数 |
| Txn Failed/Reject on FE | 单位时间内，BE 的 txn 的 failed 率和 reject 率 | |
| Publish Task on BE | BE 上 publish task 得总数 | |
| Txn Status on FE | 不同状态的 txn 的数量 | |
| Txn Load Bytes/Rows rate | 单位时间内导入的数据的行数和大小 | |
| FE | Max Replayed Journal ID | FE 的 Journal ID |
| Edit Log Size | FE 的 edit log 大小 | |
| Image Write | FE 的 image write 次数 | |
| Image Push | FE 的 image push 次数 | |
| Image Counter | FE 的 image write 和 push 的次数 | |
| Image Clean | Fe image 清理成功和失败的情况 | |
| Edit log Clean | Fe edit log 清理成功和失败的情况 | |
| BDBJE Write | BDBJE 的 99 分位写入延时 | |
| BDBJE Read | 单位时间内 BDBJE 的读 | |
| JVM Heap | Fe jvm heap 使用情况 | |
| Scheduling Tablets | 数据均衡或者恢复过程中需要被调度的 tablet 数量 | |
| JVM Old GC | Old Gc | |
| JVM Young GC | Young gc | |
| JVM Old | Jvm old size | |
| JVM Young | Jvm young size | |
| FE Collect Compaction Score | FE 搜集到的每个 BE 的 compaction score | |
| JVM Non Heap | FE 的 jvm 的 non heap 使用情况 | |
| JVM Threads | Jvm 的 thread 数量 | |
| BE | Disk Usage | BE 的磁盘空间使用率 |
| BE FD Count | BE 上 fd 的使用情况 | |
| BE Thread Num | BE 的 thread 分布情况 | |
| Tablet Meta Read | 单位时间内 BE 的元数据读取情况 | |
| Tablet Meta Write | 单位时间内 BE 的元数据写入情况 | |
| Tablet Distribution | BE 上 tablet 的分布情况 | |
| BE Compaction Base | 单位时间内 BE 做 base compaction 任务的速率 | |
| BE Compaction Cumulate | 单位时间内 BE 做 cumulative compaction 任务的速率 | |
| BE Push Bytes | 单位时间内 BE push_request_write 的数据大小 | |
| BE Push Rows | 单位时间内 BE push_request_write 的行数 | |
| BE Scan Bytes | BE 单位时间内扫描的数据大小 | |
| BE Scan Rows | BE 单位时间内扫描的数据行数 | |
| BE Tasks | Finish Task Report | 每个 BE 上 task 完成的总数 |
| Push Task | 每个 BE 上执行成功的 push task 得任务数量 | |
| Push Task Cost Time | 每个 BE 上执行 push task 得耗时 | |
| Delete | BE 上执行 delete 任务的总数 | |
| Base Compaction | BE 上执行 base_compaction 任务的总数 | |
| Cumulative Compaction | BE 上执行 cumulative_compaction 任务的总数 | |
| Clone | BE 上执行 clone 任务的总数 | |
| Create Rollup | BE 上执行 create_rollup 任务的总数 | |
| Schema Change | BE 上执行 schema_change 任务的总数 | |
| Create Tablet | BE 上执行 create_tablet 任务的总数 | |
| Meta Service | get_tablet_qps | Rpc Server上获取 table 的 QPS情况 |
| tablet_job_qps | Rpc Server上获取 table 任务的 QPS情况 | |
| get_tablet_stats_qps | Rpc Server上获取 table 状态的 QPS情况 | |
| txn_qps | Rpc Server上事务的 QPS情况 | |
| txn_kv_get_qps | Rpc Server上获取KV的事务的 QPS情况 | |
| txn_kv_get_latency | Rpc Server上获取KV的事务的延时 | |
| txn_kv_range_get_qps | Rpc Server上遍历KV的事务的QPS | |
| txn_kv_range_get_latency | Rpc Server上遍历KV的事务的延时 | |
| txn_kv_put_qps | Rpc Server上存放KV的事务的QPS | |
| txn_kv_put_latency | Rpc Server上存放KV的事务的延时 | |
| txn_kv_commit_qps | Rpc Server上提交事务的QPS | |
| txn_kv_commit_latency | Rpc Server上提交事务的延时 | |
| txn_kv_commit_error | Rpc Server上提交事务的错误情况 | |
| txn_kv_commit_conflict | Rpc Server上提交事务的冲突情况 | |
| txn_kv_atomic_set_ver_value_qps | Rpc Server上设置版本值的事务的QPS情况 | |
| txn_kv_atomic_set_ver_value_latency | Rpc Server上设置版本值的事务的延时 | |
| txn_kv_atomic_set_ver_key_qps | Rpc Server上设置版本 key 的事务的QPS情况 | |
| txn_kv_atomic_set_ver_key_latency | Rpc Server上设置版本 key 的事务的延时 | |
| txn_kv_remove_qps | Rpc Server上删除事务的QPS情况 | |
| txn_kv_remove_latency | Rpc Server上删除事务的延时 | |
| txn_kv_range_remove_qps | Rpc Server上遍历删除事务的QPS情况 | |
| txn_kv_range_remove_latency | Rpc Server上遍历删除事务的延迟 | |
| txn_kv_atomic_add_qps | Rpc Server上原子增加事务的QPS情况 | |
| txn_kv_atomic_add_latency | Rpc Server上原子增加事务的延时 | |
| txn_kv_get_read_version_qps | Rpc Server上版本读取事务的QPS情况 | |
| txn_kv_get_read_version_latency | Rpc Server上版本读取事务的延时 | |
| txn_kv_get_committed_version_qps | Rpc Server上已提交版本读取事务的QPS情况 | |
| txn_kv_get_committed_version_latency | Rpc Server上已提交版本读取事务的延时 | |
| Recycler | s3_delete_object_qps | S3 删除对象的QPS |
| Remote Storage | file cache element count | 文件缓存数量 |
| file cache evict rate | 文件缓存过期变化率 | |
| file cache data size | 文件缓存大小 | |
| s3_write_read_rate | S3 读取速率 | |
| s3_write_read | S3 读取数据大小 | |
| load bytes downloaded from s3 | 从S3下载的数据字节大小 | |
| Fdb | fdb_data_total_disk_used_bytes | Fdb 总共使用的磁盘大小 |
| fdb_data_total_kv_size_bytes | Fdb 所有 KV 使用的磁盘大小 | |
| fdb_client_count | Fdb 客户端数量 | |
| fdb_read_rate_hz | Fdb 读取速率 | |
| fdb_qos_worst_storage_server_queue_mbytes | FDB 中用于衡量服务质量的、所有存储服务器里性能最差的那个服务器队列中积压数据量（以兆字节为单位）的指标 | |
| fdb_qos_worst_log_server_queue_mbytes | FDB 中用于衡量服务质量的、所有日志服务器里性能最差者的队列积压数据量（以兆字节为单位）的指标。 |
存算一体集群监控看板指标如下：
| 分类 | 指标名称 | 指标说明 |
|---|---|---|
| Cluster Overview | FE Node | 集群 FE 总节点数 |
| FE Not Alive | 集群掉线的 FE 节点数 | |
| Used Capacity | 集群中 BE 的已使用空间 | |
| BE Node | 集群 BE 总节点数 | |
| BE Not Alive | 集群掉线的 BE 节点数 | |
| Total Capacity | 集群中 BE 可用存储空间 | |
| FE JVM Heap Use Rate | 集群中 FE 的 jvm heap 使用率 | |
| BE Compaction Score | 每个 BE 的 compaction score | |
| Load Rows Rate | 单位时间内的数据导入情况 | |
| QPS | 不同 FE 的 qps 情况 | |
| 99th Latency | 不同 FE 的 99 分位查询延时 | |
| Host Monitor | CPU Used Rate | 节点的 cpu 使用率 |
| Mem Usage | 节点的内存使用大小 | |
| Mem Used Rate | 节点的内存使用率 | |
| I/O Util | 单位时间内的磁盘 io util 情况 | |
| DIsk Used Rate | 磁盘空间已用百分比 | |
| Disk Write Throughput | 磁盘写能力的吞吐情况 | |
| Disk Read Throughput | 磁盘读能力的吞吐情况 | |
| Network Outbound Traffic | 网关的 Outbound 流量 | |
| Network Inbound Traffic | 网关的 inbound 流量 | |
| Query Statistic | RPS | 单位时间内的不同 FE 的请求 |
| QPS | 不同 FE 的 qps | |
| 99th Latency | 99 分位的查询延时 | |
| Query Percentile | 查询延时（不同分位） | |
| Query Error [1m] | 1 min 内的查询失败率 | |
| Connections | 每个 FE 的连接数 | |
| Jobs | Broker Load Job | Broker load 任务状态分布 |
| Insert Load Job | Insert 任务状态分布 | |
| Routine Load Job | Routine load 任务状态分布 | |
| Spark Load Job | Spark load 任务状态分布 | |
| Broker Load Tendency | Broker load 任务情况 | |
| Insert Load Tendency | Insert 任务情况 | |
| Routine Load Tendency | Routine load 任务情况 | |
| Spark Load Tendency | Spark load 任务情况 | |
| SC Job | 正在运行的 schema change 任务数 | |
| Report Queue Size | master 节点的 Report Queue Size | |
| Rollup Job | 正在运行的 rollup 任务数 | |
| Transactions | Txn Begin/Success on FE | FE 上发起的 txn 和成功的 txn 总数 |
| Txn Failed/Reject on FE | 单位时间内，BE 的 txn 的 failed 率和 reject 率 | |
| Publish Task on BE | BE 上 publish task 得总数 | |
| Txn Status on FE | 不同状态的 txn 的数量 | |
| Txn Load Bytes/Rows rate | 单位时间内导入的数据的行数和大小 | |
| FE | Max Replayed Journal ID | FE 的 Journal ID |
| Edit Log Size | FE 的 edit log 大小 | |
| Image Write | FE 的 image write 次数 | |
| Image Push | FE 的 image push 次数 | |
| Image Counter | FE 的 image write 和 push 的次数 | |
| Image Clean | Fe image 清理成功和失败的情况 | |
| Edit log Clean | Fe edit log 清理成功和失败的情况 | |
| BDBJE Write | BDBJE 的 99 分位写入延时 | |
| BDBJE Read | 单位时间内 BDBJE 的读 | |
| JVM Heap | Fe jvm heap 使用情况 | |
| Scheduling Tablets | 数据均衡或者恢复过程中需要被调度的 tablet 数量 | |
| JVM Old GC | Old Gc | |
| JVM Young GC | Young gc | |
| JVM Old | Jvm old size | |
| JVM Young | Jvm young size | |
| FE Collect Compaction Score | FE 搜集到的每个 BE 的 compaction score | |
| JVM Non Heap | FE 的 jvm 的 non heap 使用情况 | |
| JVM Threads | Jvm 的 thread 数量 | |
| BE | Disk Usage | BE 的磁盘空间使用率 |
| BE FD Count | BE 上 fd 的使用情况 | |
| BE Thread Num | BE 的 thread 分布情况 | |
| Tablet Meta Read | 单位时间内 BE 的元数据读取情况 | |
| Tablet Meta Write | 单位时间内 BE 的元数据写入情况 | |
| Tablet Distribution | BE 上 tablet 的分布情况 | |
| BE Compaction Base | 单位时间内 BE 做 base compaction 任务的速率 | |
| BE Compaction Cumulate | 单位时间内 BE 做 cumulative compaction 任务的速率 | |
| BE Push Bytes | 单位时间内 BE push_request_write 的数据大小 | |
| BE Push Rows | 单位时间内 BE push_request_write 的行数 | |
| BE Scan Bytes | BE 单位时间内扫描的数据大小 | |
| BE Scan Rows | BE 单位时间内扫描的数据行数 | |
| BE Tasks | Finish Task Report | 每个 BE 上 task 完成的总数 |
| Push Task | 每个 BE 上执行成功的 push task 得任务数量 | |
| Push Task Cost Time | 每个 BE 上执行 push task 得耗时 | |
| Delete | BE 上执行 delete 任务的总数 | |
| Base Compaction | BE 上执行 base_compaction 任务的总数 | |
| Cumulative Compaction | BE 上执行 cumulative_compaction 任务的总数 | |
| Clone | BE 上执行 clone 任务的总数 | |
| Create Rollup | BE 上执行 create_rollup 任务的总数 | |
| Schema Change | BE 上执行 schema_change 任务的总数 | |
| Create Tablet | BE 上执行 create_tablet 任务的总数 |