一套很专业的监控方案：HDFS监控落地背后的思考
发布时间：2019-02-21 08:02:39 所属栏目：教程 来源：李子树
导读：基于京东云的实战经验，我们今天来聊聊HDFS相关的监控。 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。在大数据生态圈中，HDFS是最重要
|
采集项： 采集Datanode数据进行汇聚计算。 网络进出流量 采集项：node_network_receive_bytes_total/ node_network_transmit_bytes_total 没有直接可以使用的现成数据，需要通过ReceivedBytes(接收字节总量)、SentBytes(发送字节总量)来计算。 磁盘I/O 采集项：node_disk_written_bytes_total/ node_disk_read_bytes_total 3)延迟 RPC处理平均时间 采集项：RpcQueueTimeAvgTime 采集RpcQueueTimeAvgTime(RPC处理平均时间)、SyncsAvgTime(Journalnode同步耗时)。 慢节点数量 采集项：SlowPeerReports （编辑：晋中站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
