SQL on Hadoop在快手大数据平台的实践与优化

在作业界面，还可以查看更多的作业诊断信息，以及作业的修改建议。

SQL on Hadoop平台在使用中遇到的痛点

SQL on Hadoop在快手使用：常见运维性问题

审计分析 - 架构图

审计功能也是BeaconServer服务的一个模块。

通过HS2中配置的Hook，发送需要的SQL、IP、User等信息至后端，进行语法分析，便可提取出DataBase、Table、Columns与操作信息，将其分析后再存入Druid系统。用户可通过可视化平台查询部分开放的数据。

审计分析 - 热点信息查询

热点信息查询即将热点信息展示了一段时间以内，用户的热点操作，这其中包括访问过哪些库，哪些表，以及哪些类型的操作。

审计分析 - 血缘信息查询

下图可看出，血缘信息展示了一张表创建的上游依赖，一般用于统计表的影响范围。

审计分析 - 历史操作查询

历史操作可以溯源到一段时间内，对于某张表的操作。能获取到操作的用户、客户端、平台、以及时间等信息。一般用于跟踪表的增删改情况。

HiveServer2集群AB切换方案

因为HiveServer2服务本身的上下线成本较高，如果要执行一次升级操作，往往耗时较长且影响可用性。HiveServer2集群的AB切换方案，主要依靠A集群在线，B集群备用的方式，通过切换ZK上的在线集群机器，来实现无缝的升级操作。

HiveServer2集群动态上下线

HiveServer2集群部署了Metrics监控，能够实时地跟踪集群服务的使用情况。此外，我们对HS2服务进行了改造，实现了HS2 ZK下线和请求Cancel的接口。

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!