SQL on Hadoop在快手大数据平台的实践与优化

SQL专家系统基于HS2的Hook架构，在BeaconServer后端实现了三个主要的模块，分别是SQL规则控制模块、SQL错误分析模块，与SQL优化建议模块。SQL专家系统的知识库，包含关键字、原因说明、处理方案等几项主要信息，存于后端数据库中，并一直积累。

通过SQL专家系统，后端可以进行查询SQL的异常控制，避免异常SQL的资源浪费或者影响集群稳定。用户在遇到问题时，能直接获取问题的处理方案，减少了使用成本。

示例：空分区查询控制。

作业诊断系统

SQL专家系统能解决一部分HS2的任务执行的错误诊断需求，但是比如作业健康度、任务执行异常等问题原因的判断，需要专门的系统来解决，为此我们设计了作业诊断系统。

作业诊断系统在YARN的层面，针对不同的执行引擎，对搜集的Counter和配置进行分析。在执行层面，提出相关的优化建议。

作业诊断系统的数据也能通过API提供给SQL专家系统，补充用于分析的问题原因。

作业诊断系统提供了查询页面来查询运行的任务。以下是命中map输入过多规则的任务查询过程：

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!