核心模块

下列流程图呈现的是 Drillbit 的各个组件:

DrillbitModules

以下是描述一个 Drillbit 关键组件的清单,如下所示:

  • RPC endpoint:Drill 提供了一个与客户端交互的,低消耗的基于 ProtoBuf 的 RPC 协议。此外,也提供了 C++,Java API 层用于与客户端进行交互。在提交查询之前,客户端可以与一个指定的 Drillbit 直接或者通过一个 ZooKeeper 集群去发现一个可用的 Drillbit 服务。建议客户端使用 ZooKeeper 去管理集群的复杂性,例如添加或移除节点。

  • SQL 解析器:Drill 使用了Calcite,这是一个开源的 SQL 解析框架,解析接收到的查询。该解析器的组件是语言无关性的,能够友好的表示逻辑查询计划。

  • 存储插件接口:Drill 在数据源的顶层提供一个查询层。存储插件在 Drill 中使用一个抽象层来与数据源做交互。存储插件提供以下信息:

    • 可用的元数据
    • 用于读取和写入数据源的接口
    • 数据的位置和优化规则,能够高效,快速的帮助指定的数据源完成查询。

在 Hadoop 上下文中,Drill 提供一个存储插件用于分布式文件和 HBase。当然, Drill 也集成了 Hive 的存储插件。

当用户在 Drill 中查询文件和 HBase时,如果存在元数据定义,它们可以直接去处理或者通过 Hive 去处理。Drill 与 Hive 集成的仅仅是元数据。它的任何请求都不会调用 Hive 的执行引擎。

Copyright © smartloli 2016 all right reserved,powered by GitbookModify: 2016-08-26 06:59:28