查询执行

当你提交一个 Drill 查询,客户端或应用程序会按照查询格式,发送一个 SQL 语句到 Drillbit 服务所在的集群。Drillbit 是一个执行入口,运行计划并执行查询,以及最大化利用分布式查询去完成工作。

下图呈现了客户端,应用程序和 Drillbit 之间的关系:

query-flow-client

Drillbit 从客户端或应用程序接受到查询请求后,会将自身角色转变为 Foreman 去带动整个查询。Foreman 利用解析器去解析 SQL,利用自身的规则将其转换成 Drill 能够识别的 SQL,并用于具体的业务逻辑当中。逻辑运算符的集合构成一个逻辑计划。逻辑计划描述生成查询结果所需要的工作,并定义数据源和操作。

Foreman 发送逻辑计划到优化器中进行优化 SQL 语句,并读取逻辑计划。该优化应用各种类型和规则去重新编排运算符和函数,以便让其达到最优。最后将逻辑计划转变为可执行的物理计划。下图为上述的一个流程图:

client-phys-plan

一个并行处理,在 Foreman 中转换的时候分为多个阶段,由大碎片和小碎片组成。这些碎片会创建一个多层次的执行树,重新配置数据源并重写查询和执行过程,并将最终的结果返回给客户端和应用程序。下图为上述描述的流程图:

execution-tree

大碎片

一个大碎片表示的含义为该查询执行阶段的一个概念。该阶段可以由一个或多个操作组成,并且 Drill 必须执行完成一次查询。Drill 给每个大碎片会分配一个碎片 ID,即:MajorFragmentID。

例如,当对两个文件做哈希聚合的操作时,Drill 可以创建一个执行计划(分为两个阶段),其中一个阶段是扫描这两个文件,另一个阶段是专门去聚合处理数据。如下图所示:

ex-operator

Drill 使用一个交换操作去分离大碎片。交换过程是物理计划上并行的改变数据的位置。一个交换过程是由一个发送器和一个接收器组成的,期间允许数据在节点间移动。

大碎片不执行任何查询任务。每一个大碎片被分成一个或多个小碎片(在下一节中讨论),并完成所需要的查询操作,最终将结果返回给客户端。

抓去一个物理计划中的 JSON 文件,手动去修改它,然后使用提交命令重新提交。你也可以查看大碎片中的查询简介,在 Drill Web Console 中可以看到。

小碎片

每个大碎片是并行的小碎片。小碎片是一个逻辑单元,在一个线程中运行。在 Drill 上工作的逻辑单元也被称为切片。执行计划是由 Drill 创建的小碎片组成的,并给每个小碎片标记上碎片ID,即:MinorFragmentID。流程图如下所示:

min-frag

并行化于 Foreman 中,从一次大碎片的执行中,创建一个或多个小碎片。并将一个大碎片碎裂为多个小碎片,而且同时运行在同一集群上。

在其上游数据要求的基础上,Drill 在其自身的线程中尽可能快速地执行每一个小碎片。Drill 在节点上以局部的方式去调度小碎片。否则,Drill 会利用现有的,可用的 Drillbit 以循环的方式去调度。

小碎片包含一个或多个关系运算符,例如:SCAN,FILTER,JOIN 以及 GROUP BY 属于 一个运算符执行关系操作。每个运算符都有一个特定的操作类型和一个 OperatorID。每个 OperatorID 隶属于小碎片。如下图所示:

operators

例如,当对两个文件做哈希聚合的操作时,Drill 针对第一个阶段专门去扫描两个小碎片。每个小碎片都包含扫描操作,用以扫描文件。Drill 针对第二阶段专门聚合成四个小碎片。四个小碎片中的每一个都包含哈希聚合运算符,该运算符在数据上同样要执行哈希聚合操作。

另外,需要注意的是,你不能修改执行计划内的小碎片的数目。然而,你可以在 Drill Web Console 的 Profiles 栏目中查看查询的相关细节,并修改一些配置选项,改变小碎片的行为,例如最大切片数。

执行小碎片

小碎片能够以 Root,Intermediate,Leaf 运行。执行树只包含一个 Root 片段。执行树的编号从 Root 开始,下标索引为 0。数据流向从 Leaf 片段流向 Root 片段。

Root 片段运行在 Foreman 上,负责接受查询,从表中读取元数据,重写查询,并将它们路由到下一级服务树上。其他片段将状态切换为 Intermediate 或 Leaf 片段。

Intermediate 碎片在数据可用时开始工作,并将它们提供给其他的片段。它们在数据上执行操作,然后将数据发送给下游。它们也将汇总结果传递给 Root 碎片,该碎片进行进一步聚合,并向客户端或应用程序提供查询结果。

Leaf 碎片在并行的情况下扫描表,并通过访问数据或存储层进行交互于本地磁盘。Leaf 碎片通过部分结果的 Intermediate 碎片,并执行并行操作于 Intermediate 之上。上述流程图如下所示:

leaf-frag

Drill 仅计划有并发运行碎片的查询。例如,如果在集群中存在 20 个可用的碎片,Drill 计划在一个特定的大碎片中运行不超过 20 个小碎片的查询。Drill 潜力时可观的,它在并行中能够完成所有的工作。所有的小碎片,在相同时间内,都依赖于它们的上游数据。

Copyright © smartloli 2016 all right reserved,powered by GitbookModify: 2016-08-26 06:59:28