离线数仓优化简述

本文分享自天翼云开发者社区《离线数仓优化简述》，作者：徐****东

1、业务层面

    计算量太大是不是必须的，是否可以减少参与计算的用户量或者时间跨度；
    计算逻辑是否过于复杂，是否可以简化。

2、模型层面

    是否有现成的数据可以使用或者基于现成的数据进行加工；
    是否可以将整个计算逻辑进行合理拆分，降低每个子任务的复杂度，同时提高复用的可能性；
    维度退化，空间和时间的权衡。

3、系统层面（遵循一些计算引擎建议的使用规则和参数设置）

    使用Spark3引擎，自动合并小文件；
    输入文件的存储格式、压缩格式、大小；
    输出文件的大小；
    启用压缩；
    分区、分桶；
    拉链表；
    yarn队列的设置；
    合适的计算引擎；
    task的内存设置；
    task处理的数据量；
    task的数量；
    并行度优化；
    调整参数减少Map数量；
    调整参数减少reduce数量。

4、sql、代码层面

    列裁剪，避免select *；
    分区裁剪，使用分区字段过滤；
    条件限制；
    谓词下推；
    map端预聚合；
    大key的过滤；
    打散倾斜key；
    合适的join方式；
    用Distribute By Rand控制分区中数据量；
    group by优化；
    中间结果的缓存和复用；
    小文件优化。

5、任务层面

    减少任务依赖，尽可能缩短链路；
    业务链路/逻辑重构/改写；
    任务分级，任务数评估，错峰调度；
    任务依赖降级，周级别的任务依赖天级别，天级别依赖小时级别，小时级别依赖分钟级别；
    避免频繁创建任务；
    核心任务优先保证产出，双链路机制开启；
    耗时长的任务拆分成子任务。任务批次提交；
    资源动态扩容；
    资源腾挪调整；
    无用任务下线。