MaxCompute优化系列-如何解决`无效Join` ?

简介: 无效Join 比如这个例子: insert overwrite table my_table partition(ds='${bizdate}')  select      t1.task_type,     sum(t1.
无效Join判断

比如这个例子:

insert overwrite table my_table partition(ds='${bizdate}') 
select 
    t1.task_type,
    sum(t1.plan) total, 
    sum(t1.real)/(sum(t1.plan)+0.0001) RPR,
    sum(t1.plan_A) total_real_mem,
    sum(t1.real_A)/(sum(t1.plan_A)+0.0001) RPR_A
from m1_task t1 
left outer join dim_info t2
on t1.project_name=t2.project_name and t1.ds='${bizdate}' and t2.ds='${bizdate}'
group by t1.task_type;



t2 这张表,虽然被拿来join了,但是where、group by、select里都没有被用到,而且也不会带来t1表的数据量的缩减(因为是left outer join),属于有没有都无所谓的情况,这就是典型的无效join,无端增加输入量,浪费资源。

 华北2(北京)Region MaxCompute购买地址:https://common-buy.aliyun.com/?commodityCode=odpsplus#/buy


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
数据采集 监控 算法
利用大数据和API优化电商决策:商品性能分析实践
在数据驱动的电子商务时代,大数据分析已成为企业提升运营效率、增强市场竞争力的关键工具。通过精确收集和分析商品性能数据,企业能够洞察市场趋势,实现库存优化,提升顾客满意度,并显著增加销售额。本文将探讨如何通过API收集商品数据,并将这些数据转化为对电商平台有价值的洞察。
|
9月前
|
存储 SQL 关系型数据库
大数据量下数据库分页查询优化方案汇总
当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询。对于数据库分页查询,也有很多种方法和优化的点。下面简单说一下我知道的一些方法。
186 2
|
8月前
|
Prometheus 运维 监控
直击运维痛点,大数据计算引擎 EasyMR 的监控告警设计优化之路
监控告警在企业保障系统的稳定性和事故快速恢复的全周期链路中都是至关重要的一环。在新版本的 EasyMR 中袋鼠云开发团队也对监控告警功能进行了全新的优化,通过本文和大家分享监控告警功能的设计思路以及碰到各类问题痛点的解决方法。
103 0
|
5月前
|
人工智能 Cloud Native 大数据
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
186 0
|
3月前
|
缓存 Java 大数据
CDH大数据环境参数优化指南
CDH大数据环境参数优化指南
|
4月前
|
大数据
大数据复习课Day02_Mysql优化补充
大数据复习课Day02_Mysql优化补充
16 0
|
6月前
|
存储 缓存 算法
大数据框架中的Java虚拟机优化
大数据框架中的Java虚拟机优化
|
7月前
|
SQL 存储 大数据
大数据Hive Join连接查询
大数据Hive Join连接查询
41 0
|
7月前
|
存储 大数据 流计算
大数据Flink双流Join
大数据Flink双流Join
135 0
|
7月前
|
存储 缓存 JavaScript
Vue中如何进行虚拟滚动与大数据优化
Vue中如何进行虚拟滚动与大数据优化

相关产品

  • 云原生大数据计算服务 MaxCompute