MaxCompute预付费资源监控工具-CU管家使用教程

简介: MaxCompute管家使用前提 1、用户购买了 MaxCompute 预付费CU资源,60CU以上的用户(备注:CU过小无法发挥计算资源及管家的优势)。 2、支持区域,MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

MaxCompute管家使用前提

1、用户购买了 MaxCompute 预付费CU资源,60CU以上的用户(备注:CU过小无法发挥计算资源及管家的优势)。
2、支持区域,MaxCompute 华北2北京、华东2上海、华南1深圳 3个Region的用户。

系统状态

通过系统状态了解CU计算资源和存储的消耗情况, 如图所示:
69b63beb-a2c9-4ea9-b6c6-dff6c2d983ea.png
上图①可以选择所查看的资源组,根据选择的资源组,展示当前资源组的消耗信息和当前存储量。
上图②可以选择查看所选资源组的时间区间,选择的区间不同,资源组数据展示的粒度不同(计算资源CU每6分钟采集一次/存储每一小时采集一次)。

Quota设置

Quota是指资源组。举个例子,有用户购买了100CU,表示他全部 Quota 的额度是100CU。该用户可以通过大数据管家来新建 Quota,这样就可以对 Quota 进行资源分配。运维人员可以很方便的将各个项目的资源隔离,保证重要项目的计算资源充沛。
a333c401-9d49-4605-8145-563fc178faa2.png
新建Quota:新建一个 Quota 组,建好后可以通过移动项目功能,来将项目移动到 Quota 下。创建的 Quota 可以删除,但若当前 Quota 下有项目,则无法删除。
修改CU消耗:建好的 Quota 支持修改CU最小消耗值。
移动项目:支持将当前 Quota 下的项目移动至其他 Quota 下,新建的 Quota 就可以通过这个移动项目这个功能来做到资源隔离。
删除:支持删除 Quota 组,若当前 Quota 下有项目,则无法删除。
注意:计算资源CU升级和降配时,默认Quota组Max、Min会相应变化,其他组不会改变配置。如果降配时,剩余默认Min组小于降配额度时,会发生降配失败。
Quota组配置示例,比如60CU,两个部门使用。
资源组独享,【MaxCU,MinCU】,A组【40,40】,B组【20,20】
资源组倾斜, 【MaxCU,MinCU】,A组【60,40】,B组【40,20】

Instance查询

通过计算任务监控,了解当前任务排队状态,资源被哪些任务抢占,然后做分析或 Kill,详细如下图所示:
5aef4f8b-0ba1-41ad-bacf-cb975c3c38cc.png
可以根据 Quota 组名称和项目名称两个维度来筛选,精确搜索。
InstanceId:每一个 MaxCompute任务都会有一个 Instance,通过点击 InstanceId 可以跳转到Logview页面,查看具体的任务进度,查看Logview的方法请参考: Logview查看
账号:运行这个MaxCompute任务的操作人,可以根据这个账号信息找到任务所属的责任人,如果该任务占用太多资源而影响其他任务的运行,可以与该责任人联系,是否 kill 掉该 Instance,Kill 掉 Instance 的方法请参考: 实例操作
MaxCompute Project:当前 Instance 所属的项目名称。
cpu消耗: 当前quota组实际使用的CPU资源比例。
memory消耗: 当前quota组实际使用的内存资源 比例。
提交时间:当前 Instance 任务的提交时间。
等待时间:等待运行资源的时长。
操作:可以在此处查看当前 Instance 任务的状态,此处会显示当前状态和历史状态。


 华北2(北京)Region MaxCompute购买地址:https://common-buy.aliyun.com/?commodityCode=odpsplus#/buy


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之maxcompute资源打开失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
2月前
|
SQL 分布式计算 监控
MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
【2月更文挑战第4天】MaxCompute提供了一些工具以帮助您监控作业和资源使用情况。
27 8
|
2月前
|
DataWorks 关系型数据库 MySQL
dataworks问题之数据源一直失败如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
31 2
|
1月前
|
数据采集 分布式计算 DataWorks
DataWorks常见问题之dataworks引用maxcompute资源失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
大数据 Java Go
Go语言在大数据处理中的核心技术与工具
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理领域的核心技术与工具。通过分析Go语言的并发编程模型、内存管理、标准库以及第三方工具库等方面,展现了其在大数据处理中的优势和实际应用。同时,本文也讨论了如何使用这些技术与工具构建高效、稳定的大数据处理系统,为开发者提供了有价值的参考。
|
2月前
|
分布式计算 DataWorks NoSQL
MaxCompute资源问题之网络不通如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
34 2
|
2月前
|
DataWorks 关系型数据库 分布式数据库
dataworks数据集问题之数据中台报错如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
36 1
|
2月前
|
DataWorks API 数据安全/隐私保护
dataworks数据集问题之获取表列表失败如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
46 6
|
2月前
|
DataWorks NoSQL 关系型数据库
dataworks数据集问题之归档存储报错如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
26 3
|
2月前
|
DataWorks 关系型数据库 大数据
dataworks问题之执行TELNET命令失败如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
23 2

相关产品

  • 云原生大数据计算服务 MaxCompute