MaxCompute问答整理之2020-01月

简介: 本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、如果把MaxCompute计算费用从按量付费变为包年包月,是否会引起数据变化或者服务重启?
不会,目前,MaxCompute支持在按量计费和包年包月两种计费方式之间进行转换,但您必须提前开通好两种模式的MaxCompute资源。具体限制以及操作步骤可参考官方文档:
https://help.aliyun.com/document_detail/35455.html

问题二、在MaxCompute中可以在Java业务代码中调起一个任务开始执行吗?
可以,在业务代码中调MaxCompute的Java sdk执行SQL任务。可参考官方文档:
https://help.aliyun.com/document_detail/34614.html

问题三、在MaxCompute中如何获取系统当前时间?
可以使用MaxCompute内建函数GETDATE,可参考官方文档日期函数查看函数说明:
https://help.aliyun.com/document_detail/48974.html

问题四、使用日期函数YEAR、QUARTER、MONTH、DAY时报错信息如下:FAILED: ODPS-0130071:[1,8] Semantic analysis exception - function or view 'year' cannot be resolved
YEAR、QUARTER、MONTH、DAY为MaxCompute2.0扩展函数,如果用到的这些函数时,在使用新函数的SQL前,需要加一个set语句。set odps.sql.type.system.odps2 = true; --开启新类型。
示例:set odps.sql.type.system.odps2 = true;select year('2020-01-10 12:30:00') ;--返回2020

问题五、MaxCompute表的默认生命周期是多少呢? 如何查看具体的值?以及各分区的lifecycle的值?
如果您没有为表指定生命周期,则表(分区)不会根据生命周期规则被MaxCompute自动回收,所以默认周期为永久。如果设置了lifecycle,可以通过desc table命令来查看。可参考官方文档了解:
https://help.aliyun.com/document_detail/55297.html

问题六、在MaxCompute中如果一个表下面有很多分区,需要清空这个表所有的分区,应该怎么操做?
使用删除分区语法:ALTER TABLE TABLE_NAME DROP [IF EXISTS] PARTITION partition_spec; 需要一个个删除分区,如果要删除大量分区,建议重建一个新表。具体操作可参考文档:
https://help.aliyun.com/document_detail/73771.html

问题七、最近都没有进行MaxCompute的计算, 或者购买的为包年包月计费,为什么最近的几个月都有扣费?
MaxCompute扣费项包含存储、计算、下载。这些费用是存储费用,可在控制台账单明细中核实一下。

问题八、MaxCompute表dim_xxxx正在使用时找不到了。使命令行show p;查看运行的SQL,没有发现DROP语句,这个表是谁在什么时间删除的?
如果没有DROP语句,表是因为设置了lifecycle导致的。当设置lifecycle后数据没有更新的,到时间后表会被MaxCompute自动回收。

问题九、在MaxCompute中,INSERT语句执行过程中出现错误,会损坏原有数据吗?
不会损坏原有数据。MaxCompute 满足原子性(Atomicity),INSERT要么成功更新,要么失败回滚。

问题十、使用PyODPS如何下载全量数据?
PyODPS默认不限制从Instance读取的数据规模。但是对于受保护的Project,通过Tunnel下载数据将受限。此时,如果未设options.tunnel.limit_instance_tunnel,则数据量限制会被自动打开,可下载的数据条数受到Project配置限制,通常该限制为10000条。如果您需要手动限制下载数据的规模,可以为open_reader方法增加limit选项, 或者设置options.tunnel.limit_instance_tunnel = True 。

更多阿里巴巴大数据计算技术和产品信息,可点击链接加入 MaxCompute开发者社区2群
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
2群.png

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
SQL 分布式计算 DataWorks
MaxCompute问答整理之2020-06月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1087 0
MaxCompute问答整理之2020-06月
|
SQL 存储 分布式计算
MaxCompute问答整理之2020-04~05月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
741 0
MaxCompute问答整理之2020-04~05月
|
机器学习/深度学习 存储 SQL
MaxCompute 入门必知
什么是MaxCompute?MaxCompute的主要应用场景有哪些?产品有什么特点?系统架构和作业流程是怎样的?
1265 0
|
SQL 分布式计算 Java
MaxCompute问答整理之2020-03月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1051 0
MaxCompute问答整理之2020-03月
|
SQL 分布式计算 Cloud Native
MaxCompute问答整理之2020-02月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1174 0
MaxCompute问答整理之2020-02月
|
SQL 消息中间件 JSON
MaxCompute问答整理之12月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
1408 0
MaxCompute问答整理之12月
|
SQL 分布式计算 Oracle
MaxCompute问答整理之11月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
6773 0
MaxCompute问答整理之11月
|
分布式计算 MaxCompute Shell
MaxCompute问答整理之10月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
2055 0
|
分布式计算 MaxCompute
MaxCompute问答整理之9月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
9564 0
|
分布式计算 MaxCompute SQL
MaxCompute问答整理之8月
本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
2559 0