开发者社区> 问答> 正文

MaxCompute百问集锦(持续更新20171011)

fd7e5655f16e03d1198dc492cead625bbfb9af58_jpeg
大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。同时,大数据开发套件和MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,可以参见大数据开发套件简介来对其进行深入了解。本文为大家整理了关于MaxCompute的系列问题供大家查阅参考。

产品咨询

MaxCompute是什么,怎么用?
https://yq.aliyun.com/ask/52394

MaxCompute(原odps)是否支持快照,changelog的设置方式是什么,如果有文档请发一下。
https://yq.aliyun.com/ask/53651

为什么开发MaxCompute?和类似的开源项目有啥异同?
https://yq.aliyun.com/ask/41916

MaxCompute听起来很强大,会不会有lock-in问题?
https://yq.aliyun.com/ask/39752

StreamCompute和MaxCompute中的datahub区别?
https://yq.aliyun.com/ask/54575

常用场景有哪些?如何才能接入MaxCompute的能力?
https://yq.aliyun.com/ask/39753

MaxCompute华南1(深圳)Region支持哪些云产品?
https://yq.aliyun.com/ask/58661

我们公司现在数据量过大,准备将关系数据库MySQL中的数据迁移到阿里云上的MaxCompute(ODPS)中,需求1、起到历史数据备份的作用,按天增量同步。2、将数据处理后生成报表并展示。MaxCompute是否可以支持。
https://yq.aliyun.com/ask/58659

MaxCompute华南1深圳区域9月7号开服是否支持华东到华南数据迁移?
https://yq.aliyun.com/ask/58606

公司选择了使用阿里云大数据计算服务(MaxCompute,原 ODPS)进行数据 仓库建设,由一个多人的团队负责实施和运维。为了更好的进行角色分工、数据权 限、多用户协同等管理工作,同时还能实现任务的自动调度、任务监控、错误告警 及处理等运维工作,并且需要有一个简单易用的开发环境,那用客户端作为主要开发工具更高效便捷还是用管理控制台更高效便捷呢。
https://yq.aliyun.com/ask/58098

大数据计算服务MaxCompute(按量付费) 默认只有华东2 区域, 我们的ECS机器都是 华东1 的,能和 MaxCompute 互通吗?
https://yq.aliyun.com/ask/56377

现在公司有数据统计分析的需求,数据库是云数据库 rds版(MySQL 5.6 ),比如我们有学校这个主体,要统计学校每年新增、毕业多少人及占总人数的比例等等。我现在应该开通什么服务。我们已经在用rds数据库,数据库中最大表有千万条数据,每天写入有十万左右,其他大部分表的数据库有几十万条;展现的话,希望能在网页上通过图表的形式展示。
https://yq.aliyun.com/ask/56584

开通/注销问题

如何注销MaxCompute(ODPS)服务?
https://yq.aliyun.com/ask/16464

收费及账单问题

MaxCompute如何将后付费转换为预付费?
https://yq.aliyun.com/ask/59464

我最近都没有进行MaxCompute的计算, 为啥最近的4个月都有扣费操作的?
https://yq.aliyun.com/ask/54068

现在的数加平台,大数据MaxCompute(原ODPS)怎么不能查看每条sql执行的费用,我需要提前知道每个sql的费用?
https://yq.aliyun.com/ask/53661

到MaxCompute即将到期的短信,续费入口在哪里?
https://yq.aliyun.com/ask/54330

大数据计算服务MaxCompute(原ODPS)的扣费是因为项目未删除吗? 想将账号内大数据的几个项目全部删除,删除失败,能否帮忙删一下。
https://yq.aliyun.com/ask/54294

MaxCompute MapReduce(MR)如何收费?
https://yq.aliyun.com/ask/57654

新创建的项目:rec_data 付款后一直没有生成,什么问题。
https://yq.aliyun.com/ask/54183

开通MaxCompute 包月付费后,执行SQL是否还会产生费用 ?
https://yq.aliyun.com/ask/15165

MaxCompute如何自动续费?
https://yq.aliyun.com/ask/59912

MaxCompute 按量付费,是按月结算吗?财务什么方式付款,存钱不能开出发票,财务认为打款到阿里就应该拿到发票。
https://yq.aliyun.com/ask/57441

请问我在执行MaxComputeSQL的过程中,取消掉任务是否还会收费?
https://yq.aliyun.com/ask/59478

请问一下,我导出了MaxCompute使用清单 ,怎么用odpscmd.bat 工具的命令查看当时的SQL是什么,看看费用为什么那么高 ,好像是cost,忘记怎么查了 例如:计量信息编号20170921030922952xxxxxxx.
https://yq.aliyun.com/ask/59469

MaxCompute预付费账单如何查看?
https://yq.aliyun.com/ask/59466

MaxComputeMR作业的费用上升了很多,想查看下哪些任务的费用比较高,有什么地方可以查看?
https://yq.aliyun.com/ask/59460

大家好,咨询下,MaxCompute SQL计费公式:一次SQL计算费用 = 计算输入数据量 SQL复杂度 SQL价格这里的计算输入数据量就是指表的数据量吗?表做分区按分区查或者增加where,是不是对计费没有影响,起不到节省费用的作用?
https://yq.aliyun.com/ask/58687

如何估算我们所需要的MaxComputeCU数量?可以直接从按量计费,切换到包月吗?有需要做其他任务上的调整吗?
https://yq.aliyun.com/ask/58680

你好,我在阿里云机器学习中新建了项目,每天扣0.01,请问这是什么费用,如何删除新建的项目?
https://yq.aliyun.com/ask/58557

存储到 MaxCompute 的数据,包括表(Table)和资源(Resource)等,会按照其数据容量的大小进行阶梯计费,计费周期是:天。 MaxCompute 以小时级别采集用户每个项目空间下在当前的存储使用情况,并以项目空间为基本单位,计算用户当天的存储平均值再乘以单价。 文档里是这样写的,那么存储计费的周期到底是天还是小时呢。
https://yq.aliyun.com/ask/58099

已经停止使用MaxCompute了,每天还是会有欠费一分钱的通知。
https://yq.aliyun.com/ask/58086

MaxCompute的MR要开始收费了,SQL作业不是也用的MapReduce么,如何计费?
https://yq.aliyun.com/ask/58084

问一下:从RDS导入到maxCompute的过程中,要算费用吗?
https://yq.aliyun.com/ask/57443

我的RDS在华东1,数据同步到MaxCompute,1.不能走内网?2.走外网花费的流量还付费吗?
https://yq.aliyun.com/ask/57440

MaxCompute2.0使用问题

MaxCompute2.0 Outputer和Extractor有什么关系,是干什么的,谁能说清楚?
https://yq.aliyun.com/ask/53655

请问一下,MaxCompute2.0 里面使用表格存储作为外部表,对这个外表做联合查询的时候是不是会必然扫OTS的全部记录?

https://yq.aliyun.com/ask/53291

如果oss外部表只能由主账号创建,那么在大数据开发套件的任务里要动态创建表,那这个任务就必须要主账号来创建吗?
https://yq.aliyun.com/ask/59476

MaxCompute字段内容超出存储2兆限制,有什么好的解决方案吗?我能想到的是2.0的oss外表,但是不知道超过2兆对查询会不会有影响。
https://yq.aliyun.com/ask/59468

使用MaxCompute 2.0往TableStore写入数据,遇到FAILED: ODPS-0000000:Invalid query - Internal Error: java.lang.NullPointerException(null)问题。第一步CREATE EXTERNAL TABLE显示运行成功,tablestore://后面的链接改成了我们自己实例的私网链接,请问如何解决这个Invalid query的问题?
https://yq.aliyun.com/ask/58690

MaxCompute2.0读取oss报错 FAILED: ODPS-0123131:User defined function exception - Traceback:
java.lang.RuntimeException: SCHEMA MISMATCH: External Table schema specified a total of [8] columns, but current text line parsed into [4] columns delimited by...
https://yq.aliyun.com/ask/58594

MaxCompute2.0 java udf 要返回STRUCT, evaluate 方法返回的类型是?
https://yq.aliyun.com/ask/57438

数据同步问题

您好,我有一个业务需求,必须用华东2的服务器(ODPS在华东2),但是我们有其他的服务在华东1,现在我们要实现服务器之间的通信(华东2和华东1),是不是只能走外网?能不能走内网呢?
https://yq.aliyun.com/ask/58649

请问华南的ecs和华东的MaxCompute内网互通吗?
https://yq.aliyun.com/ask/54282

你好,目前我们往MaxCompute上传的数据都是结构的表数据,是我们在本地服务器对用户的行为日志分析后提取到的所需信息,在将这些结构化的数据上传到MaxCompute。
https://yq.aliyun.com/ask/53308

MaxCompute筛检重复数据,将新数据存储到mysql数据库中
https://yq.aliyun.com/ask/53344

我们的MYSQL数据库在ECS服务器上,不是RDS,ECS上使用了安全组,只允许内网访问以及特定的IP的访问。 现在要通过MaxCompute中建立数据源,连接上MYSQL,但是 通过不了连接测试。 请问该在mysql的ECS安全组上进行怎样的设置? 比如设置那些内网IP ?
https://yq.aliyun.com/ask/54339

数据服务器rds在华北2地区,但是MaxCompute现在在华东2区,不能实现我们的需求功能,但是需要海量数据的快速读取,有没有其他方案能够解决?谢谢!
https://yq.aliyun.com/ask/53606

今天凌晨开始,从华北2的只读RDS到MaxCompute的只读业务一直同步无法完成,进度到90%几之后就没有速度,所有调度都是这样,偶尔有能成功的,不知道是什么问题,麻烦看一下。附件为同步日志。
https://yq.aliyun.com/ask/54326

MaxCompute (原ODPS)tunnel上传数据报格式化错误。
https://yq.aliyun.com/ask/53662

如果申请MaxCompute 和ADS,发现这两个产品不在一个Region里,一个在华东2,一个在华东如果数据传输MaxCompute->ads是否要开通高速通道? 怎么做?
https://yq.aliyun.com/ask/53664

你好,我们本地服务器每天采集的网站日志有10+G,然后上传至MaxCompute,上传速度特别慢,请问有没有好的解决方法?谢谢!是tunnel upload,200k/s左右
https://yq.aliyun.com/ask/53310

如何在shell脚本中 将一个txt文件中的数据上传到 MaxCompute的某张表中, 把这两条命令组合成一条的办法吧 /odpscmd/bin/odpscmd tunnel upload "$FILE" project.table
https://yq.aliyun.com/ask/53289

数据怎么导入MaxCompute中
https://yq.aliyun.com/ask/39743

MaxCompute数据导出到本地Mysql
https://yq.aliyun.com/ask/38060

MaxCompute抛出异常,线上数据没有更新,异常信息如下:
https://yq.aliyun.com/ask/54382

在本地利用MaxCompute客户端,无法查询MaxCompute上的任何一张表,提示如下: Warning: ODPS request failed:Connection reset, retryCount:2, will retry in 130 seconds.
https://yq.aliyun.com/ask/53297

通过大数据开发套件从MySQL往MaxCompute做增量数据的定时写入,由于我的调度程序虽然设置凌晨00分执行,但是会延迟到10分左右执行,由于调度会产生延迟,昨天的数据有一些没有写入,如何解决?怎么修改一下我的调度逻辑呢?
https://yq.aliyun.com/ask/58658

您好,从RDS下同步到MaxCompute下,会有重复数据,这个是为什么?看了下有个字段pt,会有两个日期,估计这个是造成重复数据的原因。
https://yq.aliyun.com/ask/58089

通过DataHub写入数据到MaxCompute,那么Datahub如何关联MaxCompute的表呢?
https://yq.aliyun.com/ask/58083

我在数加的IDE上建了个数据同步的任务,把MaxCompute上的一个表同步到AnalyticDB上。任务测试成功,但是查ADB上的表,数据是空的。附件是运行日志,请帮忙看看哪里出了问题。
https://yq.aliyun.com/ask/57437

咨询下 如附件中所有的MaxCompute 的配置、sql 能不能转移到另外一个阿里云账号上,因为内容比较多一个一个迁移太慢。
https://yq.aliyun.com/ask/57429

日志投递到MaxCompute报MaxCompute API Call Error 。
https://yq.aliyun.com/ask/57428

利用dataHub向MaxCompute 中写入数据时,每次写入都要创建一个MaxCompute 连接,速度太慢,那么ODPS有连接池的概念吗?
https://yq.aliyun.com/ask/57427

数据存储/管理问题

MaxCompute分区表最大可以支持几级分区?
https://yq.aliyun.com/ask/58652

MaxCompute这里的生命周期是什么用,就是数据只能最多保存365天,然后就会清空? 如果是,这个时间能无限吗?
https://yq.aliyun.com/ask/54186

MaxCompute (原odps)项目默认的分区最大值设置为60000,请问怎么更改这个默认值呢?
https://yq.aliyun.com/ask/53663

请问, MaxCompute studio中,表详细表的size和physical size。代表逻辑存储和物理存储占用空间么?为什么物理存储会大那么多,3倍的样子,是三副本的原因么,咱不是压缩比有5倍么?有没不跑select count,直接看到表记录条数的方法?谢谢
https://yq.aliyun.com/ask/59470

你好,我们的一个MaxCompute上的表某几个分区昨天被误删了,请问你们有办法恢复吗?
https://yq.aliyun.com/ask/59465

如何查看MaxCompute表中已经添加了哪些分区?
https://yq.aliyun.com/ask/59462

MaxCompute(原ODPS)默认的压缩格式是什么?
https://yq.aliyun.com/ask/59459

清空表,TRUNCATE TABLE upload_log 报错 FAILED: ODPS-0000000:Invalid query - partitioned table can not be truncated 或者你告诉我怎么清空MaxCompute里面的表数据,我想把表清空了, 重新传一些数据进行测试?
https://yq.aliyun.com/ask/58689

MaxCompute如何定时删除历史指定分区?
https://yq.aliyun.com/ask/58682

MaxCompute(原ODPS)字段是属性可以直接修改吗? 比如一个字段由 bigint 类型转换成 string 类型。
https://yq.aliyun.com/ask/58681

MaxCompute SQL新增表的时候显示创建成功但是在工程中找不到该表。
https://yq.aliyun.com/ask/58560

假如一个表中有两个列为分区列,那这个表的分区数有多少呢,可以是无数个是吗?
https://yq.aliyun.com/ask/58092

MaxCompute分区表只支持字符串类型,对吗?
https://yq.aliyun.com/ask/58091

问个问题,大家通过MaxCompute建数据仓库的时候?数据是存在其他数据库里还是存在项目里?
https://yq.aliyun.com/ask/57446

你好,我在使用MaxCompute 表 可以 只保留指定分区数据吗 比如分区1-100 只保留50这个分区的数据 其他全部删除,我想批量删除。
https://yq.aliyun.com/ask/57431

数据下载问题

在MaxCompute(原 ODPS)里运行sql命令,怎么能下载超过一万行的数据?
https://yq.aliyun.com/ask/53637

假如MaxCompute某表中有1000万行数据,需要把这些数据全部导出到本地,用Tunnel比较好还是用控制台里的选择此表下载数据比较好?
https://yq.aliyun.com/ask/59473

MaxCompute在使用Tunnel下载数据时,想要对一些数据进行转义应该怎么操作?
https://yq.aliyun.com/ask/58085

数据开发-SQL问题

MaxCompute有哪些常用语句?
https://yq.aliyun.com/articles/222955

MaxCompute批量Insert问题
https://yq.aliyun.com/ask/53916

请问MaxCompute表的decimal怎么设置成保留2位小数,类似于decimal(16,2)方式。 比如0.04入库后成了0.040000000000000001
https://yq.aliyun.com/ask/53641

MaxCompute支持 正则匹配中文吗?
https://yq.aliyun.com/ask/54194

关于MaxCompute中 odps.stage. 和odps.sql. 的设置,最好是全面的一些的,我们学习下,感谢!
https://yq.aliyun.com/ask/53315

MaxCompute SQL中的Select语句最多只能返回10000条结果么?
https://yq.aliyun.com/ask/16456

MaxCompute sql 子查询再联表查询时,报错!
https://yq.aliyun.com/ask/42700

在编写MaxCompute sql 如何获取当前时间
https://yq.aliyun.com/ask/40893

MaxCompute 如何可以分析内容为JSON格式的字段?
https://yq.aliyun.com/ask/39157

请问MaxCompute中的to_Date函数在sql条件中可否用等于号 类似于:select * from odps_demo where m_time = to_date('2017-08-25 13:08:50', 'yyyy-MM-dd HH:mi:ss') 查询结果无法查到时间为2017-08-25 13:08:50的数据呢?
https://yq.aliyun.com/ask/59471

MaxCompute无法读取自己所建表中的div字段?
https://yq.aliyun.com/ask/59467

MaxCompute 中double类型的字段 sum之后,结果小数点后出现十多位,请问怎么解决?
https://yq.aliyun.com/ask/59463

我如何用MaxCompute计算得出当前日期的前一个工作日?
https://yq.aliyun.com/ask/59461

MaxCompute SQL 查询语法报错select count(1) from tb where prt='2016' group by prt_mkt;
FAILED: ODPS-0000000:Invalid query - MetaException(message:ODPS-0010000:System internal error - OTS filtering exception - Ots read range partitions exceeds the specified limit:10000
https://yq.aliyun.com/ask/58691

MaxComputeSQL 是否可以字符串函数和聚合函数同时使用?get_json_object() 这个列可以加到group_by 里面吗?
https://yq.aliyun.com/ask/58686

MaxCompute插入语法异常,insert overwrite table dual select 'x' from data_userinfo limit 1;
提示FAILED: ODPS-0130131:Table not found - line 1:23 'dual' dual表怎么弄?
https://yq.aliyun.com/ask/58678

MaxCompute一个字段最大限制为4m,我想问下我现在取top15万就超过限制了,这个是什么原因呢?
https://yq.aliyun.com/ask/58676

你好,我们想用MaxCompute 查询最近多少条的分区,但是不知道怎么写 ,${bdp.system.bizdate}' 减7天怎么写 ds =$[${bdp.system.bizdate}' -7*N ] 大概这种格式吗?日期转换会报错。
https://yq.aliyun.com/ask/58655

MaxCompute插入数据报错insert overwrite table tmp partition (a=a,b=b)Failed:ODPS-0130161:Parse exception –line 1:84 cannot recongnize input near ….
https://yq.aliyun.com/ask/58654

MaxCompute中的多表查询是不是不能使用from table1,table2...这种方式,是不是一定要join才行呢?如果有三张表a,b,c那就是:a join b join c吧?
https://yq.aliyun.com/ask/58651

如何修改表字段类型 比如将string 改为 bigint;
https://yq.aliyun.com/ask/58650

MaxCompute 遇到一个这样的问题:select * from (select A,B,C from table1 union all select A,B, null C from table2) t;执行类似这样的语句时报这样的错:FAILED: ODPS-0130241:Illegal union operation ...
https://yq.aliyun.com/ask/58648

select getdate();MaxCompute SQL无论执行啥 都报这个错误?
https://yq.aliyun.com/ask/58647

在执行MaxCompute的sql查询时遇到这样的错误:
FAILED: ODPS-0130111:Subquery partition pruning exception -records returned from subquery exceeded limit of 1000. 是什么原因呢?
https://yq.aliyun.com/ask/58645

大数据开发套件里面MaxCompute SQL的DDL建表怎么不成功啊
create table xiaoshu(f1 float(10,2),dc decimal(10,2))
https://yq.aliyun.com/ask/58561

MaxCompute用正则表达式清洗数据的时候遇到报错:FAILED: ODPS-0121095:Invalid arguments - in function regexp_substr bad utf8 string input: 造成insert语句整体失败。 请问怎么忽略这一条错误的数据,继续处理其它数据?
https://yq.aliyun.com/ask/58558

在使用MaxCompute进行数据加工时,insert into 某个表时,表中的字段值不仅仅是在源数据表中的某一字段值,需要是几个源数据表进行联合查询出来的,请问题这种问题如何处理?
https://yq.aliyun.com/ask/58097

MaxCompute里面的unix_timestamp函数怎么取出来的时间戳少了三个000,就是说少了3位?
https://yq.aliyun.com/ask/58096

是否含有将'A,B,C'字符串转变为数据[A,B,C]的函数,在hive中含有split字符串分割函数,可在这没有找到?
https://yq.aliyun.com/ask/58087

怎么通过SQL语句查询MaxCompute 里的数据,现在只能预览,没找到查询入口?
https://yq.aliyun.com/ask/58082

MaxCompute作业报错,FAILED: ODPS-0121145:Data overflow - Div func result overflow, two params are 0.003322222222222222 and 0
https://yq.aliyun.com/ask/57680

MaxCompute Double字段插了一个空串进去了(不清楚为啥能插进去),后续统计,查询就报了这个错误。
https://yq.aliyun.com/ask/57447

MaxCompute 一直报这个错 syncOdpsContainer exception: java.lang.NullPointerException 是啥原因?
https://yq.aliyun.com/ask/57445

row_number语句,只获取pt值最新的数据,ID不重复?
https://yq.aliyun.com/ask/57433

Maxcompute 的SQL不支持cross join的操作, 我测试了“full outer join on 1=1 ” 也不支持,那我要实现两张表作笛卡尔关联该用什么方法实现?
https://yq.aliyun.com/ask/57077

MapReduce问题

你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?
https://yq.aliyun.com/ask/53285

MaxComputeMR慢,请问是资源调度的问题吗?而且晚上没有数据的,可以从下面的sql看出,是没有数据的,这样会导致我们业务无法达到预期的效果?
https://yq.aliyun.com/ask/58653

MaxCompute MR语法,jar -resources xx.jar -classpath xx.jar com.WordCount table1 table2; 这条命令能否在java 代码中执行?
https://yq.aliyun.com/ask/58683

关于MaxCompute MR 一个 reduce 的输入数据可以来自于多个 map 的输出吗? 一个 MR 处理可以不包含任何 reduce吗? 一个 MR 处理可以不包括任何 map吗?
https://yq.aliyun.com/ask/58100

UDF问题

在MaxCompute的大数据开发套件的服务中,UDF 能不能支持python写的脚本?
https://yq.aliyun.com/ask/53652

ip地址在MaxCompute中可以解析成实际定位的使用地址吗(城市、省份)? 或者在阿里云别的服务中有这项功能吗? 例如获取的ip地址为125.79.232.213,可以输出定位的地址为福建南平。
https://yq.aliyun.com/ask/54292

MaxCompute里面,我写了一个udf,java代码中的udf已经按照阿里云例子写的(继承了UDF),但是在MaxCompute sql里面调用的时候报错
https://yq.aliyun.com/ask/54387

MaxCompute 做数据分析,自己编算法在哪里实现
https://yq.aliyun.com/ask/37639

MaxCompute之udf说明中,只支持udf和udtf两种形式,不知道可否支持udaf?
https://yq.aliyun.com/ask/51883

在MaxComputesql中使用了一个udf函数,之前一直是正常的,昨天突然报错了。
https://yq.aliyun.com/ask/58685

  1. Java线上运行报以下错误
    java.lang.NoClassDefFoundError: com/aliyun/odps/TableResource

线上没有是没有相关的包依赖么,要自己添加依赖包?

  1. 另外Java SDK中有没有类似Python SDK中的odps.distcache.get_cache_table接口或者类似的接口,想要在UDAF初始化的时候读取一个表的全部内容。
  2. com.aliyun.odps.Table.read(int limit)接口,如果想读取所有记录是传入一个最大的整数值还是有其他方法?
    java.lang.NoClassDefFoundError: com/aliyun/odps/TableResource

https://yq.aliyun.com/ask/58556

MaxCompute 的 自定义函数(UDF) 或 MapReduce 对资源的读取有一定的限制。
https://yq.aliyun.com/ask/58088

我想问下怎么判断 是否是数值的字符串,有内置的方法吗?
需要自己写一个JAVA UDF。

你好,MaxCompute UDAF自定义函数iterate里面是按什么规则分片的按group by的字段吗?UDAF同一个字段值会有两个分片吗,每个分片容量限制是多少?
https://yq.aliyun.com/ask/58095

MaxCompute 表中的数个字段存的是json值(mongodb的数据,json多层嵌套), 使用哪几种方式可以把这些数据抽取出来? 自己写udf还是自己写sdk去实现? 有例子么?
https://yq.aliyun.com/ask/57444

我们现在问题是MaxCompute UDF中 使用了第三方的lib 但是打包上传之后, 执行MaxCompute会报找不到类名的问题,所以想看一下 用到第三方库的udf例子。
https://yq.aliyun.com/ask/57436

在一个MaxCompute select中只能有一个udtf,不可以再出现其它的列 其他都懂,就是这个有点没明白,这个函数属于UDTF?不算是内建函数吗?如果我的select语句使用了trans_array就不能再使用其他自定义函数了?
https://yq.aliyun.com/ask/57416

性能问题

MaxCompute现在是出问题了吗,为什么我select一直是Job Queueing;还是我们公司的odps 运行量太大导致的?
https://yq.aliyun.com/ask/58559

MaxCompute执行任务一直在waiting状态,加急,最近经常出现?
https://yq.aliyun.com/ask/58090

SDK问题

我看MaxCompute 的产品介绍上面提到了有restful 的接口, 以及jdbc连接方式,但是没有看到相关的文档,请问是否可以帮忙提供一下文档?
https://yq.aliyun.com/ask/53640

请问MaxCompute Java SDK中没有对数据批量上传的接口吗?
https://yq.aliyun.com/ask/53142

MaxCompute SDK中insert偶尔报错,请问什么原因 com.aliyun.odps.OdpsException: ODPS-0110999: Critical! Internal error happened in commit operation and rollback failed, possible breach of atomicity - Rename directory failed during DDLTask
https://yq.aliyun.com/ask/53647

使用MaxCompute python SDK读取MaxCompute 上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个MaxCompute 连接,有没有可能是MaxCompute 连接太多了?文档中没有发现如何关闭这个MaxCompute 连接? 2. 在MaxCompute 客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话,是不是可以先排除程序的问题?如下: Aliyun ODPS Command Line Tool Version 0.21.1 @Copy
https://yq.aliyun.com/ask/53658

大数据计算服务MaxCompute > SDK > Java SDK咨询
https://yq.aliyun.com/ask/49818

如何使用java代码查询MaxCompute上的表中存储的数据。请技术支持人员详细的讲解一下。
https://yq.aliyun.com/ask/58101

权限问题

请问如何管理之前在MaxCompute中添加的云账号权限?
https://yq.aliyun.com/ask/53143

在阿里云大数据计算服务(MaxCompute,原 ODPS)中,当一个用户被移除出 项目空间(project)后,与该用户有关的 ACL 授权仍然会被保留。一旦该用户以 后被再添加到该项目空间时, 该用户的历史的 ACL 授权访问权限将被重新激活,这样理解对吗,那么假设ACL下a有表b的读权限,b删掉后,a的读权限没有了,再新建b表,a还可以读吗?
https://yq.aliyun.com/ask/59477

如何在子账号中添加控制台的大数据(数加)的控制台访问权限,并没有在访问控制权限中找到
https://yq.aliyun.com/ask/58565

RAM中策略管理中怎么没有MaxCompute 的授权策略啊?我想针对数据产品进行更细的权限划分,比如我只允许某些IP地址访问我的MaxCompute 。因为ram授权可以编辑策略,可以做到IP限制。
https://yq.aliyun.com/ask/58555

大数据开发套件Maxcompute 子账号投递日志报错,管理员账号没问题,是权限不够?
https://yq.aliyun.com/ask/58094

RDS是否可以通过RAM授权ODPS服务读取权限?
https://yq.aliyun.com/ask/58093

视图问题

请问MaxCompute(原ODPS)有没有类似数据库中视图的功能?
https://yq.aliyun.com/ask/58688

机器学习PAI问题

按照云栖社区阿里云机器学习PAI的教程,cirfar-10运行的时候报错?
https://yq.aliyun.com/ask/58693

使用自己电脑上可以正常运行的机器学习tensorflow代码在PAI上报错,代码中文件路径均已修改,第三方包依赖均满足。出现错误如下:FAILED: Failed 20170811151046181ae83a_99ad_43dd_88ca_01c588904a1a:ODPS-1202005:Algo Job Failed-System Error-job runs failed:1. Please see the details in logview.
https://yq.aliyun.com/ask/58692

运维部署问题

MaxCompute有成型的灾备解决方案么?
https://yq.aliyun.com/ask/53032

本身MaxCompute是为了几千/几万台机器规模开发的大规模分布式系统,最小化部署大概什么规模呢?
https://yq.aliyun.com/ask/39755

MaxCompute有成型的灾备解决方案么?
https://yq.aliyun.com/ask/53138

请问max compute,我们要在云监控里面设置监控项吗,还是这个不用什么监控问题,谢谢!
https://yq.aliyun.com/ask/54217

开发工具-大数据开发套件

请问下MaxCompute中新增 项目管理==》调度资源管理 里 新增调度资源 这里新增ECS服务器 对服务器配置有要求吗?我有个1G内存的始终增加不成功。
https://yq.aliyun.com/ask/57074

我任务设置了跨周期依赖,晚上11:30左右会生成第二天的任务,如果最后一个任务运行失败,那生成的新任务会成功运行吗?
https://yq.aliyun.com/ask/57073

怎么关闭或删除掉以前的MaxCompute所有运维, 从今天开始重新跑调度?游戏急需清服,把以前所有数据清掉?
https://yq.aliyun.com/ask/57071

开发工具-Stuido问题

MaxCompute Studio插件无法提交sql脚本
https://yq.aliyun.com/ask/52001

JDBC

用这个https://yq.aliyun.com/articles/5588案例 做MaxCompute JDBC连接
报了异常:
SLF4J: Failed to load class "org.slf4j.impl.StaticMDCBinder".
SLF4J: Defaulting to no-operation MDCAdapter implementation.
https://yq.aliyun.com/ask/57432

我用了Itellij 的 MaxCompute studio插件,现在我写了一个MR 程序,想在本地测一下,类似于eclipse MaxCompute 插件那样,从云上的表里下载一些资源到本地的warehouse 做测试,但是我点开 studio的文档,mapreduce 的文档页面已经没有内容了,请问这种本地测试只能在 MaxComputejava module中进行是吗,我建立的普通的module 或者 maven 里的module 里的MR程序是无法本地测试的是吗?
https://yq.aliyun.com/ask/54187

MaxCompute Studio v2.7中提交sql脚本报错。
https://yq.aliyun.com/ask/57435

开发工具-CLT客户端问题

MaxCompute客户端如果不指定project_name,且账户下就一个project的话,连接成功后会自动进入该project吗?
https://yq.aliyun.com/ask/59472

tunnel分隔符有没有好的处理特殊字符策略?
https://yq.aliyun.com/ask/59047

MaxCompute客户端报错,FAILED: odps-0420111:Project not found?
https://yq.aliyun.com/ask/58679

推荐引擎

我开通推荐引擎之后,需要添加大数据计算资源MaxCompute,但是输入access key 的id和secret,一直提示我无法正确创建连接,是怎么回事?Project Name=今典项目
https://yq.aliyun.com/ask/58684

MaxCompute 常见错误码

https://yq.aliyun.com/articles/200968

更多MaxCompute相关的问答

https://yq.aliyun.com/teams/6/type_ask

展开
收起
隐林 2017-06-30 18:30:36 57778 0
18 条回答
写回答
取消 提交回答
  • S_IKI97ZV8_BL7ZVRTOVT8T
    请问各位大佬,我用idea连接maxcompute,修改了本地时间,仍然报错。。另外我用命令模式连接是没有问题的,在线急等,非常感谢!

    2019-07-17 21:21:07
    赞同 展开评论 打赏
  • 1


    学习


    学习


    学习

    2019-07-17 21:21:07
    赞同 展开评论 打赏
  • 255

    2019-07-17 21:21:07
    赞同 展开评论 打赏
  • 感谢分享,干货,收藏了

    2019-07-17 21:21:07
    赞同 1 展开评论 打赏
  • IT菜鸟

    收藏了,干货

    2019-07-17 21:21:07
    赞同 1 展开评论 打赏
  • 从事数据中心运维工作多年,精通数据中心网络、IT设备及基础能源设施。

    学习一下

    2019-07-17 21:21:07
    赞同 展开评论 打赏
  • 感谢分享

    2019-07-17 21:21:06
    赞同 展开评论 打赏
  • 金融IT技术人员

    收藏。。。。。。。。。

    2019-07-17 21:21:06
    赞同 2 展开评论 打赏
  • www.zyl.me 爱折腾,喜欢造,花起钱来毫不心疼,事后沉默一周... 极简主义者,主从事Web开发兼前端爱好者。 全栈开发尝试者、自媒体、极简主义者、爱心极客

    Mark了

    2019-07-17 21:21:06
    赞同 展开评论 打赏
  • 2019-07-17 21:21:06
    赞同 展开评论 打赏
  • 学习

    2019-07-17 21:21:06
    赞同 展开评论 打赏
  • 一个IT老兵,在这行摸爬滚打快20年了,很多工作都做过,也熟悉不少技术。现在对云计算,大数据以及机器学习很感兴趣。

    太给力了。

    2019-07-17 21:21:06
    赞同 展开评论 打赏
  • 不错

    2019-07-17 21:21:06
    赞同 展开评论 打赏
  • 这是一条测试数据~~~

    2019-07-17 21:21:06
    赞同 展开评论 打赏
  • 555555


    vVB你

    2019-07-17 21:21:06
    赞同 1 展开评论 打赏
  • 2019-07-17 21:21:05
    赞同 展开评论 打赏
  • ODPS


    MaxCompute

    2019-07-17 21:21:05
    赞同 展开评论 打赏
  • 111

    太给力了

    2019-07-17 21:21:05
    赞同 展开评论 打赏
滑动查看更多
问答排行榜
最热
最新

相关电子书

更多
阿里云MaxCompute百问百答 立即下载
大数据处理-原理和MaxCompute实践 立即下载
MaxCompute重磅发布 立即下载