开发者社区> 问答> 正文

MaxCompute百问集锦

750_250

大数据计算服务(MaxCompute,原名 ODPS)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。同时,大数据开发套件和MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,可以参见大数据开发套件简介来对其进行深入了解。本文为大家整理了关于MaxCompute的系列问题供大家查阅参考。

购买及产品咨询

StreamCompute和MaxCompute中的datahub区别?
https://yq.aliyun.com/ask/54575

请问华南的ecs和华东的MaxCompute内网互通吗?
https://yq.aliyun.com/ask/54282

我最近都没有进行maxcompute的计算, 为啥最近的4个月都有扣费操作的?
https://yq.aliyun.com/ask/54068

MaxCompute(原odps)是否支持快照,changelog的设置方式是什么,如果有文档请发一下。
https://yq.aliyun.com/ask/53651

现在的数加平台,大数据MaxCompute(原ODPS)怎么不能查看每条sql执行的费用,我需要提前知道每个sql的费用?
https://yq.aliyun.com/ask/53661

你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?
https://yq.aliyun.com/ask/53285

到MaxCompute即将到期的短信,续费入口在哪里?
https://yq.aliyun.com/ask/54330

大数据计算服务MaxCompute(原ODPS)的扣费是因为项目未删除吗? 想将账号内大数据的几个项目全部删除,删除失败,能否帮忙删一下。
https://yq.aliyun.com/ask/54294

MaxCompute这里的生命周期是什么用,就是数据只能最多保存365天,然后就会清空? 如果是,这个时间能无限吗?
https://yq.aliyun.com/ask/54186

在maxCompute的大数据开发套件的服务中,UDF 能不能支持python写的脚本?
https://yq.aliyun.com/ask/53652

我看MaxCompute 的产品介绍上面提到了有restful 的接口, 以及jdbc连接方式,但是没有看到相关的文档,请问是否可以帮忙提供一下文档?
https://yq.aliyun.com/ask/53640

请问如何管理之前在MaxCompute中添加的云账号权限?
https://yq.aliyun.com/ask/53143

MaxCompute有成型的灾备解决方案么?
https://yq.aliyun.com/ask/53032

如何开通MaxCompute 2.0?
https://yq.aliyun.com/ask/40953

如何注销MaxCompute(ODPS)服务?
https://yq.aliyun.com/ask/16464

新创建的项目:rec_data 付款后一直没有生成,什么问题。
https://yq.aliyun.com/ask/54183

为什么开发MaxCompute?和类似的开源项目有啥异同?
https://yq.aliyun.com/ask/41916

maxcompute听起来很强大,会不会有lock-in问题?
https://yq.aliyun.com/ask/39752

开通MaxCompute 包月付费后,执行SQL是否还会产生费用 ?
https://yq.aliyun.com/ask/15165

本身MaxCompute是为了几千/几万台机器规模开发的大规模分布式系统,最小化部署大概什么规模呢?
https://yq.aliyun.com/ask/39755

使用部署问题

maxCompute 批量Insert问题
https://yq.aliyun.com/ask/53916

在MaxCompute(原 ODPS)里运行sql命令,怎么能下载超过一万行的数据?
https://yq.aliyun.com/ask/53637

你好,目前我们往maxcompute上传的数据都是结构的表数据,是我们在本地服务器对用户的行为日志分析后提取到的所需信息,在将这些结构化的数据上传到maxcompute。
https://yq.aliyun.com/ask/53308

数据服务器rds在华北2地区,但是maxcompute 现在在华东2区,不能实现我们的需求功能,但是需要海量数据的快速读取,有没有其他方案能够解决?谢谢!
https://yq.aliyun.com/ask/53606

MaxCompute筛检重复数据,将新数据存储到mysql数据库中
https://yq.aliyun.com/ask/53344

请问MaxCompute Java SDK中没有对数据批量上传的接口吗?
https://yq.aliyun.com/ask/53142

MaxCompute Studio插件无法提交sql脚本
https://yq.aliyun.com/ask/52001

我们的MYSQL数据库在ECS服务器上,不是RDS,ECS上使用了安全组,只允许内网访问以及特定的IP的访问。 现在要通过MaxCompute中建立数据源,连接上MYSQL,但是 通过不了连接测试。 请问该在mysql的ECS安全组上进行怎样的设置? 比如设置那些内网IP ?
https://yq.aliyun.com/ask/54339

今天凌晨开始,从华北2的只读RDS到MaxCompute的只读业务一直同步无法完成,进度到90%几之后就没有速度,所有调度都是这样,偶尔有能成功的,不知道是什么问题,麻烦看一下。附件为同步日志。
https://yq.aliyun.com/ask/54326

ip地址在maxcompute中可以解析成实际定位的使用地址吗(城市、省份)? 或者在阿里云别的服务中有这项功能吗? 例如获取的ip地址为125.79.232.213,可以输出定位的地址为福建南平。
https://yq.aliyun.com/ask/54292

maxcompute
https://yq.aliyun.com/ask/52394

我用了Itellij 的 maxCompute studio插件,现在我写了一个MR 程序,想在本地测一下,类似于eclipse ODPS插件那样,从云上的表里下载一些资源到本地的warehouse 做测试,但是我点开 studio的文档,mapreduce 的文档页面已经没有内容了,请问这种本地测试只能在 maxcompute java module中进行是吗,我建立的普通的module 或者 maven 里的module 里的MR程序是无法本地测试的是吗???
https://yq.aliyun.com/ask/54187

MaxCompute (原ODPS)tunnel上传数据报格式化错误。
https://yq.aliyun.com/ask/53662

MaxCompute2.0 Outputer和Extractor有什么关系,是干什么的,谁能说清楚?
https://yq.aliyun.com/ask/53655

MaxCompute (原odps)项目默认的分区最大值设置为60000,请问怎么更改这个默认值呢?
https://yq.aliyun.com/ask/53663

请问MaxCompute表的decimal怎么设置成保留2位小数,类似于decimal(16,2)方式。 比如0.04入库后成了0.040000000000000001
https://yq.aliyun.com/ask/53641

如果申请MaxCompute 和ADS,发现这两个产品不在一个Region里,一个在华东2,一个在华东如果数据传输maxcomputer->ads是否要开通高速通道? 怎么做?
https://yq.aliyun.com/ask/53664

MaxCompute SDK中insert偶尔报错,请问什么原因 com.aliyun.odps.OdpsException: ODPS-0110999: Critical! Internal error happened in commit operation and rollback failed, possible breach of atomicity - Rename directory failed during DDLTask
https://yq.aliyun.com/ask/53647

使用MaxCOmpute python SDK读取ODPS上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个odps连接,有没有可能是odps连接太多了?文档中没有发现如何关闭这个odps连接? 2. 在ODPS客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话,是不是可以先排除程序的问题?如下: Aliyun ODPS Command Line Tool Version 0.21.1 @Copy
https://yq.aliyun.com/ask/53658

MaxCompute有成型的灾备解决方案么?
https://yq.aliyun.com/ask/53138

你好,我们本地服务器每天采集的网站日志有10+G,然后上传至maxcompute,上传速度特别慢,请问有没有好的解决方法?谢谢!是tunnel upload,200k/s左右
https://yq.aliyun.com/ask/53310

如何在shell脚本中 将一个txt文件中的数据上传到 MaxCompute的某张表中, 把这两条命令组合成一条的办法吧 /odpscmd/bin/odpscmd tunnel upload "$FILE" project.table
https://yq.aliyun.com/ask/53289

请问一下,maxcompute2.0里面使用表格存储作为外部表,对这个外表做联合查询的时候是不是会必然扫OTS的全部记录?
https://yq.aliyun.com/ask/53291

数据怎么导入maxCompute中
https://yq.aliyun.com/ask/39743

请问max compute,我们要在云监控里面设置监控项吗,还是这个不用什么监控问题,谢谢!
https://yq.aliyun.com/ask/54217

vodps支持 正则匹配中文吗?
https://yq.aliyun.com/ask/54194

关于 odps.stage. 和odps.sql. 的设置,最好是全面的一些的,我们学习下,感谢!
https://yq.aliyun.com/ask/53315

大数据计算服务 > SDK > Java SDK
https://yq.aliyun.com/ask/49818

maxcompute 数据导出到本地Mysql
https://yq.aliyun.com/ask/38060

ODPS抛出异常,线上数据没有更新,异常信息如下:
https://yq.aliyun.com/ask/54382

常用场景有哪些?如何才能接入maxcompute的能力?
https://yq.aliyun.com/ask/39753

odps里面,我写了一个udf,java代码中的udf已经按照阿里云例子写的(继承了UDF),但是在odps sql里面调用的时候报错
https://yq.aliyun.com/ask/54387

MaxCompute SQL中的Select语句最多只能返回10000条结果么?
https://yq.aliyun.com/ask/16456

MaxCompute 做数据分析,自己编算法在哪里实现
https://yq.aliyun.com/ask/37639

odps之udf说明中,只支持udf和udtf两种形式,不知道可否支持udaf?
https://yq.aliyun.com/ask/51883

odps sql 子查询再联表查询时,报错!
https://yq.aliyun.com/ask/42700

在编写odps sql 如何获取当前时间
https://yq.aliyun.com/ask/40893

大规模计算平台研究与实战【精品问答集锦】
https://yq.aliyun.com/ask/41373

ODPS如何可以分析内容为JSON格式的字段?
https://yq.aliyun.com/ask/39157

在本地利用ODPS客户端,无法查询MAXCOMPUTER上的任何一张表,提示如下: Warning: ODPS request failed:Connection reset, retryCount:2, will retry in 130 seconds.
https://yq.aliyun.com/ask/53297

展开
收起
yq传送门 2017-06-13 08:18:04 7835 0
1 条回答
写回答
取消 提交回答
  •  你创建一个insert触发器,每当数据插入的时候判断一下是不是有你要删除的数据。 你还可以创建一个存储过程,然后再做一个作业任务,让 sql server 每多长时间删除一次。
    
    “答案来源于网络,供您参考”
    
    2019-09-24 18:59:57
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
阿里云MaxCompute百问百答 立即下载
大数据处理-原理和MaxCompute实践 立即下载
MaxCompute重磅发布 立即下载