odps.sql.unstructured.oss.commit.mode 属性设置不同取值时的实现原理如下：取值为False：MaxCompute写入到OSS外部表的数据，会存储在 LOCATION 目录下的.odps 文件夹中。odps 文件夹中维护了一个.meta 文件，用于保证MaxCompute数据的...
ODPS MaxCompute SDK的入口，您可通过此类来获取项目空间下的所有对象集合，包括 Projects、Tables、Resources、Functions、Instances。您可以通过传入AliyunAccount实例来构造MaxCompute对象。代码示例如下。阿里云账号AccessKey拥有所有...
import os import maxframe.dataframe as md from odps import ODPS from maxframe import new_session#创建MaxCompute入口 o=ODPS(#确保 ALIBABA_CLOUD_ACCESS_KEY_ID 环境变量设置为用户 Access Key ID，#ALIBABA_CLOUD_ACCESS_KEY_...
在操作系统中，您可以通过Shell非交互式运行MaxCompute SQL：使用 odps-f filename 方式，读取并处理SQL文件。如果运行SQL，Filename文件的第一行是 SQL 表示已经进入SQL模式。命令示例如下。SQL select.from table_name where xxx;如果只...
问题现象 如果您购买了MaxCompute服务，在项目中执行相应的MaxCompute SQL语句时，您可能会收到以下的报错信息...相关参考 开通MaxCompute 创建MaxCompute项目 报错FAILED:ODPS-0420095:Access Denied-The task is not in release range:Merge
PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作及DataFrame框架，帮助您在MaxCompute上使用Python进行数据分析，支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时，如何安装PyODPS。前提...
v2 spark.hadoop.odps.cupid.container.image.enable=true spark.hadoop.odps.cupid.container.vm.engine.type=hyper spark.hadoop.odps.moye.trackurl.host=http://jobview.odps.aliyun.comMaxCompute_project_name ：待访问MaxCompute项目...
问题现象 在您使用MaxCompute过程中，当您尝试执行下面的SQL语句来合并小文件：set odps.merge.cross.paths=true;set odps.merge.max.partition.count=100;默认优化10个分区，此时设置为优化100个分区。ALTER TABLE 表名[partition]MERGE ...
例如，Session级别使用MaxCompute 2.0数据类型时，需要在涉及2.0数据类型的SQL前加设置Flag的语句 set odps.sql.type.system.odps2=true;示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式...
UDF（User-Defined Function）即自定义函数，当MaxCompute提供的内建函数无法支撑您的业务实现时，您可以根据本文中的开发流程及使用示例，自行编写代码逻辑创建自定义函数，以满足多样化业务需求。背景信息 广义的UDF定义是 自定义标量...
MaxCompute Volume未授权 报错信息[403]com.aliyun.odps.OdpsException:ODPS-0420095: Access Denied - Volumes is not allowed in project config. at com.aliyun.odps.rest.RestClient.handleErrorResponse(RestClient.java:382)at ...
格式为 jdbc:odps:<Maxcompute_endpoint>?project=<Maxcompute_project_name>[&interactiveMode={true|false}]。配置时删除符号。参数说明如下：<MaxCompute_endpoint>：必填。MaxCompute项目所属区域的Endpoint。各地域的Endpoint信息，请...
新建MaxCompute PyODPS脚本后，PyODPS脚本模板会通过PyODPS Room自动初始化 odps 和 o 两个对象。通过DataWorks开发PyODPS脚本时，系统会自动创建Room。通过IntelliJ IDEA开发PyODPS脚本时，需要创建Room，详情请参见 PyODPS文档。
创建完成的External Volume在MaxCompute中的路径为：odps:/[project_name]/[volume_name]，其中 project_name 为MaxCompute项目名称；volume_name 为External Volume名称。Spark引擎和MapReduce任务等都可以使用External Volume在...
需配置以下配置项 spark.hadoop.
odps.project.name=<
MaxCompute_Project_Name>spark.hadoop.
odps.end.point=<Endpoint>spark.hadoop.
odps.runtime.end.point=<VPC_Endpoint>spark.hadoop.
odps.access.id=<AccessKey_ID>spark.hadoop.
odps....
本文为您介绍当MaxCompute项目开启白名单功能时，如何添加、查看、修改、关闭经典网络和VPC网络的IP白名单及场景。仅Project Owner和Super_Administrator角色以及自定义的包含IP白名单管理相关权限的项目管理类角色有权限执行此操作。背景...
ALL 调度 Session odps.stage.num 修改MaxCompute指定任务下所有Worker的并发数，优先级低于 odps.stage.mapper.split.size、odps.stage.reducer.num 和 odps.stage.joiner.num 属性。说明 SQL语句中使用Limit，会限制Limit作用的Worker单...
Odps odps=new Odps(account);odps.setEndpoint(odpsEndpoint);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);默认情况下，不需要设置Tunnel Endpoint，可以通过Endpoint自动路由。只有少数场景（比如...
本文为您介绍如何使用MaxCompute Java SDK输出错误日志。接口说明 MaxCompute Java SDK提供了抽象类RetryLogger，详情请参见 SDK Java Doc。public static abstract class RetryLogger {/*当RestClient发生重试前的回调函数*@param e*错误...
MaxCompute通过TPC-DS官方工具生成了10GB、100GB、1TB、10TB四个规格的TPC-DS数据，此数据方便您在做产品测试时使用。本文为您介绍MaxCompute公开数据集中TPC-DS数据的基本信息，以及如何通过MaxCompute执行TPC-DS数据查询。简介 TPC ...
DataWorks为您提供ODPS SQL节点，可用于周期性调度MaxCompute的SQL任务，并完成与其他类型节点的集成和联合调度。MaxCompute SQL任务采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景。本文为您介绍在DataWorks...
在MaxCompute Studio的本地.\IdeaProjects\MaxCompute_Studio_Project_Name\scripts 文件夹下新建一个MaxCompute的连接配置文件 odps_config.ini，文件中包含MaxCompute连接的鉴权信息，示例如下。连接的MaxCompute项目名称。project_name=...
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
odps.setEndpoint(odpsUrl);odps.setDefaultProject("doc_test_dev");try { String out=odps.projects().get("doc_test_dev").getSecurityManager().runQuery("show grants for ALIYUN$@test.aliyunid.com;true);System.out.print("out:...
当您期望某些用户只可以查看MaxCompute项目中隐藏关键信息的敏感数据时，您可以开启MaxCompute动态脱敏功能，在数据访问或展示时实时隐藏或替换敏感数据，以防止敏感数据泄露。本文为您介绍如何开启MaxCompute动态脱敏功能，并提供参考示例...
说明 参数设置可参见MaxCompute客户端中 conf/odps_config.ini 的设置，上述为几个常用参数，其他参数说明如下：odps.runner.mode：取值为 local，本地调试功能必须指定。odps.project.name：指定当前Project，必须指定。odps.end.point：...
set odps.sql.type.system.odps2=true 常见问题 如何查看MaxCompute JDBC驱动的日志？MaxCompute JDBC驱动的日志默认放在驱动JAR包所在的同级目录下，文件名为 jdbc.log。如果代码与驱动打包为一个Uber JAR，日志将会在Uber JAR所在的同级...
本文为您介绍使用MaxCompute内建函数过程中常见的错误码，帮助您了解错误码的产生原因，并提供对应的解决措施。常见内建函数错误码如下：ODPS-0130071:Semantic analysis exception-X type is not enabled in current mode ODPS-0130221:...
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
向MaxCompute项目空间添加阿里云用户或RAM用户。使用限制 添加RAM用户时，MaxCompute只允许阿里云主账号将自身的RAM用户加入到项目空间中，不允许加入其它阿里云账号的RAM用户。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 ...
准备Policy脚本，并放置文件在MaxCompute客户端文件所在的 bin 目录下，脚本文件名称为 policy_1.json、内容如下：{"Statement":[{"Action":["odps:List","odps:CreateTable","odps:CreateInstance","odps:CreateResource","odps:...
需要配置的URL格式如下所示：jdbc:
odps:<
MaxCompute_endpoint>?project=<MaxCompute_project_name>&accessId=<AccessKey ID>&accessKey=<AccessKey Secret>&charset=UTF-8&interactiveMode=true&autoSelectLimit=1000000000"参数说明如下。...
ApplicationName=MaxCompute&[currentSchema=<schema>&][useSSL={true|false}&]table=<holo_table_name>/>' tblproperties('mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver','odps.federation.jdbc.target.db.type'='holo',['...
MaxCompute提供用户自定义函数（UDF）及Python（PyODPS和MaxFrame）开发能力，本文为您介绍如何在MaxCompute UDF、PyODPS及MaxFrame作业开发中使用镜像。在SQL UDF开发中 使用镜像 以下以使用Pandas实现一个列求和的UDF为例，为您介绍如何...
例如报错为 You have no privilege 'odps:CreateInstance' on {acs:odps:*:projects/maxcompute_dev}，则需要maxcompute_dev项目的所有者为执行人授予Project的CreateInstance权限。更多授权信息，请参见 MaxCompute权限。ODPS-0420111:Not...
MaxCompute本地客户端（odpscmd）直接在您的本地计算机上运行，提供了一个简单且高效的方式来执行命令和管理MaxCompute服务。本文为您介绍如何安装并启动MaxCompute客户端，启动成功后即表示已经登录MaxCompute客户端并进入MaxCompute项目...
hgprecn-cn-5y*-cn-hangzhou-internal.hologres.aliyuncs.com:80/test?ApplicationName=MaxCompute¤tSchema=public&useSSL=false&table=mc_2_holo/' stored by 'com.aliyun.odps.jdbc.JdbcStorageHandler' with serdeproperties('odps....
MaxCompute Studio的默认设置是本地用户目录下的.odps.studio\meta 目录。Table preview rows：表的最大预览行数。本地作业保存目录：MaxCompute Studio作业的本地保存路径。MaxCompute Studio的默认设置是本地用户目录下的.odps.studio\...
Odps odps=new Odps(account);odps.setEndpoint(odpsEndpoint);odps.setDefaultProject(project);try { TableTunnel tunnel=new TableTunnel(odps);tunnel.setEndpoint(tunnelEndpoint);ExecutorService pool=Executors.newFixedThreadPool...
UDAF代码结构 您可以通过IntelliJ IDEA（Maven）或 MaxCompute Studio 工具使用Java语言编写UDAF代码，代码中需要包含如下信息：Java包（Package）：可选。您可以将定义的Java类打包，为后续查找和使用类提供方便。继承UDAF类：必选。必须...