说明 DDL语句中定义的字段需要与MaxCompute物理表中的字段名称、顺序以及类型保持一致，否则可能导致在MaxCompute物理表中查询的数据为/n。命令示例如下：create table odps_output(id INT,user_name VARCHAR,content VARCHAR)with(type='...
具体ODPS SQL命令如下：vfs-ls/;该命令会输出前缀为'proxima_v2/xxx'的目录 vfs-rm-r-f/proxima_v2/xxx;删除该目录（与runLog里面打印的Volume目录一致）。与下述命令二选一 vfs-rmv/proxima_v2;删除整个Volume。与上述命令二选一 报错 ...
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
当MaxCompute提供的内建函数无法满足您的业务需求时，您可在MaxCompute Studio中自行开发UDF（自定义函数）以实现业务功能，本文介绍如何使用MaxCompute Studio开发及调试Java UDF。前提条件 您需要完成以下操作：管理项目连接 创建...
本文为您介绍如何使用MaxCompute Studio开发Graph，包括编写Graph、调试Graph、打包上传和运行Graph。前提条件 您需要完成以下操作：管理项目连接 创建MaxCompute Java Module 编写Graph 在 Project 区域，右键单击Module的源码目录（即 ...
在 数据来源 下拉列表中选择数据源类型为 MaxCompute(ODPS)，并选择创建好的MaxCompute 数据源名称。选择独享数据集成资源组。选择已创建的独享数据集成资源组，详情请参见 新增和使用独享数据集成资源组。选择数据去向。在 数据去向 下拉...
项目所有者或具备项目级Super_Administrator角色的用户 MaxCompute客户端 使用SQL分析连接 使用DataWorks连接 set CheckPermissionUsingPolicy={true|false};激活或冻结 Policy权限控制功能。默认为激活状态。set ...
步骤四：通过MaxCompute读取Paimon外部表 使用本地客户端（odpscmd）或其他可以运行MaxCompute SQL的工具，执行以下命。SET odps.sql.common.table.planner.ext.hive.bridge=true;SET odps.sql.hive.compatible=true;执行以下命令，查询...
MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中，也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel，因此要求MaxCompute ...
可以尝试使用MaxCompute的SQL UDF过滤出doc表和query表中的问题数据。多类目情况下，某个类目doc数目为0，query数目不为0导致的jni调用异常 报错信息 解决方法 这种情况被认为是用户输入问题，在设计时发现这样的情况时通过报错终止来提示...
True df.quote ODPS SQL后端是否用 `` 来标记字段和表名。True df.libraries DataFrame运行使用的第三方库（资源名）。None df.supersede_libraries 使用自行上传的NumPy替换服务中的版本。False df.odps.sort.limit DataFrame有排序操作时...
您可以在如下工具平台执行这些命令：MaxCompute客户端 使用SQL分析连接 使用命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 移除可信项目 在当前项目中删除已添加的可信的项目。查看可信项目 在当前项目中查看已添加的可信的...
背景信息 SQL Workbench/J是一个免费的、独立于DBMS（Database Management System）的、跨平台的SQL查询工具。SQL Workbench/J采用Java语言编写，可以在任何提供Java运行环境的操作系统上运行。前提条件 在执行操作前，请确认您已满足如下...
本文为您介绍如何通过DataHub迁移日志数据至MaxCompute。前提条件 授权访问MaxCompute的账号已开通以下权限：MaxCompute中项目的CreateInstance权限。MaxCompute中表的查看、修改和更新权限。授权操作详情请参见 MaxCompute权限。背景信息 ...
在MaxCompute与阿里云Lindorm服务间的网络处于连通状态时，MaxCompute支持您通过创建外部表来关联Lindorm表。使用Lindorm外部表，可以将Lindorm表中的数据同步到MaxCompute进行后续ETL处理，也可以关联Lindorm表进行联邦计算，或将...
通过 使用本地客户端（odpscmd）连接 或其他可以运行MaxCompute SQL的工具，执行如下命令，查询数据写入结果。set odps.sql.allow.fullscan=true;select*from table_text;返回结果如下：#这里由于我们odps-sink-connector.json配置文件中的...
详细的表结构与内容介绍请参见 TPC Benchmark™ DS(TPC-DS)。声明 MaxCompute公开数据集中的TPC-DS的数据生成与分析基于TPC-DS的基准测试，并不能与已发布的TPC-DS基准测试结果相比较，因为通过MaxCompute公开数据集进行的测试并不符合TPC-...
本文将介绍如何在本地环境上使用PyODPS进行表操作、数据加载和运行SQL查询。前提条件 本地已安装python环境，且已安装PyODPS包，参考：安装PyODPS。准备数据集 pyodps_iris。您可参考 使用示例 下载数据集、创建 pyodps_iris 表并写入数据...
如果您不再需要示例数据或MaxCompute项目，可以删除数据或MaxCompute项目，以免产生不必要的资源浪费及账单费用。本文为您介绍如何删除表或MaxCompute项目。背景信息 您可以根据实际需要判断是否要保留示例数据及MaxCompute项目：如果需要...
公共数据集DEMO MaxCompute SQL分析内置的公共数据集Demo Query文件，您可以直接打开运行，也可以临时编辑并运行，但不支持保存您编辑的内容，即使保存刷新页面也会回到原始内容，请自行保存修改后的文件内容。内置的Demo主要基于公共数据...
客户端配置文件odps_config.ini中需要配置AccessKey信息，详情请参见 安装并配置MaxCompute客户端。方式三：借助SDK基于AccessKey访问MaxCompute项目空间。详情请参见 Java SDK 或 Python SDK。说明 由于阿里云账号的AccessKey泄露会对整个...
通过 MaxCompute客户端、命令行（odpscmd）、MaxCompute SQL分析、使用DataWorks连接 或 MaxCompute Studio，运行权限查询相关命令，在命令行执行窗口直观展示权限查询结果。支持查询的权限 MaxCompute支持您通过Java SDK查询以下权限信息...
SELECT odps_orderkey,odps_orderdate,SUM(odps_totalprice)AS sum_total FROM ots_table_external WHERE odps_orderkey>5000 AND odps_orderkey< 7000 ANDodps_orderdate>='1996-05-03' AND odps_orderdate< '1997-05-01' GROUP BYodps_...
说明 创建MaxCompute SQL脚本时，Studio会提示您选择一个关联的MaxCompute项目，您也可以通过SQL编辑器上的工具条最右侧的 项目选取器 进行更改，编辑器会根据SQL脚本关联的项目对SQL语句自动进行元数据（比如表结构等）的检查并汇报错误，...
本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是...
查询外部表Tablestore数据慢 问题现象 查询外部表Tablestore的数据慢，同样的业务数据，1个实时写入Tablestore，1个定时写入MaxCompute，两个表结构和数据量一样。查询MaxCompute内部表耗时远小于查询Tablestore外部表。解决措施 这种情况...
不涉及 数据管理 查看表列表 MaxCompute控制台（新版）MaxCompute客户端 MaxCompute Studio 支持 项目所有者 支持 MaxCompute角色：MaxCompute内置的角色及自定义的具备查看表列表操作权限的角色。不涉及 创建表 MaxCompute客户端 ...
本文为您介绍如何使用PyODPS对项目空间进行基本操作。项目空间是MaxCompute的基本组织单元，更多项目相关的介绍请参见 项目。前提条件：准备运行环境 PyODPS支持在DataWorks的PyODPS节点或本地PC环境中运行，运行前您需先选择运行工具并...
DataWorks的PyODPS节点中，将会包含一个全局变量 odps 或者 o，即为MaxCompute入口。您不需要手动定义MaxCompute入口。project=o.get_project('project_name')#指定项目空间时，获取特定项目。project=o.get_project()#不指定项目空间时，...
MaxCompute FROM_CHARSET支持将指定...MaxCompute SQL常见问题，详情请参见：DDL操作常见问题 DML操作常见问题 DQL操作常见问题 SQL其他常见问题 MaxCompute内建函数常见错误码和常见问题，详情请参见：内建函数常见错误码 内建函数常见问题
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
MaxCompute通过Tunnel实现上传下载数据功能。本文为您介绍如何通过Tunnel上传、下载数据。Tunnel操作详情请参见 Tunnel命令。Tunnel操作常用命令如下。类型 功能 角色 操作入口 上传数据 将本地文件的数据上传至MaxCompute的表中，以追加...
在使用MaxCompute开发过程中会产生费用，如果平时每日消费比较平稳，某段时间的费用增长翻倍。在排除业务增长的情况下，可以进行费用分析，排查导致费用突增的项目、作业是哪些，进而及时优化和调整作业，优化成本。本文为您介绍如何结合...
本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
创建好的外部表可以像普通的MaxCompute表一样使用（大部分场景），充分利用MaxCompute SQL的强大计算功能。说明 使用外部表功能时，外部表的数据不会复制一份存在MaxCompute上并产生存储费用。外部表支持全量搜索。Tunnel功能及Tunnel SDK...
PyODPS是MaxCompute的Python版本的SDK，提供对MaxCompute对象的基本操作及DataFrame框架，帮助您在MaxCompute上使用Python进行数据分析，支持在DataWorks或本地环境上使用。本文为您介绍在本地环境上使用PyODPS时，如何安装PyODPS。前提...
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio 删除用户 从MaxCompute项目空间中删除阿里云用户或RAM用户。查看用户列表 查看MaxCompute项目...
sequence 函数默认生成的元素数量上限为 10000，可以通过设置 odps.sql.max.sequence.length Flag值改变元素数量上限。示例 SELECT sequence(1,5);返回结果如下：[1,2,3,4,5]SELECT sequence(5,1);返回结果如下：[5,4,3,2,1]SELECT ...
DataWorks支持您可视化创建与管理MaxCompute自定义函数，您可通过 MaxCompute的SQL命令创建与管理MaxCompute函数，也可使用DataWorks的可视化方式注册。本文为您介绍如何使用DataWorks可视化方式创建与使用MaxCompute自定义函数。前提条件 ...
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...