StarRocks Connector通过实现External Catalog机制，无需数据导入或创建外部表即可无缝访问MaxCompute数据源，并执行复杂的SQL查询，提升了数据分析效率并降低了运维难度和成本。本文为您介绍如何通过StarRocks Connector访问MaxCompute。...
df=md.read_odps_table("parted_odps_table",partitions=["pt1=20240119,pt2=10"],index_col=["idx_col"])如果需要将预处理的中间数据存储到MaxCompute表中，可以使用 to_odps_table 方法。df.to_odps_table("output_table_name").execute...
使用SQL查询 您可以在 使用SQL分析连接 的查询模式下执行各种SQL命令和授权命令，与在 使用客户端（odpscmd）连接 的执行结果等效。您还可以切换到分析模式使用Web Excel强大而丰富的分析功能分析查询结果。更多SQL查询的操作指导请参见 ...
使用DataWorks连接MaxCompute有如下方式：数据分析的 SQL查询 功能：实现编辑MaxCompute SQL、查询数据、分析数据（电子表格）、在线分享数据及下载数据等功能。SQL查询功能详情请参见 SQL查询。数据开发的MaxCompute任务节点：DataWorks将...
本文为您介绍使用MaxCompute SQL开发过程中会使用的其它常用命令。计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定最终会扫描多少个分区，该场景下...
解决方案 建议的方案是修改query：1）当其中join的一张表是小表时，可以设置odps.sql.allow.cartesian值为true或者补充join的关联条件来解决。2）当join的表都是大表时，不推荐odps.sql.allow.cartesian设置为true，会发生数据膨胀。建议...
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的 create_function()方法来创建函数。DELETE FUNCTION：删除函数。您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在...
使用限制 本文中的命令您可以在如下工具平台执行：MaxCompute客户端 MaxCompute Studio 使用SQL分析连接 命令格式 list users;相关命令 ADD USER：向MaxCompute项目空间添加阿里云用户或RAM用户。REMOVE USER：当一个用户离开MaxCompute...
设置当前处理模式为严格模式，集团内部的flag是odps.sql.udf.strict.mode=true，中国公共云对应的flag是odps.function.strictmode odps>set odps.sql.udf.strict.mode=true;错误，因为输入数据'-'不能cast成bigint而且当前工作在strict模式...
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数，也可以使用函数对象调用drop方法删除函数。使用示例 o.delete_function('test_function')function.drop()#Function对象存在时直接调用drop方法。...
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 MaxCompute Studio 使用SQL分析连接 命令格式 add user;参数说明 参数名称 是否必填 说明 user_name 是 待添加阿里云账号或RAM用户账号信息。格式如下：阿里云账号：ALIYUN$...
返回固定格式的字符串，单词之间以空格分隔，转换后的格式为：字符串中每个单词首...使用示例-返回Odps Sql。SELECT initcap("oDps sql");相关函数 INITCAP函数属于字符串函数，更多查找字符串、转换字符串格式的相关函数请参见 字符串函数。
本文为您介绍如何通过日志服务的直接投递功能迁移日志数据至...执行如下语句在MaxCompute中查询表数据，检查日志投递结果。SELECT id,name,salenum,dt FROM loghub WHERE substr(dt,1,18)='2019_10_25';返回结果如下，说明投递成功。
MaxCompute数据类型版本 MaxCompute设置数据类型版本属性的参数共有3个：odps.sql.type.system.odps2：MaxCompute 2.0数据类型版本的开关，属性值为True或False。odps.sql.decimal.odps2：MaxCompute 2.0的Decimal数据类型的开关，属性值为...
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
解决方案 若您需要开通表结构变更（Schema Evolution），请运行 setproject odps.schema.evolution.enable=true;命令，需要等待10分钟后才会生效，更多表结构变更点击参考 分区和列操作。错误2：ODPS-0110061:Failed to run ddltask-Modify...
您可以编写自定义函数并在MaxCompute SQL中使用入口对象的delete_function()方法来删除函数。DROP FUNCTION：在MaxCompute项目中注销已注册的自定义函数。DESC FUNCTION：查看MaxCompute项目中指定自定义函数的信息，包含函数名称、所有者...
使用如下命令在Spark的 bin 目录下启动Spark SQL客户端：cd$SPARK_HOME/bin spark-sql 使用Spark SQL客户端执行命令示例如下：查询MaxCompute项目中存在的表：SHOW tables in odps.doc_test;doc_test 为示例MaxCompute项目名称，实际运行时...
示例 使用Java SDK提交SQL时，不能简单地把Set Flag语句直接放到SQL查询中执行。设置Flag的正确方式如下。String sql="SELECT.;HashMap,String>hints=new LinkedHashMap,String>();hints.put("SQL flag name,e.g.odps.sql.type.system.odps...
说明 在MaxCompute SQL中，getdate 总是返回一个固定的值。返回结果会是MaxCompute SQL执行期间的任意时间，时间精度精确到秒。如果开启了新数据类型2.0，时间精度精确到毫秒。相关函数 GETDATE函数属于日期函数，更多日期计算、日期转换的...
默认下载100条数据，如果需要更多数据测试，请在MaxCompute客户端使用Tunnel命令或者MaxCompute Studio的表下载功能下载数据。下载完成后，您可以在 warehouse 目录下该表的 data 文件中看到下载的示例数据。本地运行框架会根据您指定的列...
错误码：ODPS-0123144:Fuxi job failed 错误1：kInstanceMonitorTimeout(errCode:252)at Odps/xxx/xxx.Detail error msg:CRASH_EXIT,usually caused by bad udf performance.错误信息 ODPS-0123144:Fuxi job failed-...
CURRENT_TIMESTAMP函数为MaxCompute 2.0扩展函数，支持获取数据库...set odps.sql.type.system.odps2=true;select current_timestamp();相关函数 CURRENT_TIMESTAMP函数属于日期函数，更多日期计算、日期转换的相关函数请参见 日期函数。
当MaxCompute项目打开2.0新数据类型开关（odps.sql.type.system.odps2=true）时，存在隐式转换被禁用的风险，您可以关闭2.0新数据类型开关（odps.sql.type.system.odps2=false）。在MaxCompute中创建表的方式有哪些？您可以通过如下方式...
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 MaxCompute Studio 使用SQL分析连接 命令格式 remove user;参数说明 user_name：必填。待删除阿里云用户或RAM用户账号信息。阿里云账号格式为 ALIYUN$@aliyun.com;RAM用户账号格式...
MaxCompute SQL外部表的方式访问Hologres，详情请参见 MaxCompute SQL外部表方式访问Hologres。MaxCompute Spark方式访问Hologres，如下所示。MaxCompute Spark访问Hologres：Local提交模式。MaxCompute Spark访问Hologres：Cluster提交...
type mismatch for column xx of UNION,left is YY while right is ZZ 错误信息示例 ODPS-0130241:[m,n]Illegal union operation-type mismatch for column xx of UNION,left is YY while right is ZZ 问题描述 两个表进行union操作的时候...
odps.output.field.formatter 设置SQL查询结果的动态脱敏规则。更多动态脱敏信息，请参见 数据动态脱敏。自定义的动态脱敏规则。odps.isolation.session.enable 设置是否在单Session级别开启动态脱敏。更多动态脱敏信息，请参见 数据动态...
MaxCompute表无Download权限 报错信息 解决方法 在DataWorks的 数据地图 中搜索对应的MaxCompute表，并申请开通其Download权限，运行时则可以下载相应的数据。MaxCompute表无Describe、Select等权限 报错信息 解决方法 申请对应Project下的...
典型场景 创建作业：创建ODPS SQL节点、数据传输作业：数据集成、数据分析作业。查看作业运行信息：使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源...
MaxCompute支持脚本模式SQL（Script Mode SQL）。使用脚本模式时，一个多语句的SQL脚本文件将被作为一个整体进行编译、提交并生成一个执行计划，保证只需排队、执行一次，保障充分利用资源。使用MaxCompute Studio开发SQL程序时即使用了...
2、分析型数据库目前仅允许操作者导入自身为 Project Owner 的 MaxCompute Project 中，或者操作者是 MaxCompute 表的 Table Creator 的数据。3、如果用户的 MaxCompute 开启了保护模式的功能(set projectProtection=true)，数据无法以任何...
本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用命令行（odpscmd）连接 使用DataWorks连接 MaxCompute Studio show flags 显示set命令设置的属性。set 对当前Session设置MaxCompute系统变量。MaxCompute也...
说明 MaxCompute的行为实现优先以函数中 mapDupKeyPolicy 的取值为准，当函数未配置 mapDupKeyPolicy 时，以 odps.sql.map.key.dedup.policy 参数的取值为准。a、b：必填。MAP对象。多个MAP对象的参数数据类型必须一致。map,V>中的 K、V ...
准备环境及安装工具 使用MaxCompute客户端连接服务时，报错ODPS-0410031，如何解决？MaxCompute Studio支持集成安装的平台有哪些？DataWorks与MaxCompute的区别是什么？MaxCompute是数据仓库，负责存储数据或对数据进行一系列的开发和运算...
创建方式 平台 基于MaxCompute SQL创建OSS外部表 MaxCompute客户端 使用控制台（查询编辑器）连接 DataWorks控制台-ODPS SQL节点 MaxCompute Studio-SQL程序 以可视化方式创建OSS外部表 MaxCompute Studio-SQL程序 DataWorks控制台-外部表 ...
返回+-+|_c0|+-+|0.8212525247695169|+-+说明 参数 odps.sql.executionengine.enable.rand.time.seed=true 只对不输入参数生效，如果加入了参数，默认参数值 false。相关函数 RAND函数属于数学函数，更多数据计算、数据转换的相关函数请...
MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言，其语法类似于标准SQL，但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具...
在表名上单击右键，选择 Find usages，可以查询表被脚本引用的情况。查看函数详细信息 在 Functions 节点树中，单击 UserDefined 节点，可以查看您创建的函数。说明 Functions 节点树的 BuiltIn 节点下分类显示系统的内建函数，双击即可...
创建MaxCompute项目空间后，您需要进入项目空间才可以执行后续开发、分析、运维等一系列操作。工具平台 本文中的命令您可以在 MaxCompute客户端、云命令...ALL 安全与权限 Project odps.output.field.formatter 设置SQL查询结果的动态脱敏规则...