1.组件介绍 说明 必要前置组件：无 利用本组件可以计算日期时间差 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置示例 在...
本文为您介绍实时计算Flink版支持的所有内置函数。支持的函数 Flink全托管VVR 3.0.0版本在Flink V1.12的基础上增加了部分内置函数，详情请参见 标量函数、表值函数 和 聚合函数。下表展示的是Flink全托管在Flink V1.15版本的基础上支持的...
概述 Dataphin某一时间开发环境在SQL计算任务中运行了一段SQL，如何查看该段SQL的运行记录。详细信息 在开发-运行记录页面可以查看资产数据预览、数据处理、建模数据预览以及OpenAPI数据查询的运行记录，记录以天为粒度进行划分。相关文档 ...
问题描述 Dataphin中SQL计算任务报错“ODPS partition exception-maximum 60000 partitions allowed”。问题原因 该限制为MaxCompute的限制，是MaxCompute侧抛出的错误。解决方案 1.适当删除分区。2.联系数据库侧同学评估是否可以修改最大...
MaxCompute为您提供了SQL计算功能，您可以在MaxCompute SQL中使用系统的 内建函数 完成一定的计算和计数功能。但当内建函数无法满足要求时，您可以使用MaxCompute提供的Java或Python编程接口开发自定义函数。内建函数：可以简化SQL查询的...
Hologres计算源：绑定Hologres计算源的项目，支持即席查询、Hologres SQL计算任务等功能。创建Hologres计算源，请参见创建Hologres计算源创建Hologres计算源 创建Hologres计算源。机器学习PAI：Dataphin对接了 机器学习PAI，为您提供了机器...
在 代码编写 页面，编写 ARGODB_SQL 计算任务的代码。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置...
在 代码编写 页面，编写 STARROCKS_SQL 计算任务的代码。代码编写完成后，单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行...
在 代码编写 页面，编写 INCEPTOR_SQL 计算任务的代码。检查代码。代码编写完成后，单击 预编译，系统帮助您检查编写的SQL代码的语法。单击页面上的 运行，运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数...
背景信息 HIVE_SQL计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引，进入 新建HIVE_SQL任务 对话框。编写并运行代码...
MaxCompute CURRENT_TIMEZONE函数可以获取当前系统的时区信息。本文为您介绍CURRENT_TIMEZONE函数的命令格式和使用示例。...相关函数 CURRENT_TIMEZONE函数属于日期函数，更多日期计算、日期转换的相关函数请参见 日期函数。
在 代码编写 页面，编写 ADB_PG_SQL 计算任务的代码。说明 编辑代码时，若需在表名或列名外使用双引号，则表名或列名仅支持小写。双引号内使用大写的项目名，则忽略引号，当做大小写不敏感处理。检查代码。代码编写完成后，单击 预编译，...
Persist Plan示例 计算SQL参数化后的Pattern&Sign 针对以下SQL计算其对应的Pattern和Sign值，示例如下：PARAMETERIZE SELECT t1.c1 FROM t1 INNER JOIN t2 ON t1.c1=t2.c1 WHERE t1.c2;执行命令的结果如下：sign sql 2506ed2c1f53ea59a1ef...
本文将通过示例，为您介绍导出MaxCompute SQL计算结果的方法。说明 本文中所有SDK部分仅以Java举例。概述 您可以通过以下方法导出SQL的运行结果：如果数据比较少，请使用 SQL Task 得到全部的查询结果。如果需要导出某个表或者分区，请使用...
借助Calcite能力，提供了丰富的SQL计算分析能力，更多信息，请参见 calcite官方手册。详情，请参见 SQL语法参考。SQL查询支持的访问方式 SQL查询支持Java Native SDK、JDBC Driver、HTTP SQL API。访问方式 适用场景 描述 具体操作 Java ...
返回日期为当年中的第几天。命令格式 int dayofyear(datetime|timestamp|date|string)参数说明 date：必填。DATETIME、TIMESTAMP、DATE或STRING...相关函数 DAYOFYEAR函数属于日期函数，更多日期计算、日期转换的相关函数请参见 日期函数。
优化SQL语句中的查询条件，将部分SQL计算任务下推到多元索引执行。关于计算下推的更多信息，请参见 计算下推。The sql duration time exceed the quota!Quota is 30 seconds SQL运行超时。通过多元索引加速查询。如果查询中包括聚合函数...
返回当前系统日期与时间。命令格式 datetime NOW()返回值说明 返回DATETIME类型，格式为 ...返回结果如下：+-+|_c0|+-+|2023-06-13 10:53:53.899|+-+相关函数 NOW函数属于日期与时间函数，更多日期计算、日期转换的相关函数请参见 日期函数。
返回日期的星期值。命令格式 int dayofweek(datetime|timestamp|date|string)参数说明 date：必填。DATETIME、TIMESTAMP、DATE或STRING类型日期值...相关函数 DAYOFWEEK函数属于日期函数，更多日期计算、日期转换的相关函数请参见 日期函数。
计算引擎 MaxCompute为您提供MaxCompute SQL计算引擎和CUPID计算平台。MaxCompute SQL引擎：可直接运行MaxCompute SQL任务。MaxCompute SQL任务的命令及函数语法要求及开发示例可参见 开发参考：SQL。CUPID计算平台：可运行Spark任务、Mars...
每一个实例对原始数据进行SQL计算并将计算结果写入目标库。实例ID：实例的唯一标识。创建时间：实例的创建时间。一般是按照您配置的调度规则生成，在补运行或追赶延迟时会立即生成实例。执行时间：实例开始执行的时间。如果重试任务，则...
SQL客户端用于批流的SQL计算，其中emr-datasources_shaded_*.jar为准备工作中下载的EMR最新版SDK包。streaming-sql-driver-class-path emr-datasources_shaded_*.jar-jars emr-datasources_shaded_*.jar-master yarn-client-num-executors ...
函数 polar_sql_id 用于计算SQL语句被模板化后的ID值，该ID值是由13位32进制字符组成的字符串，在SQL Trace中，通过该ID值来标识模板化后的SQL语句。语法 polar_sql_id('<query>')参数 参数名称 描述 query 具体的SQL语句。示例 计算SQL...
皮尔森相关系数是基于每个变量的均值和标准差计算出来的，其计算公式如下：r=(cov(X,Y))/(std(X)*std(Y))其中，cov(X,Y)表示X和Y的协方差，std(X)和std(Y)分别表示X和Y的标准差。在联邦学习任务中，CORR是通过联邦建模来实现的，可以保证...
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
若后续模板发生变更，SQL计算任务需手动修改引用的模板版本；其他任务将自动切换引用最新版本，无需手动修改。新增说明 新建离线计算模板 数据开发-编码研发-数据查询及管理 即席查询、分析查询结果展示优化，Bigint、Decimal类型的数据...
array_except函数 计算两个数组的差集。array_intersect函数 计算两个数组的交集。array_join函数 使用指定的连接符将数组中的元素拼接为一个字符串。如果数组中包含null元素，则null元素将被忽略。使用指定的连接符将数组中的元素拼接为...
若后续模板发生变更，SQL计算任务需要手动修改引用的模板版本；其他任务将自动切换引用最新版本，无需手动修改。新建离线计算模板 即席查询 即席查询、分析查询结果展示优化，Bigint、Decimal类型的数据支持展示完整的精度，其中，Bigint...
日期函数 MaxCompute SQL提供了如下日期函数，您可以根据实际需要选择合适的日期函数，完成日期计算、日期转换。函数 功能 DATEADD 按照指定的单位和幅度修改日期值。DATE_ADD 按照指定的幅度增减天数，与 date_sub 的增减逻辑相反。DATE_...
参数化SQL分析从SQL执行频次、SQL执行总耗时、SQL耗时离散度、SQL CPU资源总消耗、SQL内存资源总消耗、SQL执行失败频次等维度进行排序，获取相应的TOP SQL并展现相关指标。通过参数化SQL分析，您可以：获取StarRocks数据库整体的SQL执行...
如何通过参数SQL实现累计计算？如何通过参数SQL实现输入单个日期，可以查询最近n天数据？如何在创建仪表板时实现两个字段间的运算操作？函数from_unixtime的返回值格式是什么？如何解决函数from_unixtime的返回值为空？创建新建字段时能否...
4.515 的DOUBLE类型表示结果为 4.514999999.，因此四舍五入时被计算为4.51。MaxCompute可以通过哪个函数设置自增序列？您可以使用ROW_NUMBER函数设置自增序列，请参见 ROW_NUMBER。如何连接相同字段？您可以使用WM_CONCAT函数连接相同字段...
odps.sql.executionengine.enable.string.to.date.full.format 是否转换带时分秒的日期字符串。True：是。False：否。默认值是False。odps.sql.executionengine.enable.rand.time.seed 控制Rand函数使用系统时间或当前InstanceId作为随机数...
对于非中国东八区的区域，建议您同步更新Java SDK或客户端版本，以保证在1900-01-01之后的SQL计算结果及Tunnel传输数据的准确性和一致性。对于早于1900-01-01的DATETIME数据，SQL的计算显示结果和Tunnel传输数据仍然可能存在343秒的差异。...
计算总体标准差。使用限制 窗口函数的使用限制如下：窗口函数只能出现在 select 语句中。窗口函数中不能嵌套使用窗口函数和聚合函数。窗口函数不能和同级别的聚合函数一起使用。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果...
当您购买按量付费规格后，MaxCompute会对SQL、MapReduce、Lightning（交互式分析）、Spark、Mars（数据科学）和MCQA（查询加速SQL）计算类型按量付费。本文为您介绍不同计算类型下的计费规则。背景信息 MaxCompute是以作业的执行情况作为...
SPARK_JAR_ON_HIVE HADOOP_MR TDH Inceptor计算引擎 INCEPTOR_SQL SPARK_JAR_ON_HIVE HADOOP_MR ADB for PostgreSQL计算引擎 ADB_PG_SQL StarRocks计算引擎 STARROCKS_SQL ArgoDB计算引擎 ARGODB_SQL 选择目录 默认选择为离线计算模板。...
说明 一次SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）。示例中的 task_type='SQL' 表示SQL作业；task_type='SQLRT' 表示SQL查询加速作业。查看消费较高SQL作业的 SKYNET_ID（DataWorks调度任务ID）。如果有ID，请在DataWorks...
MaxCompute资源包含存储资源和计算资源（CU）两种，存储资源用于存储表或资源（Resource），计算资源用于运行作业。为实现以最低的费用，满足业务对存储资源、计算资源的需求，企业必须要根据自身情况合理规划资源。本文为您介绍如何规划...
时空数据的接入与实时计算 Lindorm Ganos时空数据类型同时也是Lindorm流引擎的原生数据类型，因此您也可以直接使用Lindorm流引擎的SQL语法处理实时计算任务。Lindorm Ganos时空引擎提供高性能的时空实时计算能力，支持在Lindorm流引擎中...