如果您在查询与分析数据时需要区分更细维度的数据类型，您可以在查询与分析语句中使用类型转换函数转换数据的数据类型。日志服务支持如下类型转换函数。重要 在日志服务分析语句中，表示字符串的字符必须使用单引号（''）包裹，无符号包裹...
由于PyODPS DataFrame本身会对整个操作执行优化，为了更直观地反应整个过程，您可以使用可视化的方式显示整个表达式的计算过程。可视化DataFrame 可视化需要依赖 graphviz软件 和 graphviz Python包。df=iris.groupby('name').agg(id=iris....
2.0版本相较于1.0版本语法兼容性差异说明 数据类型和伪列 不支持 ABSTIME 类型。不支持 COLUMN_VALUE 伪列。DDL语法 不支持 CREATE USER 后使用 PROFILE/PASSWORD EXPIRE/CREATE DBLINK 等语法。不支持 ALTER USER USERNAME 后使用 NO ...
本文为您介绍如何在Java UDF和Python UDF中使用复杂数据类型。命令说明 本示例将注册一个名称为 UDF_COMPLEX_DATA 的自定义函数。说明 本示例将介绍array、map、struct三种复杂数据类型的使用。Java UDF通过重载的方式使用同一个自定义函数...
空间函数 处理空间数据（几何数据类型-GEOMETRY），实现计算多边形面积、几何求交、几何求差等数据处理能力。其它函数 除上述函数之外，提供支持其他业务场景的函数。注意事项 在使用系统函数的时候，需要注意：系统函数的入参类型、入参...
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
函数类型 说明 数据预处理函数 进行平滑、滤波等操作，去除异常数据，方便后续的分析和处理。说明 只支持华东2（上海）地域。数据探索函数 得到样本数据的趋势、极大值、中心值，检验数据是否符合正态分布、均匀分布或指数分布。说明 只...
本文为您介绍DataFrame支持的聚合操作，以及如何实现分组聚合和编写自定义聚合。DataFrame提供对列进行HyperLogLog计数的接口。from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))常用聚合操作如下：使用 describe...
一般而言，这些函数需要使用C语言或其他低级语言编写，因为他们必须能够在底层与数据库系统紧密配合，以处理数据类型的输入、输出、接收、发送和分析等操作。这些函数的编写和注册是创建新基础类型过程中最为技术性的部分，他们确保了新...
一般而言，这些函数需要使用C语言或其他低级语言编写，因为他们必须能够在底层与数据库系统紧密配合，以处理数据类型的输入、输出、接收、发送和分析等操作。这些函数的编写和注册是创建新基础类型过程中最为技术性的部分，他们确保了新...
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
在Custom Runtime-Python语言中引用层中的依赖 方式一：在函数配置中设置 PYTHONPATH 环境变量，添加层所在的目录。示例如下。PYTHONPATH=opt/python 方式二：在您项目的入口文件里添加以下语句，需要在导入层的依赖库前执行。import sys ...
当使用函数作为API过滤器时，前置过滤器和后置过滤器的函数类型需要保持一致，即：均选择Aviator函数类型或Python函数类型。暂不支持对同一API的前置和后置过滤器选择不同的函数类型。注意事项 基于安全和性能等因素的评估，Aviator函数...
内置镜像说明 功能分类 镜像名称 内置三方包及版本信息 编程语言及版本 说明 科学计算 numpy numpy 1.21.6 Python 3.7 数值计算 scipy scipy 1.7.3 Python 3.7 科学计算 数据分析 pandas pandas 1.3.5 Python 3.7 数据处理与分析 统计建模 ...
在Custom Runtime-Python语言中引用层中的依赖 方式一：在函数配置中设置 PYTHONPATH 环境变量，添加层所在的目录。示例如下。PYTHONPATH=opt/python 方式二：在您项目的入口文件里添加以下语句，需要在导入层的依赖库前执行。import sys ...
重要 创建函数中的 请求处理程序类型 仅支持选择 处理事件请求。企业版实例中，函数计算的服务和函数所在地域，必须与企业版实例所在地域一致。已创建数据转发规则并编写处理数据的SQL，请参见 设置数据流转规则。背景信息 使用规则引擎...
MaxCompute支持您通过Java、Python语言编写代码创建UDAF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDAF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDAF为用户自定义聚合函数，适用于多进一出业务...
ST_LineLocatePoint 函数新增支持地理数据类型，支持基于球面距离获取最近距离百分比。Raster SQL 增加 ST_Polygonize 函数，支持栅格对象矢量化操作。性能优化 GeomGrid SQL 增强 ST_AsGeometry、ST_AsText、ST_AsBinary、ST_Level 函数...
伪类型 名字 描述 any 表示一个函数可以接受任意输入数据类型 anyelement 表示一个函数可以接受任意数据类型 anyarray 表示一个函数可以接受任意数组数据类型 anynonarray 表示一个函数可以接受任意非数组数据类型 anyenum 表示一个函数...
cur.close()conn.close()Pandas DataFrame快速写入Hologres最佳实践 使用Python时，经常会使用Pandas将数据转换为DataFrame，并对DataFrame进行处理，最终将DataFrame导入Hologres，此时希望将DataFrame快速导入Hologres。导入时候常用 to_...
支持在MaxCompute Notebook Code中直接使用MaxCompute SQL语法操作MaxCompute数据，并支持将MaxCompute SQL执行结果可视化转为PyODPS DataFrame，同时支持PyODPS DataFrame与Pandas DataFrame互相转换。内置丰富函数库 MaxCompute Notebook...
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
LIMIT 多表关联 INNER JOIN FULL JOIN LEFT JOIN RIGHT JOIN 子查询 在查询中使用操作符和函数 查询中使用算术操作符 查询中使用数值函数 查询中使用字符串连接符 查询中使用字符串函数 查询中使用时间函数 查询中使用类型转换函数 ...
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
使用PyODPS DataFrame编写数据应用时，同一个脚本文件中的代码会在不同位置执行，可能导致一些无法预期的问题，本文为您介绍当出现相关问题时，如何确定代码的执行环境，以及提供部分场景下的解决方案。概述 PyODPS是一个Python包而非...
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
说明 在编写UDF代码过程中，您可以根据MaxCompute项目的数据类型版本选取合适的数据类型，更多数据类型版本及各版本支持的数据类型信息，请参见 数据类型版本说明。合法的函数签名示例如下。函数签名示例 说明 'bigint,double->string' ...
通过配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据，本章节为您介绍如何新建数据元。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组...
函数列表中包括以下几种类型：日期与时间函数 数学函数 窗口函数 聚合函数 字符串函数 复杂类型函数 加密函数 其他函数 除此之外，您也可以在ODPS SQL节点中使用以下命令查看内建函数。show builtin functions[];为指定的内建函数名称。...
概述 函数是在数据库内定义的子程序，可以从内置 SQL 语句中调用函数。如果自带的函数不能满足业务需求，则可以通过 ODC 新建函数，添加自定义函数，以实现某些功能运算和完成各种特定操作，且自定义函数可以减少重复编码，提高程序可读性...
MaxCompute支持您通过Java、Python语言编写代码创建UDTF，扩展MaxCompute的函数能力，满足个性化业务需求。本文为您介绍UDTF类型、使用限制、注意事项、开发流程及使用说明等信息。背景信息 UDTF为用户自定义表值函数，适用于一进多出业务...
如果内建函数的入参涉及2.0新数据类型（例如TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），您需要打开2.0新数据类型开关，否则运行会报错。开关打开方式如下：Session级别：您需要在SQL语句前加上 set odps.sql.type....
array中的 T 指代ARRAY数组元素的数据类型，数组中的元素可以为任意类型。init：必填。用于聚合的中间结果的初始值。merge：必填。将ARRAY数组 a 中的每一个元素与中间结果进行运算的函数（内建函数或自定义函数）或表达式。它的两个输入...
对Python语言的 FC 函数而言，您的请求处理程序格式为 文件名.方法名。例如，您的文件名为 main.py，方法名为 handler，则请求处理程序为 main.handler。关于 FC 函数的具体定义和相关操作，请参见 管理函数。配置说明 请求处理程序的具体...
访问数据库是指在函数计算中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
访问数据库是指在 函数计算 中通过函数调用数据库应用编程接口，对数据库执行数据插入、查询等操作。通常函数计算中不同的执行环境实例之间的状态是不共享的，通过数据库可以将结构化的数据持久化以实现状态共享。本文以Python 3为例，介绍...
云原生多模数据库 Lindorm 支持通过Lindorm计算引擎访问云数据库HBase增强版集群中的数据。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已阅读并了解通过Lindorm计算引擎访问数据时的使用须知。详细内容，请参见 使用...
用于对 a 中元素进行过滤的函数（内置函数或自定义函数）或表达式，其输入参数类型必须与 a 中元素的数据类型一致，其输出结果数据类型为BOOLEAN。返回值说明 返回ARRAY类型。使用示例-返回[2,3]。select filter(array(1,2,3),x->x>1);说明...
如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下语句开启新数据类型开关：Session级别：如果使用新数据类型，您需要在SQL语句前加上语句 set odps.sql....