在开发Python计算任务时，通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin...
在开发Python计算任务时，通常需要根据业务场景安装如下资源包。以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin...
本文为您介绍Python SDK中操作MaxCompute资源相关的典型场景操作示例。背景信息 MaxCompute中的资源常用在UDF和MapReduce中。基本操作如下：list_resources()：列出该项目空间下的所有资源。exist_resource()：判断资源是否存在。delete_...
本文介绍如何配置存储空间（Bucket）所属资源组以及获取Bucket资源组ID。注意事项 本文示例代码以华东1（杭州）的地域ID cn-hangzhou 为例，默认使用外网Endpoint，如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint...
因浏览器的同源策略限制，在不同域名之间进行数据交互或者资源共享时，会出现跨域请求被拒绝的问题。本文介绍如何通过设置允许特定的域名、方法和请求头的跨域访问策略，解决跨域问题。注意事项 本文示例代码以华东1（杭州）的地域ID ...
问题描述 Dataphin计算任务python脚本如何执行资源包。解决方案 Dataphin计算任务python执行资源包的脚本如下所示。usr/bin/env python#-*-coding:utf-8-*-@resource_reference{"zbr_tar_gz"} from odps.tunnel import TableTunnel from ...
产品名称 Dataphin 产品模块 函数管理 概述 在资源管理中，开发上传python脚本成功后，当在新建函数时，无法选择刚才上传的python资源。问题描述 在资源管理中，开发上传python脚本成功后，当在新建函数时，无法选择刚才上传的python资源。...
本文为您介绍基于MaxCompute客户端通过Python 2 UDTF读取MaxCompute资源的使用示例。前提条件 已 安装MaxCompute客户端。开发和使用步骤 1.代码开发 将下述代码示例保存为py_udtf_example.py文件，放置于MaxCompute客户端的 bin 目录中。...
本文为您介绍基于MaxCompute客户端通过Python 3 UDTF读取MaxCompute资源的使用示例。前提条件 已安装MaxCompute客户端。更多安装MaxCompute客户端操作，请参见 安装并配置MaxCompute客户端。UDTF的动态参数说明 Python UDTF函数签名格式请...
产品名称 Dataphin 产品模块 资源管理 概述 Dataphin中上传python脚本，创建资源报错"提交失败，原因：REGISTER_OSS_RESOURCE_FAILED"问题描述 Dataphin中上传python脚本，创建资源报错"提交失败，原因：REGISTER_OSS_RESOURCE_FAILED"问题...
本文介绍如何使用DataWorks独享资源组安装FeatureStore Python SDK。前提条件 安装方式 前提条件 方式一：使用新版独享资源组+内置镜像（推荐）已创建PAI工作空间。具体操作，请参见 创建及管理工作空间。说明 由于PAI和DataWorks的工作...
本文介绍如何使用Python SDK V2管理资源池QoS。注意事项 本文示例代码以华东1（杭州）的地域ID cn-hangzhou 为例，默认使用外网Endpoint，如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与...
使用示例 添加Python资源到MaxCompute。add py python.py[comment ' comment '][-f];返回结果如下。OK:Resource 'python.py' have been created.相关命令 ADD ARCHIVE：添加ARCHIVE类型的资源。ADD FILE：添加FILE类型的资源。ADD JAR：...
说明：PYTHON离线任务支持PYTHON语言的3.6版本。PYTHON离线任务应用zip包的规范如下：zip包里面根目录不要出现start.sh和start_flow.sh zip包结构参照如下 xxx.zip#zip包中仅包含算法代码即可,根目录不要含有start.sh、start_flow.sh两个...
节点内容配置说明（Python语言类型）通过在DataWorks中执行Spark示例程序计算圆周率，为您介绍如何配置和使用Lindorm Spark节点。上传Python资源 您需将示例Python资源文件上传至LindormDFS中，并复制Jar资源存储路径，以供后续在节点中...
Resource comment Python资源的注释信息。Extra resources 注册MaxCompute UDF时依赖的其他资源文件。您可以在资源列表中单击选中目标资源文件。如果MaxCompute UDF依赖多个资源文件，按住Ctrl键逐个单击需要的资源文件即可选中多个。Main ...
进入MaxCompute Python资源节点编辑页面，开发节点代码，示例如下：Python 3示例脚本 print('This is a test text')Python 2示例脚本 print"This is a test text"单击 与，保存并提交资源。引用资源。新建通用Shell节点。在数据开发页面右...
选择主Python资源 指定任务所使用的主JAR资源文件或主Python资源。此处的资源文件需提前上传至DataWorks并已提交，详情请参见 资源管理。app jar or Python file 配置项 指定提交作业时的配置项。其中：spark.hadoop.odps.access.id、spark...
配置项 说明 spark版本 Spark2.x 语言 Python 选择主python资源 在下拉列表中选择上述已创建的python资源 spark_is_number.py 进入开发环境的运维中心，执行补数据，具体操作请参见 执行补数据并查看补数据实例（新版）。说明 由于数据开发...
配置项 说明 spark版本 Spark2.x 语言 Python 选择主python资源 在下拉列表中选择上述已创建的python资源 spark_is_number.py 进入开发环境的运维中心，执行补数据，具体操作请参见 执行补数据并查看补数据实例（新版）。说明 由于数据开发...
引用自定义 Python 资源 如果您只是想调用自己写的另一个.py 文件中的函数，操作如下：创建Python资源：在数据开发页面，右键单击目标 业务流程，选择 新建资源 MaxCompute Python。在 新建资源 对话框中，填写资源 名称（示例名：my_utils...
Notebook引用Python资源 Notebook在进行开发时，可通过#resource_reference{"自定义名.py"} 的方式引用MaxCompute资源，以下为引用Python资源的简单示例：说明 Notebook引用Python资源仅在生产环境下生效，在开发环境下无法正常获取资源，...
def process(self,arg):props=arg.split(',')for p in props:self.forward(p)说明 Python 2 UDTF与Python 3 UDTF区别在于底层Python语言版本不一致，请您根据对应版本语言支持的能力编写UDTF。注意事项 Python 3与Python 2不兼容。在您使用...
在使用Python编写MaxCompute UDF过程中如遇到问题，详情请参见 Python语言编写MaxCompute UDF的常见问题。常见问题 Q：通过DataWorks上传的资源并定义为UDF函数后，除了在数据开发中供ODPS SQL节点使用外，是否可以在数据分析SQL查询中使用...
在使用Python编写MaxCompute UDF过程中如遇到问题，详情请参见 Python语言编写MaxCompute UDF的常见问题。常见问题 Q：通过DataWorks上传的资源并定义为UDF函数后，除了在数据开发中供ODPS SQL节点使用外，是否可以在数据分析SQL查询中使用...
具体使用方法请参见 引用资源（Python UDF 3）和 引用资源（Python UDTF 3）。使用说明 按照 开发流程，完成Python 3 UDAF开发后，您即可通过MaxCompute SQL调用Python 3 UDAF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用...
引用自定义 Python 资源 如果您只是想调用自己写的另一个.py 文件中的函数，操作如下：创建Python资源：在 资源管理 页面，单击 按钮，选择 新建资源 MaxCompute Python。在 新建资源和函数 对话框中，输入资源 名称（示例名：my_utils.py...
通过DataWorks Python资源定义工具类，新建Python资源请参考 创建并使用MaxCompute资源，本案例中该工具类为 RemoteShell.py。代码示例参考如下：#-*-coding:utf-8-*-import sys from paramiko import SSHClient import paramiko class ...
pyodps Python资源是否支持调用另一个Python资源？PyODPS是否支持调用自定义函数来使用第三方包？PyODPS 3中调用Pickle文件报错：_pickle.UnpicklingError:invalid load key,'\xef 如何删除MaxCompute资源？EMR Spark 为什么在EMR集群中...
当 资源类型为Python时，配置的 类名 格式为 Python资源名称.实际类名。例如，LcLognormDist_sh 为Python资源名称，LcLognormDist_sh 为实际类名，则 类名 参数配置为 LcLognormDist_sh.LcLognormDist_sh。说明 填写资源名称时，无需添加....
Python 2 UDF迁移 Python 2官方已于2020年初停止维护，建议您根据项目类型执行迁移操作：全新项目：新MaxCompute项目，或第一次使用Python语言编写UDF的MaxCompute项目。建议所有的Python UDF都直接使用Python 3语言编写。存量项目：创建了...
说明 超过 10MB 的Python资源或者超过 500KB 的File文件，请通过 方式二：可视化上传本地资源 或 方式三：可视化上传OSS资源 新建。关于DataWorks可视化创建Python资源并注册函数的实践，请参考 基于MaxCompute UDF分析IP来源。方式二：...
参数 说明 主Python资源 选择 OSS资源，填写您上传 pyspark_third_party_libs_demo.py 至OSS的路径。例如，oss:/yourBucketName/pyspark_third_party_libs_demo.py。运行环境 在下拉框中选择您创建的运行环境。运行任务后，在下方的 运行...
说明 超过200MB的Python资源，请通过 方式二：可视化上传本地资源 或 方式三：可视化上传OSS资源 新建。超过500KB的File文件，请通过 方式二：可视化上传本地资源 或 方式三：可视化上传OSS资源 新建。关于DataWorks可视化创建Python资源并...
具体使用方法请参见 引用资源（Python UDF 2）和 引用资源（Python UDTF 2）。使用说明 按照 开发流程，完成Python 2 UDAF开发后，您即可通过MaxCompute SQL调用Python 2 UDAF。调用方法如下：在归属MaxCompute项目中使用自定义函数：使用...
示例3：添加Python资源到MaxCompute。add py python.py[comment ' comment '][-f];返回结果如下。OK:Resource 'python.py' have been created.查看资源信息 查看当前项目下指定资源的信息，包含资源名、所有者、资源类型、资源大小、创建...
在DataWorks的ODPS Spark节点配置以下参数：参数名 配置详情 spark版本 Spark2.x 语言 Python 选择主python资源 spark_test.py 配置项-资源申请相关配置 spark.executor.instances=3 spark.executor.cores=1 spark.executor.memory=4g ...
引用资源 Python UDF可以通过 odps.distcache 模块引用资源，支持引用文件资源和表资源。odps.distcache.get_cache_file(resource_name)：返回指定文件资源的内容。resource_name 为STRING类型，对应当前MaxCompute项目中已存在的文件资源...
引用资源 Python UDTF可以通过 odps.distcache 模块引用资源，支持引用文件资源和表资源。odps.distcache.get_cache_file(resource_name)：返回指定文件资源的内容。resource_name 为STRING类型，对应当前MaxCompute项目中已存在的文件资源...