添加JAR类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令,仅支持在客户端(odpscmd)工具中...
本文为您介绍如何将自建Flink集群上的Datastream JAR作业,迁移至实时计算Flink全托管的JAR作业类型中。背景信息 本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源中心 下载了开源JDBC Connector包,包括 ...
本文为您介绍如何将自建Flink集群上的Table/SQL JAR作业,迁移至实时计算Flink全托管的JAR作业。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移,因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置...
本文为您介绍Flink JAR作业的开发方法。支持开源Apache Flink 目前实时计算Flink支持的DataStream API完全兼容开源的Flink版本,详情请参见 Apache Flink介绍 和 Flink DataStream API开发指南。开发环境要求 已安装IntelliJ IDEA等开发...
您可以自行编写并构建包含业务逻辑的JAR包,上传此业务JAR包后,即可便捷地开发Spark JAR。本文通过一个示例,为您演示如何进行JAR任务的开发与部署。前提条件 已创建工作空间,详情请参见 管理工作空间。已提前完成业务应用程序开发,并...
本文介绍Lindorm计算引擎JAR作业开发的详细步骤。前提条件 已创建并开通Lindorm实例的宽表引擎,具体操作请参见 创建实例。已开通Lindorm实例的计算引擎服务,具体操作请参见 开通与变配。已安装Java环境,要求使用JDK 1.8及以上版本。步骤...
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动,以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问,需要确认已具有Flink控制台相关权限,详情请参见 权限管理。已创建Flink工作空间...
本文介绍使用SAE时,如何为JAR包添加参数。如果您遇到如下问题,均可参考本文指引。添加参数 连接内置Nacos JAR包部署、JAR参数、JAR启动参数 JAR包部署如何添加参数,请参见 启动命令和参数。如果您的程序是Java微服务应用,需要在SAE侧...
本文介绍使用SAE时,如何为JAR包添加参数。如果您遇到如下问题,均可参考本文指引。添加参数 连接内置Nacos JAR包部署、JAR参数、JAR启动参数 JAR包部署如何添加参数,请参见 启动命令和参数。如果您的程序是Java微服务应用,需要在SAE侧...
在创建质量校验函数时,请先使用Java工具将文中示例代码打包成jar包。本文提供质量校验函数jar包源代码示例内容。示例代码 运行Java开发工具,生成一个文件名称为“PhoneNumberChecker”jar包。package com.aliyun.odps.udf.examples;...
本文为您介绍如何将Table/SQL JAR作业迁移至Flink全托管的SQL作业中。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL,因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的...
概述 Dataphin中上传的资源JAR包是直接上传到HDFS,还是先上传到Dataphin的机器上再同步到HDFS?详细信息 如果用户在上传资源的时候选择计算源,就会上传到HDFS上。如果用户没有选,就不会。默认是上传到OSS/Ceph集群,如果用户选择了计算...
在使用商业版 SOFABoot 时,可能会因为安全、性能、功能增强等原因而期望升级第三方 JAR。如果在临近的高版本 SOFABoot 中有满足需求的第三方 JAR,可以考虑升级 SOFABoot 来解决问题。但如果暂时没有满足需求的 SOFABoot 版本,或需要升级...
背景信息 SPARK_JAR_ON_HIVE任务中引用到的JAR和PYTHON文件需要提前创建,因此您在资源管理中先上传JAR和PYTHON文件,然后在SPARK_JAR_ON_HIVE任务中引用。具体操作,请参见 上传资源及引用 前提条件 计算引擎中已开启Spark任务,如何开启...
您可以下载并使用示例提供者JAR包:spring-boot-provider-1.0-SNAPSHOT.jar JAR包地址:输入JAR包的存放地址。示例提供者JAR包的地址如下:...
您可以下载并使用示例提供者JAR包:spring-boot-provider-1.0-SNAPSHOT.jar JAR包地址:输入JAR包的存放地址。示例提供者JAR包的地址如下:...
背景信息 SPARK_JAR_ON_MAX_COMPUTE任务中引用到的JAR和PYTHON文件需要提前创建,因此您需要先在资源管理中上传JAR和PYTHON文件,然后在SPARK_JAR_ON_MAX_COMPUTE任务中进行引用。具体操作,请参见 上传资源及引用。前提条件 计算引擎中 已...
背景信息 SPARK_JAR_ON_MAX_COMPUTE任务中引用到的JAR和PYTHON文件需要提前创建,因此您需要先在资源管理中上传JAR和PYTHON文件,然后在SPARK_JAR_ON_MAX_COMPUTE任务中进行引用。具体操作,请参见 上传资源及引用。前提条件 计算引擎中 已...
问题描述 代码任务中运行JAR包报错“Java heap space”,本地运行正常。Exception in thread"main"java.lang.OutOfMemoryError:Java heap space at org.apache.http.util.CharArrayBuffer. init (CharArrayBuffer.java:56)at org.apache....
问题描述 Dataphin中Shell运行Jar文件报错“bash:java:command not found”。问题原因 1.代码打成Jar包的时候,需要Jar包名称和main方法所在类名称保持一致;上传资源文件的时候,名称需要和Jar文件名称保持一致:2.需要注意java-jar命令是...
问题描述 新建Spark_jar_on_hive任务,执行结果中任务变量拼接由空格。问题原因 这个是sparkJarOnHiveOperator,解析逻辑是split后拼接成spark-submit命令,但是这个用户是在写Shell,如果是Shell的话,需要使用ShellOperator。解决方案 ...
本教程介绍如何在容器服务K8s集群中使用官方demo的JAR包或WAR包来部署应用。背景信息 在容器服务K8s集群中部署应用,您需在容器服务Kubernetes版控制台中创建容器服务Kubernetes版集群,并将该集群导入到EDAS控制台,然后在导入的容器服务K...
概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包,存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包,存放的HDFS路径是什么?介绍如下:所有用户上传的资源JAR包,以及安全包的资源,都是默认放在/tmp/dataphin...
问题描述 本文主要描述了Dataphin中创建的SPARK_JAR_ON_MAX_COMPUTE任务报错“Unable to connect to '192.168.1.72:22' with user 'root':Authentication failed.”的解决方法。正在提交.提交任务成功!2022-09-23 17:24:55 Taskrun ...
本教程介绍如何在Serverless K8s集群中使用官方demo的JAR包或WAR包来部署应用。背景信息 在Serverless K8s集群中部署应用,您需在容器服务Kubernetes版控制台中创建Serverless K8s集群,并将该集群导入到EDAS控制台,然后在导入的...
本文介绍如何使用EDAS提供的Java SDK调用API在K8s集群中创建Java应用(JAR包或WAR包)。前提条件 调用API创建应用前,您必须提前完成以下准备工作:安装EDAS的Java SDK。更多信息,请参见 Java SDK接入指南。确定应用部署地域。创建微服务...
应用创建成功后,不支持修改部署方式。您需要重新创建应用。
应用创建成功后,不支持修改部署方式。您需要重新创建应用。
名称 类型 描述 示例值 object 本数据结构代表 JAR 类型作业必填的信息。jarUri string JAR 作业 URL 全路径。https://oss/bucket/test.jar entryClass string 启动类,需要填写类的全称。org.apapche.flink.test mainArgs string 启动类所...
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包,请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如:dependency groupId ...
本文为您介绍了安装Java SDK添加Jar包依赖的示例代码。环境准备 适用于JDK 6及以上版本。安装SDK 说明 本文以安装V1.0版本的SDK为例进行说明,如需安装V2.0版本的SDK,请参考阿里云OpenAPI门户上的安装指导,更多信息,请参见 视频点播SDK...
启动应用程序 echo"params:${params}"exec java$params \-Dserver.port=9000 \-jar/code/target/demo-0.0.1-SNAPSHOT.jar 示例代码解析如下。设置ARMS应用名称。默认为 FC:{ServiceName}.{FunctionName}。添加ARMS参数。javaagent:ARMS...
本文为您介绍如何使用开源地理空间UDF分析空间数据。前提条件 请确认您已完成以下操作:已安装Git。已安装Maven并设置环境变量。已安装MaxCompute客户端。...wget '...../esri-geometry-api.jar 下载已编译好的JAR包...
client-1.0.1.jar PASS PASS nacos-client-1.1.0.jar PASS PASS nacos-client-1.1.1.jar PASS PASS nacos-client-1.1.2.jar PASS PASS nacos-client-1.1.3.jar PASS PASS nacos-client-1.1.4.jar PASS PASS nacos-client-1.2.0.jar PASS ...
查看MaxCompute项目中所有自定义函数的信息。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
client-1.0.1.jar PASS PASS nacos-client-1.1.0.jar PASS PASS nacos-client-1.1.1.jar PASS PASS nacos-client-1.1.2.jar PASS PASS nacos-client-1.1.3.jar PASS PASS nacos-client-1.1.4.jar PASS PASS nacos-client-1.2.0.jar PASS ...
jar-conf odps-mapred.xml-resources a.txt,test_table,work.jar-classpath data\work.jar:otherlib.jar-D import.filename=resource.txt org.alidata.odps.mr.examples.WordCount args;resources resource_name_list:MapReduce作业运行时...
5.1.47.jar mysql-connector-java-5.1.48.jar mysql-connector-java-5.1.9.jar mysql-connector-java-6.0.2.jar mysql-connector-java-6.0.6.jar mysql-connector-java-8.0.11.jar mysql-connector-java-8.0.17.jar mysql-connector-java-8...
Name my_lower Owner ALIYUN$Created Time 2020-06-18 15:50:19 Class org.alidata.odps.udf.examples.Lower Resources project_name/my_lower.jar 查看自定义函数列表 查看MaxCompute项目中所有自定义函数。命令格式。以下两种命令格式...
hook-hive23.jar hive-hook-1.1.4-hive23.jar mv hive-hook-hive31.jar hive-hook-1.1.4-hive31.jar mv spark-hook-spark24.jar spark-hook-1.1.4-spark24.jar mv spark-hook-spark30.jar spark-hook-1.1.4-spark30.jar iii).修改完成后...