spark执行作业

_相关内容

重试工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:重试工作流成功,false:重试工作流失败。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

删除项目用户

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:删除成功。false:删除失败。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

暂停工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=SuspendFlow&RegionId=...

恢复工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ResumeFlow&RegionId=...

结束工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:重试工作流成功。false:重试工作流失败。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

重命名目录

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:表示修改成功。false:表示修改失败。RequestId String CEA9AFD2-B340-41F4-A661-8916CBF07C32 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

重启集群

数据库访问错误,请重试或者提工单 400 InternalError The request processing has failed due to some unknown error.内部错误,请提工单 400 User.OtherUserResource.NotAllow You are not authorized to operate other users resource....

删除工作流目录

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:删除成功。false:删除失败。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

Delta Lake 快速入门

读一个表 在这个部分:显示表格历史记录 查询表的早期版本(时间行程)您可以通过在DBFS("/mnt/delta/events")或表名("event")上指定路径来访问Delta表中的数据:Scala%spark SELECT*FROM delta.`/mnt/delta/events` 或%spark val ...

表删除,更新和合并

要在使用updateAll和insertAll(至少其中一个)执行merge操作期间自动更新表架构,可以在运行merge操作之前设置Spark会话配置spark.databricks.delta.schema.autoMerge.enabled为true。说明 架构演变仅在同时存在一个updateAll或一个...

查询节点实例详情

返回数据 名称 类型 示例值 描述 Status String OK 实例的执行状态,取值如下:PREP(等待启动)SUBMITTING(提交中)RUNNING(运行中)DONE(已完成)OK(执行成功)FAILED(执行失败)KILLED(已终止)KILL_FAILED(终止失败)START_...

创建工作流目录文件夹

Type String 是 FLOW 类型:FLOW:工作流 JOB:作业 ParentId String 否 FC-AF08490649B8*父目录ID,为空时则默认为root目录。ClientToken String 否 123e4567-e89b-12d3-a456-42665544*保证请求幂等性。从您的客户端生成一个参数值,确保...

并发控制

即使在作业过程中修改了某个表,读取器仍会继续查看Databricks 作业开始使用的表的一致快照视图。乐观并发控制 Delta Lake使用乐观并发控制来提供两次写入之间的事务保证。在这种机制下,写操作分为三个阶段:读取:读取(如果需要)表的...

表实用程序命令

如果您确定在此表上执行的操作没有超过计划指定的保留时间间隔,你可以通过设置ApacheSpark属性spark.databricks.delta.retentionDurationCheck.enabled设置为false来关闭此安全检查。选择的时间间隔,必须比最长的并发事务长,也必须比...

修改工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:成功 false:失败 RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ModifyFlowForWeb&...

获取目录树

Type String 是 FLOW 目录类型,取值如下:FLOW(工作流)JOB(作业)ADHOC(临时查询)Mode String 否 FULL 模型模式,支持如下取值:FULL:默认模式,可以不填,获取完整的目录树。STEP:获取下一级目录列表,需要设置父目录id。LOCATION:...

ReleaseCluster

ForceRelease Boolean 否 true 正常释放时,如果您打开了日志保存,系统会花费几分钟时间将作业的日志都保存到您的OSS空间中。您也可以勾选强制释放选项,放弃日志的保存,立即释放。返回数据 名称 类型 示例值 描述 RequestId String BF4...

DescribeClusterV2

返回数据 名称 类型 示例值 描述 ClusterInfo Struct 集群详情。AccessInfo Struct 集群连接信息。ZKLinks Array of ZKLink ZooKeeper连接信息。ZKLink Link String ddi-worker-1,ddi-header-2,ddi-header-1 ZooKeeper连接地址。Port ...

查询工作流列表

JobId String 否 FJ-F32FB31D8295*作业ID。您可以调用ListFlowJob查看。Name String 否 my_flow 工作流名称。您可以调用ListFlowInstance查看。Id String 否 F-A32FB31D8295*工作流ID。您可以调用ListFlowInstance查看工作流ID。ClusterId ...

查询工作流列表

JobId String 否 FJ-F32FB31D8295*作业ID。Name String 否 my_flow 工作流名称。Id String 否 F-A32FB31D8295*工作流ID。ClusterId String 否 C-F32FB31D8295*集群ID。Status String 否 STOP_SCHEDULE 状态:STOP_SCHEDULE(停止调度)...

请求结构

服务地址 API 的服务接入...请求参数 每个请求都需要指定要执行的操作,即 Action 参数(例如 CreateDatabase),以及每个操作都需要包含的公共请求参数和指定操作所特有的请求参数。字符编码 请求及返回结果都使用 UTF-8 字符集进行编码。

查询工作流实例列表

StatusList.N String 否 RUNNING 工作流状态:PREP:准备中 RUNNING:运行中 SUCCEEDED:成功 FAILED:失败 KILLED:已终止 SUSPENDED:暂停中 返回数据 名称 类型 示例值 描述 RequestId String EDF99BA3-F7AF-49B2-ABA1-36430A31F482 ...

优化数据转换

Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型:Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章:优化数据转换

约束条件

说明 详细内容请参考Databricks官网文章:约束条件 注意 在Databricks Runtime 7.4及更高版本中可用。Delta表支持标准的SQL约束管理子句,以确保自动验证添加到表中的数据的质量和完整性。当违反约束时,Delta Lake会抛出一个...

解绑标签

调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后,如果该标签没有绑定其他任何资源,会被自动删除。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...

创建并绑定标签

调用TagResources接口,为指定的Databricks集群列表统一创建并绑定标签。调用该接口时,有如下使用限制:最多可以给集群绑定20个标签(包括集群已有标签)标签键和值均不能以“acs:”或者“aliyun”开头,且标签键和值均不能包含“http://...

返回结果

调用成功返回的数据格式主要有 XML 和 JSON 两种,外部系统可以在请求时传入参数来制定返回的数据格式,默认为 XML 格式。成功结果 JSON示例:{"Data":"true","RequestId":"2670BCFB-925D-4C3E-9994-8D12F7A9F538"} 错误结果 调用接口出错...

列出项目空间中项目

您可以调用ListFlowProjects查看项目的ID Name String 否 my_project 项目名称,用于过滤项目 PageNumber Integer 否 1 页码,用于分页 PageSize Integer 否 20 每页数量 ResourceGroupId String 否 rg-axndjccbxdj 资源组ID 返回数据 名称...

查询资源标签

调用ListTagResources,查询一个或多个Databricks集群已绑定的标签列表,或者根据一组标签查询被改组标签绑定的资源。调用该接口时注意以下信息:请求中至少指定一个参数:ResourceId.N、Tag.N(Tag.N.Key与Tag.N.Value),以确定查询对象...

查询数据开发中可用的集群列表

调用ListFlowClusterAll接口,查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...

删除数据开发项目

调用 DeleteFlowProject 接口删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...

修改数据开发项目

调用 ModifyFlowProject 接口,修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...

查询项目中可用的集群列表

返回数据 名称 类型 示例值 描述 PageSize Integer 20 分页查询时每页行数。RequestId String 0d18b019-00ab-455f-b60c-2891bf02f538 请求ID。PageNumber Integer 1 当前页码,从1开始。TotalCount Integer 2 总数。Clusters Array of ...

查询项目详情

返回数据 名称 类型 示例值 描述 RequestId String ACD3A7A5-CD6E-48DA-823B-ACE5B01DA43D 请求ID。Description String project description demo 项目描述。UserId String 123456789 主账号ID。GmtCreate Long 1542934807000 创建时间。...

创建项目空间

返回数据 名称 类型 示例值 描述 Id String FP-257A173659F5*项目ID RequestId String 2670BCFB-925D-4C3E-9994-8D12F7A9F538 请求ID 示例 请求示例 http(s):/[Endpoint]/?Action=CreateFlowProject&ProductType=这是一个项目描述&RegionId...

提交运行工作流

返回数据 名称 类型 示例值 描述 Data String FI-7A39731FE719*过期参数。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。InstanceId String FI-7A39731FE719*过期参数。Id String FI-7A39731FE719*工作流实例ID。示例 ...

查询项目用户信息

返回数据 名称 类型 示例值 描述 RequestId String 80F270E8-27BD-4F24-BB2A-CD3FBCC450DA 请求ID。PageNumber Integer 1 页码。PageSize Integer 10 每页数量。Total Integer 20 总数。Users Array of User User ProjectId String FP-3535...

创建工作流

返回数据 名称 类型 示例值 描述 Id String F-7A39731FE719*新创建的工作流ID。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CreateFlow&RegionId=...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用