spark 网络爬虫

_相关内容

DescribeClusterV2

调用 DescribeClusterV2接口,查询集群的基本信息,包括:付费、ECS机器概况和DDI服务列表等。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 ...

优化数据转换

Databricks使用嵌套类型优化高阶函数和 DataFrame 操作的...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型:Higher-order functions Transform complex data types 说明 详细内容可参考Databricks官网文章:优化数据转换

返回结果

调用成功返回的数据格式主要有 XML 和 JSON 两种,外部系统可以在请求时传入参数来制定返回的数据格式,默认为 XML 格式。成功结果 JSON示例:{"Data":"true","RequestId":"2670BCFB-925D-4C3E-9994-8D12F7A9F538"} 错误结果 调用接口出错...

查看弹性伸缩记录

操作步骤 登录 阿里云Databricks控制台。在顶部菜单栏处,根据实际情况选择地域(Region)和资源组。单击上方的 集群管理 页签。在 集群管理 页面,单击相应集群所在行的 详情。在 详情 页面上部页签栏,单击 弹性伸缩。右上角单击 弹性...

查询资源标签

调用ListTagResources,查询一个或多个Databricks集群已绑定的标签列表,或者根据一组标签查询被改组标签绑定的资源。调用该接口时注意以下信息:请求中至少指定一个参数:ResourceId.N、Tag.N(Tag.N.Key与Tag.N.Value),以确定查询对象...

克隆工作流

返回数据 名称 类型 示例值 描述 Id String FJ-3FC8XXXXXDXX00C0 clone得到的新的作业ID RequestId String 0b16392216407604990527735e8d05 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CloneFlow&ProjectId=FP-A1BE52DDXXXXX3&Id=...

删除数据开发项目

调用 DeleteFlowProject 接口删除数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...

删除项目用户

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:删除成功。false:删除失败。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

修改数据开发项目

调用 ModifyFlowProject 接口,修改数据开发项目。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...

API概览

创建数据开发作业 调用 CreateFlowJob接口,创建数据开发作业。创建项目空间 调用CreateFlowProject,根据传入的地域、名称和描述创建项目空间,并返回创建好的项目空间的ID。删除工作流 调用DeleteFlow接口,删除工作流。删除数据开发项目...

克隆作业

返回数据 名称 类型 示例值 描述 Id String FJ-06D12BA16419*新产生的作业ID。RequestId String BCE475E4-129D-43D2-8595-C80B80CBC114 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CloneFlowJob&ProjectId=FP-C62EEC30F773*&Id=FJ...

暂停工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=SuspendFlow&RegionId=...

恢复工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ResumeFlow&RegionId=...

结束工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:重试工作流成功。false:重试工作流失败。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

重命名目录

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:表示修改成功。false:表示修改失败。RequestId String CEA9AFD2-B340-41F4-A661-8916CBF07C32 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

停止作业实例

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true(执行成功),false(执行失败)RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

重试工作流

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:重试工作流成功,false:重试工作流失败。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

重启集群

数据库访问错误,请重试或者提工单 400 InternalError The request processing has failed due to some unknown error.内部错误,请提工单 400 User.OtherUserResource.NotAllow You are not authorized to operate other users resource....

删除工作流目录

返回数据 名称 类型 示例值 描述 Data Boolean true 返回执行结果,包含如下:true:删除成功。false:删除失败。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=...

查询项目详情

返回数据 名称 类型 示例值 描述 RequestId String ACD3A7A5-CD6E-48DA-823B-ACE5B01DA43D 请求ID。Description String project description demo 项目描述。UserId String 123456789 主账号ID。GmtCreate Long 1542934807000 创建时间。...

创建项目空间

返回数据 名称 类型 示例值 描述 Id String FP-257A173659F5*项目ID RequestId String 2670BCFB-925D-4C3E-9994-8D12F7A9F538 请求ID 示例 请求示例 http(s):/[Endpoint]/?Action=CreateFlowProject&ProductType=这是一个项目描述&RegionId...

提交运行作业

返回数据 名称 类型 示例值 描述 Id String FJI-9DDAAA3ADA5F*运行的作业实例ID。RequestId String B46F8A2A-B46B-415C-8A9C-B01B99B775A2 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=SubmitFlowJob&RegionId=...

ReleaseCluster

返回数据 名称 类型 示例值 描述 RequestId String BF4FBAC6-B03E-4BFB-B6DB-EB53C34F2E22 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=ReleaseCluster&RegionId=cn-hangzhou &Id=C-D7958B72E59B*&ForceRelease=true&公共请求参数 ...

提交运行工作流

返回数据 名称 类型 示例值 描述 Data String FI-7A39731FE719*过期参数。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。InstanceId String FI-7A39731FE719*过期参数。Id String FI-7A39731FE719*工作流实例ID。示例 ...

查询项目用户信息

返回数据 名称 类型 示例值 描述 RequestId String 80F270E8-27BD-4F24-BB2A-CD3FBCC450DA 请求ID。PageNumber Integer 1 页码。PageSize Integer 10 每页数量。Total Integer 20 总数。Users Array of User User ProjectId String FP-3535...

创建工作流目录文件夹

返回数据 名称 类型 示例值 描述 Id String FC-AF08490649B8*新增的目录文件夹ID。RequestId String 2670BCFB-925D-4C3E-9994-8D12F7A9F538 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CreateFlowCategory&RegionId=...

约束条件

说明 详细内容请参考Databricks官网文章:约束条件 注意 在Databricks Runtime 7.4及更高版本中可用。Delta表支持标准的SQL约束管理子句,以确保自动验证添加到表中的数据的质量和完整性。当违反约束时,Delta Lake会抛出一个...

创建工作流

返回数据 名称 类型 示例值 描述 Id String F-7A39731FE719*新创建的工作流ID。RequestId String 243D5A48-96A5-4C0C-8966-93CBF65635ED 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CreateFlow&RegionId=...

解绑标签

调用UntagResources接口可以为指定的Databricks集群解绑标签。解绑后,如果该标签没有绑定其他任何资源,会被自动删除。请求参数 名称 类型 是否必选 示例值 描述 Action String 否 TagResource 系统规定参数。对于您自行拼凑HTTP或...

获取目录树

Keyword String 否 SQL 检索关键字 CategoryId String 否 FC-5BD9575E3462*STEP模式下:上级目录id,获取根目录id时不设置 LOCATION模式下:需要定位的目录id 返回数据 名称 类型 示例值 描述 Data String {"node":{"categoryType":"FOLDER...

查询工作流列表

返回数据 名称 类型 示例值 描述 PageNumber Integer 1 页码。PageSize Integer 20 每页数量。RequestId String 7DDFF4C7-3AE3-485F-BFA1-BAE0AA3689DD 请求ID。Total Integer 10 总数。Flow Array of Flow 工作流列表。Flow Type String ...

创建并绑定标签

调用TagResources接口,为指定的Databricks集群列表统一创建并绑定标签。调用该接口时,有如下使用限制:最多可以给集群绑定20个标签(包括集群已有标签)标签键和值均不能以“acs:”或者“aliyun”开头,且标签键和值均不能包含“http://...

列出项目空间中项目

您可以调用ListFlowProjects查看项目的ID Name String 否 my_project 项目名称,用于过滤项目 PageNumber Integer 否 1 页码,用于分页 PageSize Integer 否 20 每页数量 ResourceGroupId String 否 rg-axndjccbxdj 资源组ID 返回数据 名称...

查询数据开发中可用的集群列表

调用ListFlowClusterAll接口,查询数据开发可用的集群列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...

查询项目中可用的集群列表

返回数据 名称 类型 示例值 描述 PageSize Integer 20 分页查询时每页行数。RequestId String 0d18b019-00ab-455f-b60c-2891bf02f538 请求ID。PageNumber Integer 1 当前页码,从1开始。TotalCount Integer 2 总数。Clusters Array of ...

查询工作流列表

返回数据 名称 类型 示例值 描述 RequestId String 7DDFF4C7-3AE3-485F-BFA1-BAE0AA3689DD 请求ID。PageNumber Integer 1 页码。PageSize Integer 20 每页数量。Total Integer 1 总数。Flow Array of Flow 工作流列表 Flow Status String ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用