场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 场景说明：使用自建Spark和DLA Spark分别访问自建Hadoop集群，运行Terasort 1 TB基准测试，对它们的耗时进行对比分析。DLA Spark+OSS配置如下：配置名称 ...
自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群和文件引擎处于相同VPC网络环境时，可以直接通过VPC网络迁移数据到文件引擎。迁移命令如下所示：hadoop distcp-m 1000-bandwidth 30 hdfs:/oldcluster:8020/user/hive/warehouse hdfs:/${...
客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。客户在决策上云之后，会将自建Hadoop集群的数据迁移到阿里云自建Hadoop或者EMR。方案优势 易用性 您可以简单选择所需ECS机型（CPU、...
低成本 在阿里云创建Hadoop类型的EMR集群和自建Hadoop集群相比有一定成本优势，同时阿里云EMR可以使用OSS作为底层存储空间，进一步降低成本。架构图 方案详情 请参见 阿里云自建Hadoop数据迁移到阿里云E-MapReduce。icmsDocProps={'...
当目标数据源为自建Hadoop集群，选择 自建Hadoop。数据库类型 选择 HDFS。数据来源 E-MapReduce集群ID。说明 自建Hadoop集群无此参数。网络校验 单击 网络校验，提示网络连通。单击下一步，填写 配置文件。参数 说明 获取方式 参数配置 无 ...
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
场景三：1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比 准备测试数据 在自建Hadoop上生成1 TB Terasort测试数据。使用spark-submit命令向自建Spark集群中提交运行生成1 TB Terasort测试数据的Spark程序。示例如下...
1 TB测试数据下DLA Spark+用户自建Hadoop集群与自建Hadoop+Spark性能对比结果 集群类型 运行Terasort基准测试集耗时（min）DLA Spark+OSS 43.5 自建Hadoop+Spark 44.8 您可以将自建Hadoop和DLA Spark混合使用，自建Hadoop集群在高峰期需要...
数据迁移和脚本迁移遇到的问题及解决方案请参见 迁移自建Hadoop数据至MaxCompute实践。迁移Oracle数据至MaxCompute，详情请参见 迁移Oracle数据至MaxCompute。迁移消息队列for Apache Kafka集群数据至MaxCompute，详情请参见 迁移消息队列...
SQL字段类型 目前SQL支持的字段类型主要分为三类：AtomicType:基本原子类型 ArrayType:对应于多值字段，内部包含一个AtomicType MultiSetType:对应于子表，内部包含多个AtomicType或ArrayType AtomicType目前支持的类型：int8 int16 int32/...
SQL字段类型 目前SQL支持的字段类型主要分为三类：AtomicType:基本原子类型 ArrayType:对应于多值字段，内部包含一个AtomicType MultiSetType:对应于子表，内部包含多个AtomicType或ArrayType AtomicType目前支持的类型：int8 int16 int32/...
立即清理 保留字段：必须为主表中的 INT 字段类型，该字段值为“秒级”或“毫秒级”unix 时间戳值。在最近X天内的文档：这里的 X 表示需保留最近多少天内的文档，值域[7-180]。该字段值单位为：秒：秒级 unix 时间戳一般为10位整数。毫秒：...
配置参数字段类型如下：仪表板使用该数据集制作图表时，查询条件筛选内容，及生成的SQL如下：从上面自动生成的SQL来看 report_date字段（日期类型），自动以区间的形式查询，如果查询条件里输入的是单日的日期，SQL会自动查询该日数据。...
工具箱是OCR文档自学习所提供的用于模型、模板路由分类及提升识别准确率的小工具集合，当前主要提供了分类器与字段类型两大类工具。分类器管理 分类器：是一个支持多模板、多模型分类路由的工具。用户通过设定分类器中的关键词或训练样本...
工具箱是OCR文档自学习所提供的用于模型、模板路由分类及提升识别准确率的小工具集合，当前主要提供了分类器与字段类型两大类工具。分类器管理 分类器：是一个支持多模板、多模型分类路由的工具。用户通过设定分类器中的关键词或训练样本...
自动识别字段类型：将JSON消息体中的String和Boolean字段分别转化为 表格存储 中对应的String和Boolean字段。JSON消息体中的Integer和Float数据类型，将被转化为 表格存储 中的Double类型。全部作为String写入 主键模式 指定主键模式。支持...
主键（PRIMAEY KEY）约束下字段类型的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY/CHANGE COLUMN DDL，对该列进行字段类型修改操作，MySQL 数据库和 OceanBase 数据库 MySQL 租户的区别如下。...
按照下图操作指引，单击所需的字段类型后，并在字段区域填写 字段名称、数据类型 和 字段说明 信息。参数 描述 字段名称 您可输入字段名称或中文关键词，将自动匹配标准预置的字段名。支持128个字符以内的数字、字母和下划线（_）。数据...
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于不同约束支持的字段类型不兼容的场景。主键（PRIMARY KEY）字段类型 通过 CREATE TABLE DDL 创建 PRIMARY KEY 时，MySQL 数据库和 OceanBase 数据库 MySQL 租户支持的字段类型...
const result=await client.listShares(params,options)参数说明 字段 类型 必选 说明 params IListSharesReq 默认为 {} options AxiosRequestConfig 其它配置项 IListSharesReq 字段 类型 必选 说明 limit number 一次查询多少条数据,0-...
实时数仓Hologres兼容Postgres生态，支持在建表时将字段的类型定义为Serial和Bigserial来定义自增的字段。数据类型简介 Hologres在建表时可以将字段的数据类型定义为 Serial 和 Bigserial。其中，Serial 表示INT4类型的自增字段，Bigserial...
字段类型：根据业务数据的字段类型选择对应的Rowkey字段类型。支持选择的字段类型包括Double、Float、String、Date、Boolean、Int、Long、Short、Byte、Bigdecimal、Binary。如果业务数据的字段类型不在上述字段类型范围内，推荐 您选择...
返回值 字段 类型 必选 说明 result IListRes 是 结果 IListRes 字段 类型 必选 说明 items IDriveItemRes[]是 查询到的云盘信息列表，items 中每一项的具体字段可参考 IDriveItemRes。next_marker string 下一页查询标记。listMyDrives ...
clearRecycleBin 方法 重要 标准模式支持 警告 托管模式不支持 清空回收站 const result=await client.clearRecycleBin(options)参数说明 字段 类型 必选 说明 options AxiosRequestConfig 否 其它配置项 返回值 字段 类型 必选 说明 ...
编辑目标Topic结构 目前 自动建表 生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。...
listSharingFiles 方法 查询我的共享文件列表 const result=await client.listSharingFiles(params,options)参数说明 字段 类型 必选 说明 params IListReq 默认为 {} options IPDSRequestConfig 其它配置项 IListReq 字段 类型 必选 说明 ...
const result=await client.clearRecycleBin(options)参数说明 字段 类型 必选 说明 options IPDSRequestConfig 否 其它配置项 返回值 字段 类型 必选 说明 result IListRes 是 返回结果 IListRes 字段 类型 必选 说明 items array 是 删除...
返回值 字段 类型 必选 说明 result IListRes 是 结果 IListRes 字段 类型 必选 说明 items IDriveItemRes[]是 查询到的云盘信息列表，items 中每一项的具体字段可参考 IDriveItemRes。next_marker string 下一页查询标记。listMyDrives ...
Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型（基于Dataphin字段做了初步的转换）等信息。您可以根据业务情况修改创建目标表的SQL脚本后，单击 新建。目标表新建成功后，Dataphin自动将新建的目标...
MetaStoreType String 否 local 统一元数据类型，取值如下：local：集群内部元数据 unified：统一元数据 user_rds：用户自建RDS MetaStoreConf String 否 rdsxxx.com 统一元数据配置信息。HostGroup.N.HostGroupId String 否 0 保留字段。...
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型...
MetaStoreType String LOCAL 元数据类型，取值如下：LOCAL：集群内部元数据 UNIFIED：统一元数据 USER_RDS：用户自建RDS Name String cluster_name 集群名。OperationId Long 1111 操作ID。OrderList String 0 订单列表。OrderTaskInfo ...
MetaStoreType String LOCAL 元数据类型：LOCAL：集群内部元数据 UNIFIED：统一元数据 USER_RDS：用户自建RDS NetType String vpc 网络类型。SecurityGroupId String sg-bp1id7ajv83kmqwq2isx 安全组ID。SecurityGroupName String emr_sg ...
说明 为了保障数据一致性与正确性，已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段，均会被连带重跑。参数 描述 起始节点 选择重跑下游的起始节点。支持选择全表和指定字段，详细说明如下：全表：逻辑表...
说明 为了保障数据一致性与正确性，已选字段所属物化节点内包含的所有字段、及连带字段归属的其他物化节点包含的字段，均会被连带重跑。参数 描述 起始节点 选择重跑下游的起始节点。支持选择全表和指定字段，详细说明如下：全表：逻辑表...
本文为您介绍 Oracle 数据库和 OceanBase 数据库 Oracle 租户对于修改不同约束下的列的字段类型的不兼容场景。说明 本文表格中，OceanBase 数据库 Oracle 租户允许执行修改一列是经过类型映射后的结果。本文表格中，短横线（-）表示没有、...
Dataphin会自动为您匹配创建目标表的代码，包括目标表名称（默认为来源表名）、字段类型（基于Dataphin字段做了初步的转换）等信息。您可以根据业务情况完成创建目标表的SQL脚本的修改，并单击 新建。目标表新建成功后，Dataphin自动将新建...
const result=await client.listStarredFiles(params,options)参数说明 字段 类型 必选 说明 params object 是 具体字段请查看 ICustomIndexKeyReq options AxiosRequestConfig 否 其它配置项 ICustomIndexKeyReq 字段 类型 必选 说明 ...
本文将为您介绍如何通过DataWorks创建、配置外部表，以及外部表支持的字段类型。外部表概述 使用外部表前，您需要了解下表中的定义。名称 描述 对象存储OSS 提供标准、低频、归档存储类型，能够覆盖不同的存储场景。同时，OSS能够与Hadoop...
await client.deleteGroup(params,options)举例 await client.deleteGroup({ group_id:'0cbfe8de7d7645ea835b1b1a91101e4d' })参数 字段 类型 必选 说明 params Object 是 请求参数 options IPDSRequestConfig 请求参数 params 字段 类型 ...