功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
在 新建数据源 对话框的 大数据存储 区域，选择 Hologres。如果您最近使用过Hologres，也可以在 最近使用 区域选择Hologres。同时，您也可以在搜索框中，输入Hologres的关键词，快速筛选。在 新建Hologres数据源 对话框中，配置连接数据源...
在 新建数据源 对话框的 大数据存储 区域，选择 SelectDB。如果您最近使用过SelectDB，也可以在最近使用区域选择SelectDB。同时，您也可以在搜索框中，输入SelectDB的关键词，快速搜索。在 新建SelectDB数据源 对话框中，配置连接数据源...
在 新建数据源 对话框的 大数据存储 区域，选择 SelectDB。如果您最近使用过SelectDB，也可以在最近使用区域选择SelectDB。同时，您也可以在搜索框中，输入SelectDB的关键词，快速搜索。在 新建SelectDB数据源 对话框中，配置连接数据源...
配置DataHub输出组件，可以将外部数据库中读取数据写入到DataHub，或从大数据平台对接的存储系统中将数据复制推送至DataHub，进行数据整合和再加工。本文为您介绍如何配置DataHub输出组件。前提条件 已创建DataHub数据源。具体操作，请参见...
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源的...
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在速搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源的...
在 新建数据源 对话框的 大数据存储 区域，选择 Kudu。如果您最近使用过Kudu，也可以在 最近使用 区域选择Kudu。同时，您也可以在搜索框中，输入Kudu的关键词，快速筛选。在 新建Kudu数据源 对话框中，配置连接数据源参数。配置数据源的...
在 新建数据源 对话框的 大数据存储 区域，选择 Hologres。如果您最近使用过Hologres，也可以在 最近使用 区域选择Hologres。同时，您也可以在搜索框中，输入Hologres的关键词，快速筛选。在 新建Hologres数据源 对话框中，配置连接数据源...
使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步数据必须抽象为结构化数据）的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非...
智能化：运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，诸如数据异常访问和潜在的泄漏风险进行有效识别和监控，并提供修复建议。提供定制化的敏感数据识别能力，便于客户自定义识别标准，实现精准识别和高效防护。...
背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick ...
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
不同行业有不同的评估数据质量的标准。对于MaxCompute，数据...及时性 保障数据的及时产出才能体现数据的价值。例如，决策分析师通常希望当天就可以看到前一天的数据。如果等待时间过长，数据失去了及时性的价值，数据分析工作将失去意义。
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
在 新建数据源 对话框的 大数据存储 区域，选择 ArgoDB。如果您最近使用过ArgoDB，也可以在 最近使用 区域选择ArgoDB。同时，您也可以在搜索框中，输入ArgoDB的关键词，快速筛选。在 新建ArgoDB数据源 对话框中，配置数据源的基本信息。...
扫描速度 不同类型数据库的扫描速度说明如下，该扫描速度仅供参考：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据（TableStore、MaxCompute等）：对于较大的数据库（即表数量大于1000个），扫描速度为1000列/分钟。...
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
是 无 column 目标表需要写入数据的字段，字段之间用英文逗号分隔。例如"column":["id","name","age"]。如果要依次写入全部列，使用（*）表示，例如"column":["*"]。是 无 preSql 执行数据同步任务之前率先执行的SQL语句。目前向导模式仅...
背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您需要先完成HBase数据源的创建。更多HBase信息，请参见 HBase官网。使用限制 Dataphin仅支持超级管理员、数据源管理...
在 新建数据源 对话框的 大数据存储 区域，选择 Paimon。如果您最近使用过Paimon，也可以在 最近使用 区域选择Paimon。同时，您也可以在搜索框中，输入Paimon的关键词，快速筛选。在 新建Paimon数据源 对话框中，配置数据源的基本信息。...
是的，分区表把数据切分成小的分片独立管理，从而使得拥有大数据量的表仍然拥有高性能和高可用。分区表的更多介绍请参见 分区表概述。业务上估算单张表的数据量为2 TB，选择使用 PolarDB MySQL版 还是PolarDB-X？PolarDB MySQL版 单表最大...
工作空间已配置数据源：DataWorks的数据源分为引擎绑定时默认创建的引擎数据源和在数据源配置界面创建的自建数据源，若要操作非引擎数据源，请确保已创建数据源，详情请参见 创建并管理数据源。已拥有某数据源在数据分析模块的查询权限：...
在 新建数据源 对话框的 大数据存储 区域，选择 TDH Inceptor。如果您最近使用过TDH Inceptor，也可以在 最近使用 区域选择TDH Inceptor。同时，您也可以在搜索框中，输入TDH Inceptor的关键词，快速筛选。在 新建TDH Inceptor数据源 ...
数据同步过程中，可以修改源表中的字段类型，目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改，并且只能将取值范围小的数据类型更改为取值范围大的数据类型，或者将单精度数据类型更改为双精度数据类型。整型数据类型：支持...
接口说明 本接口一般用于敏感数据资产信息表中列数据的查看，便于用户准确的对敏感数据进行分析。注意事项 DescribeColumns 接口已修订为 DescribeColumnsV2。建议您在开发应用程序时使用较新的版本 DescribeColumnsV2。QPS 限制 本接口的...
操作流程 通过数据集成导出MaxCompute数据的流程如下：添加MaxCompute数据源 将MaxCompute数据源添加至DataWorks的数据源列表。添加目标数据源 将目标数据源添加至DataWorks的数据源列表。创建业务流程 在DataWorks上创建业务流程，为创建...
Oracle CDC：实时数据同步模式，对源表进行INSERT、UPDATE或DELETE等操作的同时可以提取数据，变化的数据被保存在数据库的变化表中，通过订阅变化数据的方式实现数据的秒级同步。MySQL Binlog：实时数据同步模式，通过同步并解析记录所有...
导入数据 在 Project Explorer 区域，单击MaxCompute项目的 Tables&Views 节点前的下拉箭头，右键单击需要导入数据的表，选择 Import data into table。在 Importing data to table_name 对话框中，配置导入文件参数。Input File：导入数据...
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
免费试用额度介绍 目前MaxCompute的免费试用套餐包括 计算抵扣包 和 存储抵扣包，仅支持抵扣MaxCompute按量付费标准版的计算和标准存储，对于其他下载或包年包月版本产生的相关费用无法抵扣。MaxCompute为您提供的免费额度如下：抵扣包类型...
并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当调整任务的并发数，以缩短数据搬迁需要的时间。在产品中配置位置如图所示：文件类型（OSS、FTP、HDFS、S3）数据...
数据过滤 您将要同步数据的筛选条件，暂时不支持limit关键字过滤。SQL语法与选择的数据源一致，此处可以不填。切分键 读取数据时，根据配置的字段进行数据分片，实现并发读取，可以提升数据同步效率。此处可以不填。选择数据去向。参数 ...
批量插入字节大小 批量插入数据的最大字节数。批量条数 批量插入数据的条数。（可选）字段映射：您可以选择字段的映射关系，左侧的 源头表字段 和右侧的 目标表字段 为一一对应关系。说明 参数说明，具体请参见 字段映射。（可选）通道控制...
对于存储层，StarRocks利用了对象存储的几乎无限容量和高可用性特点，不仅支持多种云上对象存储，也兼容HDFS，确保数据的大规模存储和持久化。StarRocks的存储计算分离模式保留了与传统存算一体模式相同的功能，无论是数据写入还是热数据...
如果某行数据的主键属于读取范围，但是该行数据不包含指定返回的列，那么返回结果中不包含该行数据。limit 数据的最大返回行数，此值必须大于0。表格存储按照正序或者逆序返回指定的最大返回行数后即结束该操作的执行，即使该区间内仍有未...
当预设最大值大于数据的最大value值时，预设最大值越大，雷达区域占比越少。颜色 雷达图的渐变颜色，单击右侧的 或 图标，添加或删除一个颜色区域。单击 或 图标配置多个颜色系列的排列样式。单击 图标，即可复制当前选中颜色系列配置内容...
日志数据很少会对原来分区执行更新操作，可以用INSERT操作进行少量数据的插入，但通常需要限制插入次数。如果有大量的更新操作，需要采用INSERT OVERWRITE操作避免小文件问题。为日志表设置合理的分区，并对长久不被访问的冷热数据配置归档...