创建同步Fc 同步OSS 同步Datahub中的数据至OSS指定的文件对象中 创建同步OSS 同步TableStore 同步Datahub中的数据至TableStore指定的具体表中 创建同步TableStore 同步数据库 同步Datahub中的数据至RDS/MySQL/ADS3.0指定的具体表中 创建...
经过数据库身份验证的应用和用户无需更改代码或配置即可透明访问数据，而尝试读取表空间文件中的敏感数据的OS用户以及尝试读取磁盘或备份信息的未知用户不允许访问明文数据。透明：数据在使用过程中无感知，数据在写入磁盘时自动加密，在...
无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应...
找到左侧菜单栏中的 数据使用安全，单击进入 数据使用诊断 页面。查看诊断结果 数据使用诊断 根据诊断相关安全问题的最佳实践，为您展示了系统诊断出的当前工作空间，在数据使用过程中存在的风险隐患。您可以根据诊断结果，识别风险类别、...
当源库不断有业务写入时，数据传输会在全量数据迁移启动前，启动增量拉取模块，以拉取源实例中的增量更新数据，对其进行解析、封装，并存储至数据传输中。当全量数据迁移完成后，数据传输会启动增量数据回放模块，从增量数据拉取模块中获取...
数据集可以是目标数据源中的数据表，也可以是本地文件。准备工作 已在使用ChatBI功能的对应地域创建 Serverless资源组。适用范围 数据源类型的数据集，仅支持选择Hologres、MaxCompute、StarRocks和MySQL类型的数据源。本地文件类型的数据...
高级脱敏功能具有但不限于如下特性：统一管理敏感数据 敏感数据分类分级 周期性扫描敏感数据 主动发现敏感数据 应用场景 实时从生产环境中的数据库（即生产库）获取用户已脱敏的数据来进行报表生成、数据分析、开发测试等。前提条件 已录入...
您可以将DataWorks中的数据文件导出或下载至本地，再上传至溯源任务中进行溯源，也可以将外部系统的数据保存至CSV文件，再上传至溯源任务中进行溯源。目标文件上传成功后，您还可以选择 替换 或 下载 该文件。单击 开始溯源，启动目标溯源...
钉钉官方应用与钉钉三方应用互通：钉钉官方提供的应用、钉钉三方的应用（即钉钉服务商提供的应用）数据互通。例如，当销帮帮CRM中新增一个客户的时候，向钉钉机器人推送消息，在钉钉群里可以看到新增客户的消息。钉钉三方应用互通：钉钉...
场景四：同步历史数据 基于调度参数可根据业务时间将参数自动替换为对应的值这一特性，当您创建任务当天需要将历史数据进行补齐时，您可使用补数据功能，补数据支持补历史一段时间的数据或者未来一段时间的数据，调度参数将在任务调度时...
背景信息 在使用DataWorks进行数据开发的过程中，当您需要读写存储于OSS、NAS中的数据时，可以使用DataWorks的数据集功能。该功能支持您创建和管理数据集及其多个版本，通过数据集版本管理，您能够追踪数据的版本，并在新版本出现问题时...
执行完成后，您可以在 Spark Jar开发 页面 应用列表 页签中的 日志 查看数据。详情请参见 Spark开发编辑器。相关文档 Spark应用的开发概述，请参见 Spark应用开发介绍。Spark应用的配置参数说明，请参见 Spark应用配置参数说明。
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
DataWorks是一站式智能大数据开发治理平台，适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
其中，MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks的数据集成负责完成数据的采集和基本的ETL，并执行包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。整体选型说明 架构概述 本架构围绕“数据采集—数据...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
DataV Proxy应用是一个可视化的DataV Proxy（DataV数据代理服务）配置工具，您可以通过DataV Proxy应用访问本地或内网等不对外开放且无外网访问地址的数据库，保证数据的安全性。本文档为您介绍DataV Proxy应用的启动方法和相关功能，帮助...
您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘或大屏中对数据集中的数据以表格、交叉表、折线图、柱条形图、饼图、双轴图等图形或组件展现出来，并对这些图形或组件进行自由组合、布局，以某种分析思路对业务进行直观呈现。...
例如，业务将应用数据库迁移到云上，需要应对云平台以及运维人员越权访问数据的潜在威胁；再如，数据应用需要将数据库整体线下部署到客户线下环境，需要防止数据被客户运维非授权获取。敏感数据合规：该场景主要针对在不可信环境（如第三方...
注意事项 DataWorks数据服务与DataV进行无缝对接后，无需使用DataV中的API数据源去填写一个URL调用API，直接新建一个DataWorks数据服务作为数据源，便可直接选用数据服务中的API。无需每个API都设置AppKey和AppSecret认证信息，且支持通过...
本文档为您介绍在DataV疫情模板可视化应用中修改组件数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建可视化应用。背景信息 本案例使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为...
本文档为您介绍在DataV疫情模板可视化应用中修改组件数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建可视化应用。背景信息 本案例使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据。如果您的数据源为...
迁移分组评估结果 迁移分组是迁移数据库包含的应用的最小子集，迁移单个应用分组不会对其他分组的数据库节点产生数据依赖。迁移分组包括 应用节点 以及 数据库节点。单击应用节点可以查看单个应用节点的评估改造内容。单应用评估主要分为...
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高...在一些需要应用大量数据对用户行为进行分析的场景中，可以通过整合多种数据来源，存储用户行为数据，构建用户画像，实时存储在Cassandra中，提供大数据风控、推荐等服务。
您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。前置概念 阅读本文前，您可能需要了解如下概念：什么...
本文为您介绍数据资源平台的应用场景。构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据...
本文档介绍配置资产数据的方法，以及资产数据面板的内容，包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，单击 图层...
订阅者按照数据在发布者上被提交的顺序应用数据，这样任意单一订阅中的发布的事务一致性才能得到保证。逻辑复制被构建在一种类似于物理流复制的架构上。它由“walsender”和“apply”进程实现。walsender 进程开始对 WAL 的逻辑解码并且...
通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...
字段标准设计 数据元管理：提供对数据元的标准定义和统一管理，通过分析业务流程，抽象关键业务对象、业务对象属性，配置数据元的类型、长度、质量校验函数和引用数据字典，为逻辑表标准化设计及数据治理过程中的质量监控提供规则依据；...
该方式需要在SDK中使用数据服务中的AppKey和AppSecret。具体操作，请参见 使用SDK调用API。高 简单身份认证 一般用于可视化场景，如DataV调用。该方式需要AppCode，适用于通过直接构造URL访问API数据。低 通过API网关SDK调用API 前提条件 ...
OceanBase 数据传输服务会根据业务需求和安全风险等因素对自动添加的白名单或安全组进行调整操作（增加或删除），请勿将白名单或安全组中的 IP 地址段应用于非 OceanBase 数据传输服务的业务需求。如果因为您将其应用于其他业务需求导致的...
本文为您介绍在DataV名单抽奖模板可视化应用中修改抽奖名单具体数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建模板可视化应用。背景信息 本案例默认使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据...
本文为您介绍在DataV名单抽奖模板可视化应用中修改抽奖名单具体数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建模板可视化应用。背景信息 本案例默认使用的是静态数据源，因此可以直接在组件的数据配置区域粘贴准备好的数据...
本文为您介绍在DataV快乐转转转模板可视化应用中修改转盘抽奖内具体奖品数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建模板可视化应用。操作步骤 登录 DataV控制台。在 我的可视化 页面内，单击 快乐转转转 可视化应用，...
本文为您介绍在DataV快乐转转转模板可视化应用中修改转盘抽奖内具体奖品数据的方法。前提条件 已完成可视化应用的创建，详情请参见 创建模板可视化应用。操作步骤 登录 DataV控制台。在 我的可视化 页面内，单击 快乐转转转 可视化应用，...
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
无论是哪种应用场景，都可以通过DataWorks的数据集成功能完成数据的同步过程，详细的操作步骤（包括创建数据集成任务、数据源配置、作业配置、白名单配置等），请参考 DataWorks文档 中的使用指南-数据集成一栏。文章中余下部分会介绍 ...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...