大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。API开发 支持数据服务API、三方API、数据上报API、和空间服务API。支持创建...
再如，数据应用需要将数据库整体线下部署到客户线下环境，需要防止数据被客户运维非授权获取。敏感数据合规：该场景主要针对在不可信环境（如第三方平台）下提供的应用服务的安全防护，保证终端用户敏感数据的安全。例如，企业使用第三方...
数据应用更智能：提供面向业务人员的无代码业务模型构建能力和数据分析能力，大大降低数据获取和分析门槛，让业务人员可以直接使用数据，积累沉淀业务模型，能够向上层应用提供更加智能的数据。数据资产更清晰：从宏观到微观助力数据管理方...
背景信息 DataWorks数据服务作为数据库和数据应用之间的桥梁，旨在为个人、团队及企业提供全面的数据服务及共享能力，帮助用户统一管理面向阿里云内外部的API服务。数据服务已与API网关连通，支持一键发布API至API网关。数据服务与API网关...
说明 若您使用的是非极简模式的控制台，在顶部菜单栏中，选择 Data+AI 数据应用 数据分析。进入数据分析页面，单击 数据展示 页签。单击 新建仪表盘集合，配置 仪表盘集合名称 和 描述（可选）信息。单击 确认。即可完成仪表盘集合的创建，...
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
应用场景 帮助企业将数据变更流程化，实现在一个研发流程中协作、管理多个变更工单。例如，企业需要提交多个数据变更工单进行数据变更，则可以使用 DMS 的DevOps，将不同的工单整合到一个连续的流程中。DevOps使用流程 新建迭代模板。迭代...
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键部署和上线能力，极大的提高了工程效率。节点模式 节点模式...
应用场景 Spark应用性能诊断主要适用于以下场景：数据集性能分析：使用Spark处理大规模数据时，需要对数据集进行性能分析。使用性能诊断工具可以快速定位性能瓶颈（例如：内存峰值、Spill等），提高数据处理效率。大规模应用负载均衡：...
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
本文详细介绍DataWorks 的应用场景：如何构建离线与实时一体化的企业级智能云数仓，打破数据时效性壁垒，加速业务决策。构建离线实时一体化企业级智能云数仓 业务挑战 在数字化竞争日益激烈的今天，企业对数据时效性的要求越来越高，但传统...
数据开发（DataStudio）基于业务流程执行不同引擎的具体开发操作，因此，创建节点前需先创建业务流程，操作详情请参见 创建业务流程。已创建KingbaseES数据源。您需先将您的KingbaseES数据库创建为DataWorks的KingbaseES数据源，才可通过该...
加密技术也是如此，采用加密技术对系统中的敏感数据进行加密保护是很直观的，但同样是对敏感数据进行加密，在系统关键路径中的不同位置、不同粒度数据应用加密，能达到的预期安全效果也是完全不同的。数据库加密技术简介 云盘加密 是指在...
本教程以简单的用户画像分析为例，带您了解DataWorks和EMR如何配合使用完成数据同步、数据开发和任务运维等操作。您可以通过本文了解实验背景、工作流设计、模块及实验相关数据等信息，方便顺利完成教程操作。实验设计 实验背景 为了更好地...
使用流程 数据保护伞为您提供敏感数据规则配置、识别敏感数据、查看识别结果、处理敏感数据等管控流程，帮助您在敏感数据产生的事件前、中、后各阶段管控梳理项目中的敏感数据，保障数据安全。具体流程及相关功能介绍如下。步骤一：事前...
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 应用拓扑 页面了解应用内部服务的调用关系。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，具体操作，请参见 接...
开发流程 数据开发任务的通用开发流程如下。步骤 描述 相关文档 步骤一：新建业务流程 DataWorks数据开发基于业务流程组织与开发代码，您需先新建业务流程，才可进行后续的开发工作。创建业务流程 步骤二：新建数据表 DataWorks支持使用...
建立数据平台 得益于其开放式架构设计，EMR Serverless Spark极大地简化并提升了在数据湖环境中对结构化和非结构化数据进行高效分析处理的能力。EMR Serverless Spark不仅集成了任务调度系统，使得您能够便捷地构建与管理数据ETL流程，轻松...
将应用接入用户体验监控后，ARMS即可开始监控应用，您可以在 应用列表 页面查看应用状态、会话数、页面访问次数、资源调用次数、异常次数和事件次数，以及完成应用启停、删除、别名设置等操作。应用列表 应用列表 展示了所有已接入应用的...
为应用安装探针后，ARMS即可开始监控应用，您可以在 场景化分析 页面了解全局应用的异常、数据库、慢请求和全链路灰度情况。初步筛选数据 在页面右上角选择数据展示的时间段。在页面右上角单击 标签筛选，选择展示指定标签下的应用数据。...
本文介绍接入Agent后找不到应用的解决办法以及接入应用后无法看到接口数据的原因。接入Agent之后，AHAS控制台看不到应用？请参考以下步骤检查。确保选择了正确的地域（Region）。切换地域（Region）步骤请参见 如何切换地域（Region）。...
应用信息 当前导入、导出应用数据时，包含的应用信息如下所示：应用名、应用描述信息、应用所处集群信息、应用实例数 应用程序包、应用镜像 CPU、内存请求与限制值 启动命令、启动参数、环境变量配置 就绪探针、存活探针、启动后脚本、停止...
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 数据库分析 页面查看数据库分析数据，从而了解数据库的调用详情。前提条件 已将应用数据上报至 可观测链路 OpenTelemetry 版，...
调试运行业务流程 数据开发概述，在左侧导航栏的数据开发或手动业务流程模块，双击目标业务流程，进入该业务流程面板。调试运行业务流程。单击业务流程面板工具栏的运行（图标），即可按照依赖关系，依次运行整个业务流程中的任务。说明 当...
然后数据会被连续地使用流复制协议传输到应用工作者，应用工作者会把数据映射到本地表并且以正确的事务顺序应用它们接收到的更改。订阅者数据库上的应用进程总是将 session_replication_role 设置为 replica 运行，这会产生触发器和约束上...
DataWorks是一站式智能大数据开发治理平台，适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
为应用安装探针后，ARMS即可开始监控应用，您可以在 应用列表 页面查看应用的请求数、错误率、响应时间等基本指标，以及应用全局拓扑和健康度。应用列表 应用列表 展示了所有已接入应用的每秒请求数、错误率、平均响应时间等基本指标。单击...
创建周期业务流程 数据开发基于业务流程下对应的开发组件进行具体开发操作，所以您创建节点前需要先新建业务流程。创建业务流程前，您可以参考下文的 设计业务流程 章节，结合自身的业务情况，先规划设计好符合自身业务诉求的业务流程。...
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
最终目标是支撑商家增长、行业增量分析与精细化运营等多类数据应用场景。数据采集层 数据采集层采用DataWorks数据集成 作为统一的数据入口，用于接入三类核心数据源：业务系统数据库（如商品中心、交易中心、品牌库）。埋点数据。日志数据...
数据仓库是面向主题（数据综合、归类并进行分析利用）的应用。数据仓库模型设计除横向的分层外，通常也需要根据业务情况纵向划分数据域。数据域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念，目的是便于管理和应用数据。通常...
数据持久化 将应用数据存储到 NAS、OSS 或 数据库，避免应用变更或停止导致数据丢失。注意NAS、OSS、数据库需要额外付费。日志与监控 部署应用后即可 查看实时日志、查看资源使用情况和负载，无需额外配置。此外，还可以将日志输出到 SLS ...
数据持久化 将应用数据存储到 NAS、OSS 或 数据库，避免应用变更或停止导致数据丢失。注意NAS、OSS、数据库需要额外付费。日志与监控 部署应用后即可 查看实时日志、查看资源使用情况和负载，无需额外配置。此外，还可以将日志输出到 SLS ...
应用程序比数据库复杂，涉及的代码可能经历过很多开发者，改造应用已经成为用户迁移数据库上云的痛点：为了解决用户迁移数据库后的应用改造问题，ADAM提供了应用评估改造功能，保证用户快速改造自己的应用。1.核心功能 提供迁移数据库的...
将应用数据上报至 可观测链路 OpenTelemetry 版 后，可观测链路 OpenTelemetry 版 即可开始监控应用，您可以在 依赖服务 页面了解应用依赖服务的详情，包括外部调用、数据库调用和消息队列的详细信息。前提条件 已将应用数据上报至 可观测...