二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
问题描述 Quick BI中接入亚马逊云平台的MySQL数据库报“数据源连通性异常，请检查参数是否正确，错误信息:XXX:ECS only support IP address”。问题原因 创建"自建数据源"时MySQL有安全问题，Quick BI产品做了特殊校验。因此接入MySQL时，...
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手，不断提升数据应用效率，助力产业数字化升级。产品架构 DataWorks十多年...
新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，大润发计划两年内将IT系统全面迁移到阿里云上，不再自建IDC。同时与阿里云合作启动数据中台项目，可以帮助大润发降低TCO的同时，更好的依托云...
数据处理 支持倾斜数据处理能力，可以将OSGD格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
数据处理 支持倾斜数据处理能力，可以将OSGB格式数据转化为S3M数据，再将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。支持对数据处理任务进行管理。支持查看数据处理任务详情，包括任务的基本信息、处理的...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
开通企业数据智能平台 企业数据智能平台默认为关闭状态，使用前需要前往 AnalyticDB PostgreSQL版 控制台开通。登录 云原生数据仓库AnalyticDB PostgreSQL版控制台。在控制台左上角，选择实例所在地域。...单击 开通数据中台。
构建数据中台，行业领域模型快速沉淀 场景：快速构建数据仓库，有效治理数据质量，实现政企客户各部门数据的业务协同和共享。痛点：以政务服务为例，政务服务部门众多，业务系统复杂、流程长，数据来源多且更新频率高；数据口径标准、数据...
面向数据资产管理者提供服务的统计分析、服务用量统计分析、热门数据统计分析能力，实现数据中台建设后半场“数据应用”的有效落地，支撑数据智能应用的高效开发。通用资源 提供了自定义函数和函数资源的能力，帮助用户在数据开发等过程中...
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
统一服务：是一款数据中台建设过程中的数据服务化组件，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析能力，实现数据中台建设后...
资产质量概述 数据服务 数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时，保障了数据开放的安全。数据服务概述 本文仅列举了...
异常字符 当数据中的value值不为number类型时，该值为异常字符的替换值。初始化字符 自定义组件初始化时value显示的内容。标题 参数 说明 标题名 标题的名称，输入一般为文本。与数据中的 name 字段对应，优先使用数据中的配置。文本样式 ...
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
您可以在控制台清除 云原生内存数据库Tair 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Tair实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面...
连接访问 打开SQLConsole页面时提示“未获取到数据库相关信息”的报错 MySQL中出现“Too many connections”报错 新增ECS自建数据库提示“因白名单问题无法连接数据库”账号或权限 如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加...
您可以在控制台清除 云数据库 Redis 版 实例中的所有过期数据或所有数据。操作步骤 说明 在 参数设置 中禁用 FLUSHALL 命令不会影响控制台中 清除数据 功能。访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在 实例信息 页面，...
4 我的看板 当前区域为可视化应用中心中数据看板的展示页面，当可视化工作台中的数据看板发布后，此处即展示已发布的数据看板。可视化演播厅 序号 区域名称 说明 1 工作空间 当前区域为可视化演播厅中工作空间的管理部分，通过切换工作空间...
12 TotalCount integer 结果中数据的总条数。1 Items object[]异常事件列表。DisplayName string 异常事件操作人账号显示名。yundunsr Status integer 异常事件处理状态。0：未处理。1：确认违例。2：违例排除。0 WarnLevel integer 异常...
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
本文介绍在DataV中添加DataWorks数据服务数据源，并将通过DataWorks数据表生成的API，快速地展示在DataV可视化大屏中的方法。前提条件 已准备好待添加的DataWorks数据服务数据源。背景信息 DataWorks数据服务生成的API默认不支持HTTPS协议...
单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。您可以在同步任务配置...
在数据库日常运维中，您可以通过查看数据库实例中异常事件、优化事件、弹性伸缩事件等，及时且全面地了解数据库的性能问题及相关的运维操作。本文介绍如何通过数据库自治服务DAS的自治中心功能，实时查看数据库实例的各类性能事件及其详细...
说明 通过 e.getErrData()即可获得异常数据List，此错误码在 addMap(s)、addRow(s)、commit 操作的时候都可能会发生，因此在这些操作的时候需要单独处理此错误码的异常 COMMIT_ERROR_OTHER 102 commit中的其他异常。ADD_DATA_ERROR 103 add...
您在 异常统计数据 区域查看到异常数据后，可在应用本地日志中查看异常记录。说明 控制台查看以秒为单位的异常统计情况，异常详细内容您可以在本地异常记录文件中查看。异常记录的文件地址：与 metrics.log 同个目录。异常记录的文件名称：...
单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，导致因为转换不合理而无法写入的数据。您可以在同步任务配置时，控制同步...
您在 异常统计数据 区域查看到异常数据后，可在应用本地日志中查看异常记录。说明 控制台查看以秒为单位的异常统计情况，异常详细内容您可以在本地异常记录文件中查看。异常记录的文件地址：与 metrics.log 同个目录。异常记录的文件名称：...
COMMIT_ERROR_DATA_LIST 101 提交中某些数据出现异常，会返回异常的数据，通过 e.getErrData()即可获得异常数据List。此错误码在 addMap(s)、addRow(s)和提交操作的时候都可能会发生，需要单独处理此错误码的异常。COMMIT_ERROR_OTHER 102 ...
您在 异常统计数据 区域查看到异常数据后，可在应用本地日志中查看异常记录。说明 控制台查看以秒为单位的异常统计情况，异常详细内容您可以在本地异常记录文件中查看。异常记录的文件地址：与 metrics.log 同个目录。异常记录的文件名称：...
步骤五：创建并启动入湖任务 由于DLF中数据入湖功能已经停止更新，如果您有数据入湖需求请参考 DLF中数据入湖功能停止更新公告。您可以采用以下两种方式进行Delta Lake和Hudi格式的数据入湖操作。重要 Delta格式的数据入湖可选择单表离线...
及时发现数据库异常是数据库日常运维的重要任务。通过告警服务，您可以自定义告警项、告警阈值和自治事件。当数据库出现异常情况或达到预设的告警阈值时，系统会立即通知设定的告警联系人，以帮助您及时发现数据库异常并维护数据库的稳定性...
为了将业务人员从重复、无效的分析工作释放出来，并通过智能化的能力帮助业务管理者、运营、业务分析师等人员高效的从数据中发现规律和异常，实现知识的提取，需要提供智能、全面、精准的数据诊断和分析能力，自动洞察数据中的有效知识，...
数据库自治服务DAS为RDS PostgreSQL提供空间分析功能，可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间异常诊断等，能够帮助您及时发现数据库中的空间异常，避免影响数据库稳定性。...
异常事件类型 异常事件可分为以下类型：流转异常：数据在流转过程中出现的异常情况。例如：下载非常用Bucket内敏感文件、初次下载敏感数据等。行为异常：非正常的数据操作行为。例如：登录密码连续错误、短时间内大量删除数据等。自定义...
使用数据安全中心可以监测和防范各类数据泄露风险，例如身份...处理方法：通过 数据安全中心控制台 的 数据审计>日志分析 页面中的审计日志持续监控后续行为，观察是否有违规行为。相关文档 查看审计日志 发现和处理异常告警 自定义检测模型