本文详细介绍DataWorks 的应用场景：如何构建离线与实时一体化的企业级智能云数仓，打破数据时效性壁垒，加速业务决策。构建离线实时一体化企业级智能云数仓 业务挑战 在数字化竞争日益激烈的今天，企业对数据时效性的要求越来越高，但传统...
实时物化视图 差异 数据湖 Spark离线处理 查询性能的智能诊断与调优 RAG应用 时空分析 应用场景 共同点 实时数仓 实时日志分析 商业智能报表 差异 精准营销 多源联合分析 大数据存储分析 离线数据加速 其它数据湖或数据仓库业务迁移...
该功能允许用户通过选择目标备份集并创建数据湖，在离线数据湖中使用SQL语句查询不同备份集中的数据。但随着DLA服务的停止，数据灾备（DBS）的备份数据查询功能也将于2024年05月起逐步下线。更多详情，请参见【通知】停止售卖云原生数据湖...
线热力层是基础平面地图的子组件，支持独立的样式、数据和交互配置，能够以热力线的形式表现地理位置上的线路信息，适用于地图上线路图的大屏展示，例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v1.x版本的线热力层子...
方案亮点：PB级数据量、同时支持在线和离线数据分析。业务挑战 通过对游戏服的用户行为日志进行收集、存储和分析，计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快，需要灵活的Schema。在线用户基数大，日志数据规模大，需要高...
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点：除数据集成节点之外的其他节点。数据开发节点，试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作，您...
OD飞线是三维城市构建器的图层，支持独立的样式和数据配置，能够以飞线的形式表现地理位置上两个点之间的OD数据，可以用来展示两地之间的关联信息，如物流、交易等。本文介绍OD飞线各配置项的含义。在场景编辑器左侧图层列表中，单击 OD飞...
配置DTS数据迁移节点 离线数据集成 用于数据迁移、数据传输等场景，实现数据源之间的数据同步。配置离线数据集成节点 数据加工 单实例SQL 将SQL语句发放到指定的关系型数据库上并执行。说明 如果目标实例已开启无锁结构变更，单实例SQL任务...
Dataphin标签支持将离线数据集输出指标直接定义成为标签。本文将指导您如何通过指标映射方式创建离线标签。前提条件 通过指标映射创建离线标签前需创建对应的离线数据集。更多信息，请参见 创建并配置离线数据集。操作步骤 在Dataphin首页...
Dataphin标签支持将离线数据集输出指标直接定义成为标签。本文将指导您如何通过指标映射方式创建离线标签。前提条件 通过指标映射创建离线标签前需创建对应的离线数据集。更多信息，请参见 离线数据集概述。操作步骤 在Dataphin首页，在...
事件 事件 说明 当飞线请求完成时 飞线数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 请求飞线 重新...
数据写入 您可以通过多种模式将数据写入到MaxCompute，介绍如下：离线批量写入（数据通道）：通过多种方式将离线数据批量写入到MaxCompute表，对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。离线数据流式写入（数据通道）：...
name 可选，动态轨迹线名称 数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型，灵活配置组件数据。数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置...
研发：包括离线管道、事实逻辑表、维度逻辑表、业务限定、原子指标、派生指标、衍生指标、汇总逻辑表、资源、函数、计算任务（不同计算引擎支持的计算任务不同，以实际为准）、数据库SQL、SHELL、PYTHON、VIRTUAL、元表、镜像表、离线计算...
研发：包括离线管道、事实逻辑表、维度逻辑表、业务限定、原子指标、派生指标、衍生指标、汇总逻辑表、资源、函数、计算任务（不同计算引擎支持的计算任务不同，以实际为准）、数据库SQL、SHELL、PYTHON、VIRTUAL、元表、镜像表、离线计算...
读/写-TSDB数据源 写-Vertica数据源 读/写-TOS数据源 读-常见业务场景 MySQL整库实时同步至AnalyticDB for MySQL 3.0 Kafka单表实时同步至ApsaraDB for OceanBase MySQL整库实时同步至ApsaraDB for OceanBase MaxCompute单表离线同步至...
注意事项 将MongoDB的离线数据迁移至Lindorm宽表时，需要将MongoDB嵌套的JSON数据展开成水平结构，并且不涉及数据的变换。说明 如果迁移过程中需要对某些数据进行处理，例如对MongoDB数据中主键进行MD5散列，需要按照如下步骤操作：通过...
该图元的主要特征：一条弧线对应一个线数据，且线仅包含两个点，对应起点和终点。线具有流动动画，且具有方向性，动画配置项中的速度的正负可控制方向。飞线线型有“矢量”和“贴图”两种，“矢量”型由基线叠加高亮线组成，无需贴图；...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如MySQL、...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如MySQL、...
版本适用场景 智能研发版（离线&实时）：支持离线研发和实时研发场景，可创建生产开发隔离的双环境项目，提供智能建模、逻辑运维等特色功能，适用于数据量丰富、权限管控严格、具备专业大数据开发团队的企业用户。购买数量 仅阿里云账号...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在同步任务列表，单击“信用卡客户数据上云_d”操作列的 上线，弹出 确定上线 提示页面，单击 确定。预期结果 在 周期任务管理 页面，“信用卡客户数据上云_d”任务的...
管控项 智能研发版、基础研发版 试用版（免费）：离线标签10个、离线数据集、行为关系、标签市场、标签离线服务、应用管理 基础版：离线标签50个、离线数据集、行为关系、标签市场、标签离线服务、应用管理 标准版：离线标签、离线数据集、...
void deleteMeta(String metric,Map String,String tags)，删除时间线及时间线相关的所有数据。详情请参见 删除时间线。void deleteMeta(Timeline timeline)，删除时间线及时间线相关的所有数据。详情请参见 删除时间线。List TagResult ...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”的传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
DataWorks 内置了开箱即用的公共数据集数据源，帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
在数据中台建设过程中，搭建核心处理平台，并根据相关标准要求，将源数据或治理后的数据，按照“全面、高效、统筹”的共享原则，“低延时”、“精准化”地传递给用户，方便更多应用消费数据，实现数据价值。协同管控各种组织机构，为智慧化...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
聚合（Aggregation）：当同一个度量（Metric）的查询有多条时间线产生（多个指标采集设备），那么为了将空间的多维数据展现为成同一条时间线，需要进行合并计算，例如，当选定了某个城市某个城区的污染指数时，通常将各个环境监测点的指标...
数据编辑器是一款支持多种地理数据编辑与管理功能的小工具，本文介绍数据编辑器的详细功能。进入数据编辑器 单击 DataV.GeoAtlas地理小工具系列，打开 数据编辑器 工具页面。界面概述 数据编辑器页面分为三大主要功能面板，分别为 地图面板...
如离线指标映射标签包括来源数据集、数据集主体、数据集指标、指标值类型、指标描述信息。标签测试：开启了在线服务的离线标签和实时标签可以通过输入主键值方式，测试标签主键值的计算结果。说明 标签测试将使用标签在线服务，数据传输到...
如离线指标映射标签包括来源数据集、数据集主体、数据集指标、指标值类型、指标描述信息。标签血缘：可以查看标签的血缘链路信息。详情请参见 标签血缘说明。标签血缘说明 在标签详情页面单击 标签血缘 页签，将展示当前标签的 血缘关系图...
各数据源血缘展示情况说明 数据源 数据集成 数据开发 表级血缘 字段级血缘 表级血缘 字段级血缘 AnalyticDB MySQL 详情页 详情页-血缘信息 离线同步 实时同步 离线同步 实时同步 insert into/insert overwrite table create as select from...
新增支持Amazon Redshift、Amazon RDS for PostgreSQL/MySQL/SQL Serve/Oracle/DB2数据源，可用于离线集成、元数据采集、全域表质量规则/数据源监控规则创建、API开发（Redshift、DB2数据源暂不支持数据服务）。直连数据源异步模式创建API...
数据清洗：整合高校信息 由于获取到的三个原始文件数据（招生一段线、招生二段线、高校信息）均包含高校相关信息，且存在信息重合情况，为避免多次查询导致分析过程繁琐，在进行数据分析前，需先对这些数据进行整合。创建SQL分析单元。在...
离线数仓加速 离线数据运行在 MaxCompute 等离线数仓上，单天数据增量达到几十GB甚至TB级，需要每天导入数据到 AnalyticDB for MySQL 进行数据加速分析。使用方法 数据导入方式分为常规导入（默认）和弹性导入。常规导入在计算节点中读取源...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
问题描述：线下IDC服务器网络和数据库审计所在VPC网络已连通，但在线下IDC服务器安装Agent后连接状态异常，无法进行流量采集审计。问题原因：数据库审计Agent配置文件 agent.ini 内默认配置连接的数据库审计地址 serviceIp 是域名形式，但...