本文详细介绍DataWorks 的应用场景:如何构建离线与实时一体化的企业级智能云数仓,打破数据时效性壁垒,加速业务决策。构建离线实时一体化企业级智能云数仓 业务挑战 在数字化竞争日益激烈的今天,企业对数据时效性的要求越来越高,但传统...
OD飞线是三维城市构建器的图层,支持独立的样式和数据配置,能够以飞线的形式表现地理位置上两个点之间的OD数据,可以用来展示两地之间的关联信息,如物流、交易等。本文介绍OD飞线各配置项的含义。在场景编辑器左侧图层列表中,单击 OD飞...
数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
TSDB基础版 II(规格为4核 8 GB,数量为2个),测试项和数据如下表:测试次数 数据量 任务进程数 配置 时间线文件大小 每秒迁移的数据点数 迁移用时 TSDB资源消耗 1 总时间线数据为3万 总数据点数为86400000 1 channel:2 oidCache:true ...
Dataphin支持自定义离线数据源,以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库,已获取数据库驱动文件。对于其他类型数据库,获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库,如MySQL、...
Dataphin支持自定义离线数据源,以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库,已获取数据库驱动文件。对于其他类型数据库,获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库,如MySQL、...
注意事项 将MongoDB的离线数据迁移至Lindorm宽表时,需要将MongoDB嵌套的JSON数据展开成水平结构,并且不涉及数据的变换。说明 如果迁移过程中需要对某些数据进行处理,例如对MongoDB数据中主键进行MD5散列,需要按照如下步骤操作:通过...
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建,查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的,即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列,在本目录中会存在一个...
name 可选,动态轨迹线名称 数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据。数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块设置...
事件 事件 说明 当飞线请求完成时 飞线数据接口请求返回并经过过滤器处理后抛出的事件,同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 请求飞线 重新...
配置DTS数据迁移节点 配置离线数据集成节点 数据开发 显示任务流中的数据开发节点:除数据集成节点之外的其他节点。数据开发节点,试运行和发布后的调度功能相同。任务类型介绍 配置DTS位点检查节点 表 数仓表可被其任务流引用并操作,您...
DataWorks数据集成支持复杂网络环境下的数据同步,您可在数据开发(DataStudio)界面直接 创建离线同步节点,用于离线(批量)数据周期性同步;实时同步任务运维,用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
线热力层是基础平面地图的子组件,支持独立的样式、数据和交互配置,能够以热力线的形式表现地理位置上的线路信息,适用于地图上线路图的大屏展示,例如展示地铁线路图。本文介绍线热力层各配置项的含义。重要 当前为v1.x版本的线热力层子...
应用层:基于实际应用需求,获取公共层加工整合后的数据,面向具体应用场景或指定产品进行的个性化数据统计,该层级可以挂载应用表和维度表。数据集市/主题域 属于该层的范畴。定义 数仓分层 内置分层 DataWorks默认为您创建 数据引入层 ...
void deleteMeta(String metric,Map String,String tags),删除时间线及时间线相关的所有数据。详情请参见 删除时间线。void deleteMeta(Timeline timeline),删除时间线及时间线相关的所有数据。详情请参见 删除时间线。List TagResult ...
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势:支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器,复杂查询免调优。MPP多节点全并行计算,PB级数据...
DataWorks 内置了开箱即用的公共数据集数据源,帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
数据安全中心 功能集 功能 功能描述 参考文档 数据分类分级 数据资产接入 支持自动发现并接入阿里云上的数据资产。支持通过一键连接或账密连接方式连接数据库,一键接入支持:RDS、PolarDB、PolarDB-X(原DRDS)、Redis、OSS、TableStore、...
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台,本文介绍数据管理DMS 以及内置 数据灾备(DBS)的产品优势。实现全域数据资产管理 支持全域数据资产:关系型数据库:MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB ...
在数据库日常运维中,您可以通过查看数据库实例中计划执行、正在执行和已执行完成的性能事件(例如异常事件、优化事件、弹性伸缩事件等),及时且全面地了解数据库的性能问题及相关的运维操作。本文介绍如何通过数据库自治服务DAS的性能...
在线离线业务分离 通过LTS,将在线业务数据实时同步到HDFS或者OSS等存储,结合Spark、MR等大数据组件进行数据分析,从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步,当主集群出现问题,可以切换到备集群...
读/写-TSDB数据源 写-Vertica数据源 读/写-TOS数据源 读-常见业务场景 MySQL整库实时同步至AnalyticDB for MySQL 3.0 Kafka单表实时同步至ApsaraDB for OceanBase MySQL整库实时同步至ApsaraDB for OceanBase MaxCompute单表离线同步至...
DataWorks在多个行业中均有典型的案例落地,帮助多个行业的企业解决数据痛点,挖掘数据价值。本文为您介绍典型行业中已落地的客户案例。新零售行业:大润发云上数据中台建设 客户简介 为了快速数字化转型,拥抱新零售,大润发计划两年内将...
DataWorks的数据集成为您提供MongoDB Writer插件,可从其他数据源中读取数据,并将数据同步至MongoDB。本文以一个具体的示例,为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时,需满足以下条件。...
数据编辑器是一款支持多种地理数据编辑与管理功能的小工具,本文介绍数据编辑器的详细功能。进入数据编辑器 单击 DataV.GeoAtlas地理小工具系列,打开 数据编辑器 工具页面。界面概述 数据编辑器页面分为三大主要功能面板,分别为 地图面板...
将数据库接入数据库审计系统后,您可以通过云盾数据库审计系统,查看系统审计到的SQL语句。本文为您介绍如何查看数据库审计系统审计到的SQL语句。操作步骤 登录 云盾数据库审计管理控制台。在左侧导航栏,单击 A100实例。在 A100实例 页面...
应用表是面向具体业务场景时,用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据,为后续的业务查询,OLAP分析,数据分发等提供基础。本文为您介绍如何创建应用表。功能介绍 应用表是将一个数据集市或主题域中...
数据服务提供了计量大屏功能,您可以通过该功能查看各类可视化图表和统计数据,包括工作空间下的API总数、总调用次数以及总执行时长用量等信息,帮助您全面了解API的调用情况。同时,您也可以针对单个API查看监控图表,获取API网关状态码、...
本文介绍 云数据库 SelectDB 版 中手动记录统计信息或者自动收集统计信息,为您进行查询性能优化提供参考。概述 云数据库 SelectDB 版 支持手动记录统计信息或者自动收集统计信息。收集统计信息有助于优化器了解数据分布特性。在进行基于...
统计周期即统计数据的时间范围,例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 需开通智能研发版或资产运营 高级版 功能才能使用统计周期。完成计算引擎类型设置,详情请参见 计算设置。计算引擎类型设置完成后,系统...
统计周期即统计数据的时间范围,例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件 需开通智能研发版或资产运营 功能才能使用统计周期。完成计算引擎类型设置,详情请参见 计算设置。计算引擎类型设置完成后,系统会自动...
该图元的主要特征:一条弧线对应一个线数据,且线仅包含两个点,对应起点和终点。线具有流动动画,且具有方向性,动画配置项中的速度的正负可控制方向。飞线线型有“矢量”和“贴图”两种,“矢量”型由基线叠加高亮线组成,无需贴图;...
任务监控与定位处理 数据建模:智能数据建模 智能数据建模是阿里云DataWorks自主研发的智能数据建模产品,沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践,包含数仓规划、数据标准、维度建模及数据指标四大模块,帮助企业在搭建数据中台...
在排查云数据库 Tair(兼容 Redis)数据库实例的故障和性能降低的原因时,您可以通过时延洞察功能,对数据库所有命令以及自定义特殊事件进行时延统计,得到精确到微秒级别的延迟时间,从事件、时间、时延三个维度对实例进行分析,快速定位...
离线数仓加速 离线数据运行在 MaxCompute 等离线数仓上,单天数据增量达到几十GB甚至TB级,需要每天导入数据到 AnalyticDB for MySQL 进行数据加速分析。使用方法 数据导入方式分为常规导入(默认)和弹性导入。常规导入在计算节点中读取源...
CloudDBA的时延洞察功能可以对 云数据库 Tair(兼容 Redis)数据库所有命令以及自定义特殊事件进行时延统计,并给出精确到微秒级别的延迟时间。您可以通过该功能排查 云数据库 Tair(兼容 Redis)数据库的故障和性能降低的原因。功能简介 ...
使用DataWorks数据地图查看表或数据服务API时,可在对应的详情页面查看详细的血缘信息,这对于数据溯源及管理有很大帮助,本文为您介绍数据地图的血缘查看能力。表血缘 查看入口 查找某张表并进入表详情页面后,您可以单击 血缘信息 页签,...
在 统计信息 区域,您可以查看数据库当前会话统计信息和租户会话详情,包括活跃会话和空闲会话。您也可以选择租户后,通过 租户会话、会话统计、死锁检测、行锁分析 四个页签查看对应详情。查看租户会话 在 租户会话 页签:说明 代理会话 ...
RDS PostgreSQL支持使用pg_profile插件来统计数据库中资源密集型活动,用于分析优化数据库。您可以加入RDS PostgreSQL插件交流钉钉群(103525002795),进行咨询、交流和反馈,获取更多关于插件的信息。插件简介 此扩展基于PostgreSQL的...
首日开通无统计数据,需要等待第二天数据产出后可查看统计信息。功能说明 元数据分析 Location分析 元数据分析 资源总计 总存储量及月/日变化:元数据管理下的表的总存储量(仅包括OSS类型存储,不包括HDFS存储)。总表数量及月/日变化:...