name 可选,动态轨迹线名称 数据项配置 说明 数据源 组件的数据源中通过 代码编辑 或 可视化编辑 展示了组件所包含的数据字段。也可以修改 数据类型,灵活配置组件数据。数据映射 当您需要自定义图表字段配置时,可以在 数据映射 模块设置...
字段信息:为您展示字段的序号、名称、数据类型、描述/备注、业务类型/关联实体(维度逻辑表和事实逻辑表仅展示关联实体)、关联标准(需购买数据标准模块)、样例数据(仅开启 数据采样 功能时展示)、质量分(需购买数据质量模块且资产...
如果您开启 DDL/DML 统计功能之后又关闭了该功能,则数据传输会保留历史统计数据。增量同步性能 页签为您展示以下内容:延迟:源端增量变更被同步至目标端的滞后时间,单位为秒。迁移流量:源端增量变更数据被同步到目标端的流量吞吐,单位...
DataWorks在多个行业中均有典型的案例落地,帮助多个行业的企业解决数据痛点,挖掘数据价值。本文为您介绍典型行业中已落地的客户案例。新零售行业:大润发云上数据中台建设 客户简介 为了快速数字化转型,拥抱新零售,大润发计划两年内将...
数据管理DMS是一款支撑数据全生命周期的一站式数据管理平台,本文介绍数据管理DMS 以及内置 数据灾备(DBS)的产品优势。实现全域数据资产管理 支持全域数据资产:关系型数据库:MySQL、SQL Server、PostgreSQL、PolarDB MySQL版、PolarDB ...
读/写-TSDB数据源 写-Vertica数据源 读/写-TOS数据源 读-常见业务场景 MySQL整库实时同步至AnalyticDB for MySQL 3.0 Kafka单表实时同步至ApsaraDB for OceanBase MySQL整库实时同步至ApsaraDB for OceanBase MaxCompute单表离线同步至...
各个分层的功能介绍如下:数据引入层 ODS(Operational Data Store)ODS层用于接收并处理需要存储至数据仓库系统的原始数据,其数据表的结构与原始数据所在的数据系统中的表结构一致,是数据仓库的数据准备区。ODS层对原始数据的操作具体...
敏感数据识别任务扫描完成后,您可在数据安全中心以数据库实例、OSS Bucket、SLS Project或具体数据对象(如数据表、文件或每5分钟内存储的数据等)为单位查看敏感数据识别结果。本文介绍如何查看数据对象、数据库实例的敏感数据识别结果。...
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势:支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器,复杂查询免调优。MPP多节点全并行计算,PB级数据...
1小时(相对)大批量修改SQL的列表,包括:最早执行时间 最近执行时间 PolarDB-X 实例ID 数据库 表格 执行次数 平均更新行数 平均时长(秒)SQL 修改数据统计时间 日志报表页面的所有图表都是基于不同时间段(默认为过去1小时内的)的数据...
DataWorks 内置了开箱即用的公共数据集数据源,帮助您零配置快速体验单表离线数据同步。本文为您介绍DataWorks的公共数据集数据同步能力支持情况。支持的数据集详情及地域 支持的公共数据集列表以及数据集的详情参见 DataWorks Gallery 云...
在线离线业务分离 通过LTS,将在线业务数据实时同步到HDFS或者OSS等存储,结合Spark、MR等大数据组件进行数据分析,从而不影响在线业务的查询。主备容灾 通过LTS在主备集群之间实现实时数据的双向同步,当主集群出现问题,可以切换到备集群...
DataWorks的数据集成为您提供MongoDB Writer插件,可从其他数据源中读取数据,并将数据同步至MongoDB。本文以一个具体的示例,为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时,需满足以下条件。...
数据编辑器是一款支持多种地理数据编辑与管理功能的小工具,本文介绍数据编辑器的详细功能。进入数据编辑器 单击 DataV.GeoAtlas地理小工具系列,打开 数据编辑器 工具页面。界面概述 数据编辑器页面分为三大主要功能面板,分别为 地图面板...
该图元的主要特征:一条弧线对应一个线数据,且线仅包含两个点,对应起点和终点。线具有流动动画,且具有方向性,动画配置项中的速度的正负可控制方向。飞线线型有“矢量”和“贴图”两种,“矢量”型由基线叠加高亮线组成,无需贴图;...
任务监控与定位处理 数据建模:智能数据建模 智能数据建模是阿里云DataWorks自主研发的智能数据建模产品,沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践,包含数仓规划、数据标准、维度建模及数据指标四大模块,帮助企业在搭建数据中台...
离线数仓加速 离线数据运行在 MaxCompute 等离线数仓上,单天数据增量达到几十GB甚至TB级,需要每天导入数据到 AnalyticDB for MySQL 进行数据加速分析。使用方法 数据导入方式分为常规导入(默认)和弹性导入。常规导入在计算节点中读取源...
使用DataWorks数据地图查看表或数据服务API时,可在对应的详情页面查看详细的血缘信息,这对于数据溯源及管理有很大帮助,本文为您介绍数据地图的血缘查看能力。表血缘 查看入口 查找某张表并进入表详情页面后,您可以单击 血缘信息 页签,...
DataWorks的数据集成为您提供MongoDB Reader插件,可从MongoDB中读取数据,并将数据同步至其他数据源。本文以一个具体的示例,为您演示如何通过数据集成将MongoDB的数据离线同步至MaxCompute。背景信息 本实践的来源数据源为MongoDB,去向...
功能介绍 在 概览 页面中可以查询当前数据统计信息以及趋势图、离线语音和离线文本指标。在 概览 页面上方导航栏单击 质检用量统计,可查看近七日的计费统计信息。数据统计图 数据统计图包括:大模型调用量、文本质检字符数(包括实文本...
数据点(Data Point)数据源在某个时间产生的某个量测指标值(Field值)称为一个数据点,数据库查询、写入时按数据点数来作为统计指标。时间线(Time Series)数据源的某一个指标随时间变化,形成时间线,Tag的组合 确定一条时间线。针对...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦(DM)数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
离线实例排行 编号 描述 ① 运行状态与时长统计 您可以选择查看运行状态和运行时长统计数据:运行状态统计。运行状态统计任务运行的失败次数和失败次数占比。对于运行失败次数或失败占比过高的任务节点,建议您检查对应任务及其上下游依赖...
离线实例排行 编号 描述 ① 运行状态与时长统计 您可以选择查看运行状态和运行时长统计数据:运行状态统计。运行状态统计任务运行的失败次数和失败次数占比。对于运行失败次数或失败占比过高的任务节点,建议您检查对应任务及其上下游依赖...
数据处理单元的折算逻辑 计费详情 折算逻辑 集成任务&同步任务 统计范围:仅统计周期调度且已发布状态的任务。统计口径:每3个离线任务(数据同步任务+数据集成任务数)向上取整计算1个数据处理单元。离线计算任务 统计范围:仅统计周期...
查看各城市的教育水平 统计每个城市中学校的数量,以及分数线和位次的平均值,并按分数线降序排序,以便了解不同城市的教育水平。单击 图标,创建SQL分析单元。运行如下语句,查看各个城市的教育水平。示例SQL语句。SELECT ANY_VALUE(省份)...
在 PolarDB PostgreSQL版 冷热分层存储架构中,先将冷数据按规则切成小块,再对切好的块数据进行压缩,最后写入OSS,达到通用数据压缩率20%-40%,时空数据压缩率60%-70%,平均压缩率50%的效果,相当于将存储于数据库云盘中的数据转存在OSS...
在 PolarDB PostgreSQL版(兼容Oracle)冷热分层存储架构中,先将冷数据按规则切成小块,再对切好的块数据进行压缩,最后写入OSS,达到通用数据压缩率20%-40%,时空数据压缩率60%-70%,平均压缩率50%的效果,相当于将存储于数据库云盘中的...
修饰词用于限定统计数据的业务范围。创建修饰词后,可对数据进行多维度修饰,以分析特定业务场景(例如“上海区域”、“生鲜门店”)。修饰词与原子指标、时间周期组合后,可构成派生指标。概念说明 修饰词是一种业务修饰,用来圈定或者...
用户分群统计 构建用户特征大宽表,任意选择用户属性标签数据和筛选条件,进行人群特征统计分析。访客来源分析展示 通过批量离线计算对用户访问日志中的用户行为进行关联,生成用户行为路径大宽表同步到ClickHouse,基于ClickHouse构建交互...
数据处理单元统计规则:数据处理单元总量=(数据同步任务数+数据集成任务数)/3+计算任务数(离线和实时)+明细逻辑表总数+[向上取整(指标数/10)]其中:前200个数据集成任务不纳入统计,帮助您降低数据上云成本。明细逻辑表包括维度逻辑...
存储概览 存储概览由离线作业(T+1)产生,统计当前数据目录、数据库和数据表的物理存储数据,包含所有版本的全量数据,帮助您快速了解当前存储资源使用情况及潜在问题,以便进行优化。详情请参见 存储概览。存储优化 存储优化通过一系列...
数据库自治服务DAS(Database Autonomy Service)为RDS PostgreSQL提供查询治理功能,通过离线数据分析技术,每天凌晨1点统计分析前一天的慢SQL并自动打标,帮助您自动分类和划分治理优先级,同时提供治理建议和数据导出功能。前提条件 RDS...
申请、续期和交还表权限 授权与回收表权限 数据源管理 数据源连接测试新增成功有风险状态,该状态下的数据源仅可用于数据服务、数据质量功能,不可用于数据开发和数据集成功能。ElasticSearch数据源新增支持HTTPS连接;支持自签名证书。...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 整库离线 支持数据来源:MySQL 配置指导:数据集成侧同步任务配置 配置案例 MySQL整库离线同步至Hive
单击日推送统计数据右侧的 通道统计数据,查看各通道统计数据详情。说明 通道统计分为推送自有通道和厂商通道。阿里云在线通道:设备在线时优先走自有在线通道。阿里云离线通道:设备不在线且不满足厂商通道的条件时,或厂商通道推送接口...
Lindorm Ganos 时空服务扩展了 云原生多模...同时,网格索引可以随时更新存储统计数据,可 基于网格进行快速聚合统计,例如:统计数量:以网格为单位统计商区数量、轨迹数量等。统计区域属性:以网格为单位统计植被覆盖率、交易量总和等指标。
数据库自治服务DAS(Database Autonomy Service)提供实例画像功能,基于数据库实例的运行特征表现,通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌,快速确认数据库实例是否存在异常与缺陷...
数据库自治服务DAS(Database Autonomy Service)提供实例画像功能,基于数据库实例的运行特征表现,通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌,快速确认数据库实例是否存在异常与缺陷...
支持的同步类型 单表离线 支持数据来源:数据集成模块数据来源支持的所有数据源类型 配置指导:离线同步任务配置 单表实时 支持数据来源:Kafka 配置指导:数据集成侧同步任务配置 整库离线 支持数据来源:MySQL 配置指导:数据集成侧同步...