RDS MariaDB、其他来源MariaDB OceanBase MySQL模式 PolarDB PostgreSQL版（兼容Oracle）背景信息 功能测试或者性能测试时，往往需要准备测试数据，通常有以下几种方法：手工编写：效率低，不适用于大数据量场景。维护生成测试数据脚本：成...
在上传数据对话框中，您可以为当前数据选择一个分组，在下方 设置空间字段 处，自定义勾选对应的空间经纬度字段数据，有两种方法可选字段。当经度和纬度在表格中被某一字段表示时，您可以单击选中该字段，并在下方 字段分隔符 中，输入分割...
在上传数据对话框中，您可以为当前数据选择一个分组，在下方 设置空间字段 处，自定义勾选对应的空间经纬度字段数据，有两种方法可选字段。当经度和纬度在表格中被某一字段表示时，您可以单击选中该字段，并在下方 字段分隔符 中，输入分割...
问题分类 常见问题分为如下几种类型：计费问题 性能和规格问题 预检查问题 更多预检查问题，请参见 预检查及修复方法。数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 数据校验问题 其他问题 说明 若您有其他疑问或需求，可以 ...
回收数据空间 通常数据空间的回收有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制...
回收数据空间 通常数据空间的回收有如下几种方式：归档数据 删除数据库中不常用的数据（例如早期的历史数据），或者根据需要迁移到其他数据库实例中，或者以其他形式归档保存，通过直接减少数据量来降低已使用数据空间大小。这种方式是控制...
在云上有数据分析和机器学习需求，希望构建云上的数据湖架构，降低运维和管理成本。如何使用Spark读取DLF数据湖数据？目前DLF支持与阿里云E-MapReduce产品组合实现Spark数据的读取，详细请参考：EMR+DLF数据湖解决方案，暂不支持与自建...
实例问题分析的基本方法论是寻找性能瓶颈，即哪种资源的消耗最多，什么原因导致该种资源消耗较多，并持续将问题做细粒度拆解。对于 PolarDB PostgreSQL版 数据库，使用的基本资源有以下两种：系统资源：包括CPU、I/O、网络、内存和磁盘资源...
实例问题分析的基本方法论是寻找性能瓶颈，即哪种资源的消耗最多，什么原因导致该种资源消耗较多，并持续将问题做细粒度拆解。对于 PolarDB PostgreSQL版（兼容Oracle）数据库，使用的基本资源有以下两种：系统资源：包括CPU、I/O、网络、...
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
对比维度 传统搭建仪表板 小Q问数 用户群体 用户需具备一定数据分析技能 业务人员也能通过自然语言提问，开展业务数据分析 分析灵活性 设计阶段，需设计固定的分析路径，选择合适的可视化展示组件 提问前，支持动态、非预设的分析需求 操作...
仅支持使用 Serverless资源组（推荐）、独享调度资源组 和 独享数据集成资源组，必须在 数据分析 更多 系统管理 中为相应引擎配置调度资源组和数据集成资源组。所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传...
引起分析型数据库MySQL版查询不稳定的因素一般有以下几种：用户执行SQL时首次较慢，之后查询明显比第一次快，这是因为分析型数据库MySQL版自身带有缓存。第一次查询时会将数据缓存到内存中，若下次查询所需要的数据依然在内存中时，此时...
适用场景 数据分析加速：利用只读实例的快速初始化能力，可将OLAP工作负载（例如数据分析和报告生成）转移到只读实例上运行，保障主实例性能不受影响。测试环境隔离：在不同阶段的数据库测试中，可迅速部署只读实例以验证功能，无需担心对...
时序降采样的几种常见方法：直接抽样（Decimation）：这是最直接的方法，简单地每隔N个点取一个数据点。例如，如果原序列每秒采样10次，您可以选择只保留每5个点中的第一个，从而实现每秒2次的采样率。这种方法简单但可能会丢失高频信息。...
如果有某一个点或者某几个点偏离大多数点，也就是离群值，通过散点图可以一目了然。从而可以进一步分析这些离群值是否可能在建模分析中对总体产生很大影响。优势简介 计算能力：自动进行转化率计算。效果图示例 使用限制 分面散点图由 Y轴/...
技术原理 列存索引（IMCI）是一个高性能的列存分析引擎，相关文档请参见 PolarDB HTAP实时数据分析技术解密，ORC和Parquet也是列存格式，OSS支持高并发读取，在高并发时可以获取更高的网络吞吐。因此，IMCI的并行扫描功能可以充分利用OSS的...
除云上OLTP场景外，大量客户也对PolarDB提出了实时数据分析的性能需求。对此，PolarDB技术团队提出了In-Memory Column Index（IMCI）的技术方案，此方案在复杂分析查询场景获得了数百倍的加速效果。MySQL生态HTAP数据库解决方案 MySQL是一...
事件 事件 说明 当下钻或选中变动时 当下钻或选中变动事件触发时，抛出object类型的数据项，自动化控制数据分析的展示，需要包含如下字段：{"id":"",/进行下钻或选中的分析器id"drillStack":[/记录下钻路径 {"comId":"",/发起下钻的组件id...
通过对多种来源的空间专题数据与遥感影像数据的联合查询、波段计算与空间统计等操作，解决各种农业生产数据分析相关的问题，并对接DataV提供丰富多样的地图、统计图表对数据进行可视化展示，从而指导各类农业生产活动高效运行。气象水文...
通过对多种来源的空间专题数据与遥感影像数据的联合查询、波段计算与空间统计等操作，解决各种农业生产数据分析相关的问题，并对接DataV提供丰富多样的地图、统计图表对数据进行可视化展示，从而指导各类农业生产活动高效运行。气象水文...
血缘信息结构如下：如果在DataWorks中基于MaxCompute计算引擎进行生产环境的 数据分析 任务，并且输入/输出是MaxCompute表、OSS路径，该血缘也可以在PAI血缘信息看板中查看和分析。例如，用户通过多次SQL任务生成了一个MaxCompute表，并将...
导致查询磁盘I/O消耗较大的原因通常有如下几种：过滤条件的数据筛选率较低，导致索引的使用效率不高，需要读取的索引量较大。过滤条件没有下推，导致对源表进行了全表扫描。过滤条件下推，但是过滤条件设置的范围较大，仍然有大量数据被...
选择时间范围 可以根据需求选择查询的时间范围和时间粒度，选择时间范围有「相对时段」和「固定时段」两种方式，相对方式里面提供默认时间为过去7天，按天分区展示。相对时段」基于某一锚点往前推的日期范围，会随着时间不断变化，里面有...
从应用视角看，全密态数据库可以解决不同应用场景下的数据安全问题，几种典型场景如下：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。例如，业务将应用数据库...
监控 Zero-ETL 任务 监控Zero-ETL任务有以下几种方式，建议您选择监控告警或订阅事件及时获取任务情况，在任务异常时，可结合主动查看方式，进行任务排查。监控方式 优势 劣势 操作 主动查看 可全方面查看任务状况，比如同步性能、同步详情...
确定了数据内容后，就进入布局阶段，您可以参考以下几种方式进行布局规划。您可以根据现代人的阅读习惯，由上至下和由左至右，串联故事线。如下图，您首先可以看到标题，然后是左侧面板，随后是右侧两个并列的面板，最后才是底下的面板。您...
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
数据倾斜导致的算子下盘 数据倾斜也是一种常见的会导致算子下盘的因素，数据倾斜会导致单个Segment上的数据量和计算量远远超过其他Segment，导致可用内存不够算子下盘。对于数据倾斜的检测和消除，请参见 数据倾斜诊断。
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
降低使用成本：DLA融合冷数据分析+ADB存储密集型温数据分析+ADB计算密集型热数据分析，在满足各种分析场景需求的同时，有效地降低客户的总体使用成本。学习成本低：Data Lake Analytics（简称DLA）和ADB兼容标准SQL语法，无需额外学习其他...
系统内置函数 Quick BI支持的系统内置函数如下：聚合函数 是一种在数据分析中常用的函数，它可以对一组数据进行汇总后再进行计算。这类函数可以帮助您从大量数据中提取出有用的信息概览，如总数、平均数、最大值、最小值等。具体使用方法请...
将重新分片花费的时间从几周或几个月压缩到几分钟或几小时，避免了冗长繁杂的手动数据迁移。通过使用在线重新分片，可以方便地在开发或测试环境中评估不同分片键的效果，也可以在您需要时修改分片键。您可以在业务运行（数据不断增长）的...
使用ADAM包括数据库采集、数据库画像、目标库选型建议、数据库评估分析几个过程，其中数据库采集方式可选在线/离线采集，满足客户不同的采集场景需求。分析与设计：按照ADAM迁移评估报告进行迁移可行性/兼容性分析、改造成本预估、数据库...
这里面还能衍生出好几种组合，比如冷分区数据与索引都存入OSS中，温分区数据存入OSS但索引保留在云盘中，而热分区全部在云盘，使得查询性能基本无衰减。最佳实践 案例一：分区表过期子分区自动冷存 背景描述 轨迹数据采用分区表存储，并按...
仪表盘是 数据管理DMS 数据分析的其中一种可视化应用类型，其提供自动布局和可交互能力，您可以通过使用仪表盘来进行数据分析和制作可视化报表。本文介绍仪表盘的基本概念、功能展示及操作步骤。基本概念 仪表盘集合：仪表盘集合是用户管理...
例如，用户可能分为数据分析、运营、维护部门，各个部门对数仓的需求不同，您需要对不同部门分别进行调研。用户的整体业务架构，各个业务模块之间的联系与信息流动的流程。梳理出整体的业务数据框架。各个已有的业务系统的主要功能及获取的...
适用场景 场景 描述 HDFS导入 如果HDFS导入源数据存储在HDFS中，当数据量为几十GB到上百GB时，则可以采用Broker Load方法向StarRocks导入数据。此时要求部署的Broker进程可以访问HDFS数据源。导入数据的作业异步执行，您可以通过 SHOW LOAD...
适用场景 场景 描述 HDFS导入 如果HDFS导入源数据存储在HDFS中，当数据量为几十GB到上百GB时，则可以采用Broker Load方法向StarRocks导入数据。此时要求部署的Broker进程可以访问HDFS数据源。导入数据的作业异步执行，您可以通过 SHOW LOAD...
功能概述 在实际的业务运行中，不同的业务角色对数据有不同的查看需求，比如：管理层需要定期查看累计用户量、产品日活、交易付费等核心业务数据；产品人员在新产品版本发布后需要查看产品日活、留存、功能点击等数据；活动运营人员需要...