解决方案 查询条件多选默认值是从10000条后台缓存数据中取出的1000条数据，这个缓存是仪表板图表在打开时从数据库中查询的10000条数据，并将这10000条数据缓存在后台；每次打开查询条件的这个字段，都会从缓存中取出1000条数据默认展示在...
300个 函数数量限制 100个 客户端请求最大超时时间 60秒 控制台请求最大超时时间 60秒 定时任务单次最大运行时间 7200秒 云数据库 针对云数据库的系统限制如下表：限制项 限制说明 QPS 1000次/秒 并发执行数 100个 单次请求超时时间 5秒 ...
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
超过预设的缓存时间后，缓存失效，此时在报表页面触发查询才会有新的缓存，相同SQL查询语句从缓存中取数。缓存以数据集为粒度，清理缓存时会清理该数据集关联的所有图表缓存数据。超过预设的缓存时间后，此数据集的所有图表缓存都会被清除...
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
location_cache_expire_time 位置缓存中缓存项的过期时长。force_refresh_location_cache_threshold 刷新位置缓存时每秒最多刷新次数，超过会被限流。max_stale_time_for_weak_consistency 弱读允许的最大时间延迟时间。multiblock_read_...
Compaction过程中针对已有的缓存数据做定点更新。Compaction Compaction操作是比较重要的，需要把相邻层次交叉的Key Range数据读取合并，然后写到新的位置。这是为前面简单的写入操作付出的代价。X-Engine为优化这个操作重新设计了存储结构...
云数据库HBase存储海量大数据，在业务场景中往往承载着重要数据，为保障数据的高可用性和安全性，云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活：大数据量随机读响应...
数据缓存 数据缓存管理 下表详细列举了ossfs和云存储网关软件版的数据缓存原理对比：对比项 云存储网关软件版 ossfs 存储形式 数据缓存在本地磁盘中，占用的空间预先分配并统一管理。数据以临时文件的方式存在系统盘/tmp目录下，临时文件对...
否 partitionedjoin 参数的取值如下：false（默认值）true 说明 此处的分区指在缓存中按照并发对维表的key进行分区，并非支持Hologres分区表做维表。async 是否异步读取数据。异步模式可以并发地处理多个请求和响应，从而连续的请求之间不...
如果有缓存并且enable设为YES，则会返回缓存数据给用户，若缓存数据过期则异步解析域名更新缓存数据；如果有缓存并且enable设为NO，那么当缓存过期时会返回nil给用户并异步解析域名更新缓存数据。param domain 域名/param enable 是否允许...
DML支持GLOBAL PARTITIONED INDEX SCAN 大小写不敏感 新增大小写不敏感功能，开启大小写不敏感功能后，对于无双引号、双引号+全大写和双引号+全小写的数据库对象被视为等价。大小写不敏感 新增Oracle内置函数 PolarDB PostgreSQL版（兼容...
多级缓存是一种高级缓存性能优化技术，全站加速 DCDN 将源站资源缓存到全球各地不同层级的缓存节点上，使得数据在最接近请求来源的位置被尽可能快地提供，从而提升整体系统的性能和效率。功能概述 全站加速 DCDN 依托于遍布全球的3200+边缘...
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
由于多个主机的数据库实例需要访问块存储上的同一份数据，常用的Ext4等文件系统不支持多点挂载，PolarDB数据库团队自行研发了专用的用户态文件系统，提供常见的文件读写查看接口，支持类似O_DIRECT的非缓存方式读写数据，还支持数据页原子...
如下图所示，ChainLog保证任意大小数据写入PM的原子性，batching用于聚合小的事务缓存批量写入PM以减少PM的随机写，并发环提供针对ChainLog无锁的流水线化写入到PM中以提高多核系统的伸缩性。对于一个待提交的事务，首先被封装成一个...
背景信息 可观测性是以系统的指标、日志、链路追踪三大数据支柱为基础，衍生出如数据监控、问题分析、系统诊断等一系列的能力。指标（Metrics）：记录一段时间内各个维度的量化信息，用来观察系统的某些状态和趋势。日志（Logs）：记录程序...
背景信息 可观测性是以系统的指标、日志、链路追踪三大数据支柱为基础，衍生出如数据监控、问题分析、系统诊断等一系列的能力。指标（Metrics）：记录一段时间内各个维度的量化信息，用来观察系统的某些状态和趋势。日志（Logs）：记录程序...
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
创建过多的索引会使数据规模很大，导致WiredTiger Cache缓存的热数据减少，业务数据写操作过程中需要多⼀次I/O操作以更新索引，从而影响I/O性能。为了避免以上情况，建议您创建合适的索引，详情请参见 Indexes。业务架构和运维优化 在业务...
表示如果缓存中的数据在等待指定时间后，依然没有达到输出条件，系统会自动输出缓存中的所有数据。Integer 否 参数默认值取值情况如下：在Flink计算引擎VVR 3.x版本及以下版本，该参数默认值为1000。在Flink计算引擎VVR 4.0.10及以上版本，...
随着AI、数据仓库、大数据分析等业务发展，越来越多运行在OSS上的业务对于数据的访问延迟和吞吐量有了更高的要求。OSS推出加速器功能，可以将OSS中的热点文件（Object）缓存在NVMe SSD高性能存储介质上，提供毫秒级低延迟和高吞吐量的数据...
云原生内存数据库Tair 的集群架构和读写分离架构中，代理服务器（Proxy）承担着路由转发、负载均衡与故障转移等职责，可以帮助您简化客户端的逻辑，同时支持多数据库（DB）、缓存热点数据等高级功能。通过了解Proxy的路由转发规则和特定...
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
在 云数据库 Redis 版 集群架构和读写分离架构中，代理服务器（Proxy）承担着路由转发、负载均衡和故障转移等职责，可以帮助您简化客户端的逻辑，同时支持多数据库（DB）、缓存热点数据等高级功能。通过了解Proxy的路由转发规则和特定命令...
源表的每条数据都会触发系统先在Cache中查找数据，如果未找到，则去物理维表中查找。cachesize 否 缓存大小。默认值：10000。选择LRU缓存策略后，可以设置缓存大小。cachettlms 否 更新缓存的时间间隔，单位为毫秒。当选择LRU缓存策略后，...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型治理，极大提升数据中台的自服务能⼒，让企业数据决策实现下放，释放新零售的数字化力量。上市公司创梦天地：基于开源的EMR引擎，用DataWorks替换自研调度系统，企业内部...
产品架构 以下为阿里云CDN的产品架构图，由调度系统、链路质量系统、缓存系统和支撑系统这四大系统组成。链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统...
缓存模式提供本地缓存盘进行读写加速，缓存数据异步上云，适用于期望本地快速访问但是上云链路慢的客户。适用场景 云存储网关适用于以下场景：云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问...
在Job运行前，系统会将维表中所有数据加载到Cache中，之后所有的维表查找数据都会通过Cache进行。如果在Cache中无法找到数据，则KEY不存在。全量的Cache有一个过期时间，过期后会重新加载一遍全量Cache。重要 仅实时计算引擎VVR 8.0.3及...
CPU作为数据库最核心的资源，是日常运维中需要重点关注的对象。CPU用满，会导致应用RT增高、业务卡顿，更严重会导致数据库实例hang死、发生HA等问题，严重影响现网业务。正常情况下，对于CPU的监控需要设定安全水位，超出安全水位时要及时...
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
常见原因 引擎内存 云数据库 MongoDB 版 的大部分内存都会用于存储引擎缓存。考虑到兼容性和安全性，云数据库 MongoDB 版 将存储引擎WiredTiger的cachesize设置为实际申请的实例内存规格大小的60%左右。具体规格，请参见 产品规格。如果...
设置缓存数据的失效时间。在右上角单击 保存。在 新建连接 对话框，选择新建数据连接存放的目标文件夹，单击 确定，即可完成数据连接配置。如果需要新建文件夹，可以在 新建连接 对话框左下角，单击 新建文件夹，完成文件夹创建。步骤二：...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
MySQL+专用AP数据库的搭积木方案 专用分析型数据库产品众多，一个可选方案为：使用两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据实时同步。用户甚至可以增加一层proxy，自动将TP型负载路由至MySQL数据库，...
缓存模式：本地缓存全量元数据和经常访问的用户数据。OSS侧保持全量数据。传输加速 传输加速会提高跨域情况下的数据传输速度，充分利用网关的公网带宽，使用前请确保正在使用的OSS Bucket已开启了传输加速。碎片优化 针对某些反复随机小IO...