mysql性能调优与架构设计

_相关内容

性能调优

本文介绍 AnalyticDB MySQL 中性能调优的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时,表明该问题仅适用于 AnalyticDB MySQL 数仓版(3.0)。常见问题概览 为什么写入峰值下降了,但是CPU没有降下来?在哪些场景下,...

调优集群性能

云原生数据仓库 AnalyticDB MySQL 版 的监控信息功能提供了丰富的监控指标,您可以通过集群的各项监控指标,掌握集群的性能和运行状况。当您发现监控指标存在异常时,可以参考本文排查出现异常的原因。查看集群监控指标的方法,请参见 查看...

Spark常见报错

例如:访问RDS MySQL数据源时,应在 安全组规则的入方向出方向 开放3306端口。检查当前Spark作业中挂载的弹性网卡是否和目标数据源在同一个VPC中。SSL peer shut down incorrectly 报错出现日志:Driver日志。报错原因:通过Spark访问...

架构优化

通过弹性计算、网络和数据库几大类IaaS/PaaS云资源性能优化,可以为用户在云上环境中获得云基础设施资源层面的调优。在实际架构、部署和运维过程中,用户通常以运行在云环境上的应用性能优化为度量目标。应用架构层面的架构优化需要根据...

DBVisualizer

了解DBVisualizer AnalyticDB for MySQL 之间的兼容性,请参见 兼容性概览。安装MySQL JDBC驱动。安装DBVisualizer。将安装了DBVisualizer软件的设备IP添加到 AnalyticDB for MySQL 集群的白名单中。具体操作,请参见 设置白名单。如果您...

Flink数据导入

步骤三:数据验证 登录 AnalyticDB MySQL 目标数据库,来查看并验证源数据是否成功导入。步骤一:数据准备 在其中一个Flink节点的root目录下,执行 vim/root/data.csv 命令来创建一个名为data.csv的CSV文件。文件中包含的数据如下(您可以...

访问RDS MySQL数据

前提条件 AnalyticDB MySQL 湖仓版(3.0)集群RDS MySQL实例位于同一地域。具体操作,请参见 创建集群 和 创建RDS MySQL实例。已创建Job型资源组。具体操作,请参见 新建资源组。已创建数据库账号。如果您是通过阿里云账号访问,只需创建...

Hive数据导入

重要 展示的Bucket是 AnalyticDB MySQL 集群同地域的所有Bucket,您可以任意选择其中一个。请谨慎规划存储路径,创建后不允许修改。建议选择一个空目录,且不能其他任务的OSS路径有相互前缀关系,防止数据覆盖。例如,两个数据同步任务...

表结构设计

本文介绍如何设计 AnalyticDB for MySQL 的表结构(包括选择表类型、分布键、分区键、主键和聚集索引键等),从而实现表性能的优化。选择表类型 AnalyticDB for MySQL 支持复制表和普通表两种类型。在选择表类型时,需要注意如下几点:复制...

通过LOAD DATA导入至数仓版

[FIELDS]TERMINATED BY 'string' 定义列分隔符,默认为 \t,与MySQL一致。[FIELDS]ENCLOSED BY 'char' 定义每列数据的enclosed符号。例如,某一列数据为"a",定义 enclosed by '"' 后,导入数据时先将"a"前后的"移除,然后导入数据。[LINES...

永洪BI

完成上述参数配置后,单击 测试连接 进行连通性测试,系统提示测试成功后,即可连接至指定的 AnalyticDB MySQL 数据库。使用永洪BI 通过永洪BI连接 AnalyticDB MySQL 集群后,您就可以获取 AnalyticDB MySQL 中的数据,然后通过永洪BI制作...

一级分区的规划和设计(2.0版)

本章节介绍一级分区表的规划和设计,其中主要是一级分区列的选取。AnalyticDB MySQL 2.0一级分区表采用HASH分区,可指定任意一列(不支持多列)作为分区列。HASH分区通过标准CRC算法计算出CRC值,并将CRC值分区数作模计算,得出每条记录...

使用限制

操作 时间限制(ms)超时说明 创建集群 600000 无 删除集群 300000 无 扩容集群 600000 无 创建数据库 10000 无 删除数据库 10000 无 创建表或视图 10000 无 删除表或视图 10000 无 清空表(TRUNCATE TABLE)60000 无 新增列 10000 无 删除...

数据导出到MongoDB

将数据从HybridDB for MySQL导出到MongoDB中需要如下三个步骤:在HybridDB for MySQL中建立导出数据的真实存储表 ...这里导入导出都是同步模式,发起导出的MySQL Client需要一直与数据库保持连接。如需要异步提交,请参见 异步提交导入任务。

分区设计

用户存有海量数据的表应该按照数据规模进行拆解,表的数据将拆解成多个数据分区独立存储,通常的设计原则是:主键(Primary Key)单实例数据库不要求表一定要有主键,但是对于分布式数据库,主键则是必须的,以保证一行数据是全局唯一的,...

购买、变配升级

本文介绍 AnalyticDB MySQL 中新购升级的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时,表明该问题仅适用于 AnalyticDB MySQL 数仓版(3.0)。常见问题概览 AnalyticDB for MySQL数仓版(3.0)和湖仓版(3.0)的区别是...

结果集缓存

注意事项 由于当前多主架构设计的限制,底层数据发生更新后,数据更新需要经过存储层同步到接入层,并在接入层内部节点间同步。因此数据更新信息的传递会有最多10秒的延迟,导致结果集缓存不能保证强一致性,但可以保证最终一致性,即在...

通过外表导入至数仓版

AnalyticDB for MySQL 支持通过外表读取并导入MaxCompute数据。通过外表导入数据可以最大限度地利用集群资源,实现高性能数据导入。您也可以进一步选择通过Tunnel方式和Storage API两种方式访问并导入MaxCompute数据,相较于Tunnel方式,...

通过数据同步功能同步Kafka至湖仓版(推荐)

AnalyticDB for MySQL 湖仓版(3.0)支持新建Kafka同步链路,通过同步链路从指定时间位点,实时同步Kafka中的数据入湖,以满足近实时产出、全量历史归档、弹性分析等需求。本文主要介绍如何添加Kafka数据源,新建Kafka同步链路并启动任务,...

通过外表导入至湖仓版

在 AnalyticDB MySQL 中创建数据库,示例如下:CREATE DATABASE adb_demo;在 AnalyticDB MySQL 中创建表用于存储从MaxCompute中导入的数据,示例如下:说明 新表和步骤3中创建的外表的字段顺序和字段数量需要一致,字段类型兼容。CREATE ...

数据导入优化建议

批量和实时导入如何选择 从MaxCompute或者OSS导入HybridDB for MySQL,推荐使用 INSERT OVERWRITE SELECT 做批量导入:批量导入适合大数据量导入,性能较好。批量导入适合数据仓库语义,即导入过程中旧数据可查询,导入完成一键切换新数据...

2.0版SQL开发规范

在2.0集群中,编写和优化SQL的要求和经验总结如下:SQL编写原则为追求简单 一般情况下,数据库性能会随SQL复杂度而下降。例如,单表查询(冗余设计)优于表关联查询。SQL优化核心方法是减少I/O 尽可能少的进行列扫描,返回最小数据量,减少...

查看监控信息

相关文档及API 相关文档 调优集群性能 相关API 数仓版API API 说明 DescribeDBClusterPerformance 查看目标 数仓版(3.0)集群的查询和写入监控信息。DescribeDBClusterResourcePoolPerformance 查看目标 数仓版(3.0)集群的资源组监控...

Quick BI

选择 云数据库>AnalyticDB for MySQL 3.0。在 添加AnalyticDB for MySQL 3.0数据源 页面进行参数配置。用同一账号购买 AnalyticDB MySQL版 和Quick BI时,选择数据库下拉菜单会自动显示当前账号购买的 AnalyticDB MySQL版,选择后会自动...

写入查询

本文介绍 AnalyticDB MySQL 中写入查询的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时,表明该问题仅适用于 AnalyticDB MySQL 数仓版。常见问题概览 湖仓版(3.0)集群是否支持通过JDBC方式查询Hudi表的数据?湖仓版(3.0...

查询数据库账号

AnalyticDB MySQL兼容MySQL数据库,AnalyticDB MySQL中也有一个名为MySQL的内置数据库,该数据库中存储的是AnalyticDB MySQL中的用户权限信息。您可以通过SELECT语句查询AnalyticDB MySQL中的用户信息。注意事项 AnalyticDB MySQL中,...

MySQL数据库对外键和索引等名称的长度限制导致创建时...

问题描述 RDS产品的MySQL数据库创建索引报如下错误。Identifier name 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' is too long 问题原因 因为 MySQL数据库 对外键和索引等名称的长度有限制,具体如下:Identifier...

DataWorks调度XIHE SQL

本教程将使用 orders 表作为测试数据,连接 AnalyticDB MySQL 数据库后,执行以下SQL创建测试数据表。CREATE TABLE orders(o_orderkey bigint NOT NULL COMMENT'',o_custkey int NOT NULL COMMENT'',o_orderstatus varchar NOT NULL ...

INSERT OVERWRITE SELECT

本文介绍 云原生数据仓库AnalyticDB MySQL版 表数据的高性能写入方式 INSERT OVERWRITE SELECT,包括应用场景、功能原理、注意事项、语法和异步写入应用。功能原理 INSERT OVERWRITE SELECT 会先清空分区中的旧数据,再将新数据批量写入到...

Spark计算引擎

AnalyticDB MySQL Serverless Spark是 AnalyticDB MySQL 团队基于Apache Spark打造的服务化的大数据分析计算服务,开通 AnalyticDB MySQL 服务后只需简单的配置,就可以提交Spark作业,无需关心Spark集群部署。方案架构图如下所示:...

SQL Pattern

同时,SQL Pattern的聚合结果能作为数据库优化的有效依据。针对导致实例压力过大的Bad SQL,用户还可以通过拦截功能,对其进行拦截,快速恢复实例,详情请参见 Persist plan and Query-Blocker。功能说明 SQL Pattern具备以下功能。Pattern...

Spark SQL创建C-Store表

AnalyticDB for MySQL 支持使用Spark SQL创建C-Store表,本文主要介绍使用Spark SQL创建C-Store表的语法、示例以及数据类型的映射关系。背景信息 AnalyticDB for MySQL Spark SQL创建C-Store表的语法开源社区Spark SQL的建表语法存在差异...

从OSS批量导入导出

这里导入导出都是同步模式,发起导入的MySQL Client需要一直与数据库保持连接。如需要异步提交,请参见 异步提交导入任务。OSS数据文件无需文件头。如果HybridDB for MySQL存储表中有自增列,OSS外部表的DDL定义无需定义自增列,OSS数据...

监控

本文汇总了 AnalyticDB for MySQL 中监控的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时,表明该问题仅适用于 AnalyticDB MySQL 数仓版(3.0)。常见问题概览 如何监控数仓版(3.0)预留集群的磁盘水位?如何查看热数据和冷...

弹性IO资源(EIU)扩容

AnalyticDB for MySQL 弹性模式集群版(新版)集群采用了存储分离架构,集群的存储资源计算资源相互独立。若您购买集群时所选择的弹性IO资源无法满足业务正常运行时,可以参考本文档,扩容弹性IO资源。EIU定义 弹性IO资源(Elastic IO ...

创建集群

重要 如果您同时在使用阿里云上的其他云服务,例如云服务器ECS、云数据库RDS等,请确保AnalyticDB MySQL与其他云服务位于同一个VPC,否则它们无法通过内网互通,无法发挥最佳性能。预留资源单节点规格 预留资源单节点规格默认为8 ACU,可...

通过数据同步功能同步SLS至湖仓版(推荐)

AnalyticDB for MySQL 湖仓版(3.0)支持新建SLS同步链路,通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版(3.0),以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源,新建SLS同步...

登录数据库

HybridDB for MySQL数据库兼容MySQL协议,您可以通过MySQL客户端或程序访问HybridDB for MySQL数据库,也可以使用阿里云的DMS登录数据库。前提条件 已通过HybridDB for MySQL管理控制台创建实例及数据库,待状态显示为 运行中,则数据库...

数据迁移方案概览

“数据传输”导入 事务引擎/分析引擎 使用数据传输(Data Transmission Service)将自建MySQL数据库或者RDS for MySQL数据库迁移到HybridDB for MySQL中。从MySQL批量导入导出 分析引擎 HybridDB for MySQL支持从自建MySQL中全量导入和导出...

统计信息

本文介绍 AnalyticDB MySQL 统计信息的作用分类,自动收集统计信息的机制,手动收集统计信息的方法,以及如何查看统计信息。功能介绍 查询优化器(Query Optimizer)将查询转换为执行计划,并交给执行引擎执行。执行计划的质量会影响查询...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用