ACK集群神龙资源错峰利用
场景描述 使用ACK构建容器集群环境，神龙资源为 集群节点资源部署应用。在主业务低谷 期，通过将部分神龙节点从容器集群中移 除，更换镜像切换操作系统及应用环境， 使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入ACK集群。从而达到错峰利用神龙资源 的目的，以便充分利用神龙资源，降低资 源成本。 解决问题 1.基于ACK及神龙资源构建容器集群环 境，典型部署应用。 2.ACK内挂载NAS存储。 3.ACK集群神龙实例节点移除和重新加入 集群。 产品列表 弹性裸金属服务器EBM 容器服务ACK 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云数据库RDS MySQL版 云数据库Redis版 文件存储NAS 访问控制RAM 日志服务SLS 云监控CloudMonitor 运维编排OOS
ACK集群神龙资源错峰利用 最佳实践 架构示意图 场景描述 使用 ACK构建容器集群环境，神龙资源 为集群节点资源部署应用。在主业务低谷 期，通过将部分神龙节点从容器集群中移 除，更换镜像切换操作系统及应用环境，使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入 ACK集群。从而达到错峰利用...
大数据workshop
大数据workshop
系统架构设计 下图为所设计的系统架构设计，主要包括数据源（两类业务数据：用户行为日志和 业务后台数据库）、日志采集、日志传输、实时计算、数据存储和同步、数据展现 这几大模块共同构成实时大数据数据仓库。注：对于 DIM（维度层）的维度数据可以主要使用 MySQL、HBase、Hologres三种 存储引擎。对于维表数据比较少的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
例如一个 MySQL Chart，如果想在服务器上运行两个数据库，就可以把这个 Chart安装两次。每次 安装都会生成自己的 Release，会有自己的 Release名称。Repository：用于发布和存储 Chart的存储库。1.通过以下命令安装 Helm：curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 |bash 2.确认 Helm...
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善，越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
容器 Swarm集群向 ACK集群灰度迁移 最佳实践 部署架构图 场景描述 方案说明：随着 K8S生态的完善，越来越多的客户需要从 1、容器集群部署，左侧 Swarm集群，右侧 K8s集群 Swarm集群迁移向 ACK集群 2、SLB做应用高可用和应用扩展 3、DNS结合全局流量控制，权重和后端健康检查 解决问题 1.迁移过程中维持业务的延续性 2.迁移...
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL，遇到大并发复杂查询时，需要排队长时间等待，容易形成慢查询，影响业务。PolarDB并发查询能力可以很好解决此问题。
附录 测试环境安装.26 4.1.TPC-H安装.26 文档版本：20210412 IV PolarDB如何应对大并发复杂查询 最佳实践概述 最佳实践概述 概述 在面向 C端或者多个小 B端的 SaaS化服务场景下，数据库经常面临大并发的复杂查 询业务压力，比如餐饮平台的商户随机查看订单统计情况；ERP服务平台面临大量零 售商户查看库存报表情况。此类...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
说明 1：RDS实例、数据库配置和数据库用户配置，可在 CADT架构图中双击 RDS 图标（db_demo）和 ECS-RDS连接线查看。说明 2：elasticsearch需要通过控制台创建：CADT对 elasticsearch的支持目前正在 迭代中，后续 elasticsearch的资源创建也会通过 CADT实现。说明 3：dataworks通过控制台开通即可。注意：ECS和数据库账号的...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
其中内存的插件已经由阿里云团队安 装，并在后续被一并打包进了 ECS镜像。在实际生产中，用户可以通过 ECS列表或 者云监控管理界面进行对 ECS的监控管理。下图以 ECS列表方式查看 ECS运行情 况。文档版本：20220321 31 E-HPC低成本实现量化策略回测 操作步骤 除了通过 ECS详情列表获取 ECS的运行状态外，阿里云也提供了专门...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
更新函数计算配置 步骤1 分别到不同网络控制台获取对应的 VpcId、VSwitchIds、SecurityGroupId（注释：安 全组，需要手动创建，请参考帮助文档）。步骤2 在本地项目中，更新服务 retail的网络访问配置，通过 fun工具进行配置变更管理。注释：可以参考会员服务 src/main/java/resources/template.yml文件 步骤3 本地快速进行...
云速搭部署混合云备份HBR
本实践以ECS文件备份为例，通过CADT设计备份架构，一键部署演示环境。
说明：首次使用按页面提示完成授权即可：安装中：文档版本：20211023 18 云速搭部署混合云备份HBR CADT部署混合云备份HBR 安装成功：步骤4 单击操作列下的备份，备份/tmp 目录 文档版本：20211023 19 云速搭部署混合云备份HBR CADT部署混合云备份HBR 步骤5 立即执行备份。备份执行中：文档版本：20211023 20 云速搭部署混合...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
创建数据库 DTS迁移链路 步骤1 在 CADT架构图中双击 DTS，打开 DTS控制台，创建 DTS同步链路。文档版本：20220128 49 自建 K8S集群迁移 ACK弹性裸金属集群 部署云上环境 文档版本：20220128 50 自建 K8S集群迁移 ACK弹性裸金属集群 部署云上环境 等待 3分钟左右，同步完成。3.3.创建部署 K8S应用和服务 步骤1 在 CADT架构图...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
20210809 21 企业上云数据安全 SDDP敏感数据发现 2.SDDP敏感数据发现 敏感数据保护（Sensitive Data Discovery and Protection，简称 SDDP）可以从您资 产的海量数据中快速发现和定位敏感数据，追踪敏感数据的使用情况，并根据您选择 的安全管理规则，为您呈现系统化的数据总览图，以确保您能实时了解资产数据的安 ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
库表数据库模型和各表之间关联如下图所示：文档版本：20220506（发布日期）36 云上高并发系统改造 数据迁移和压测演练 5.3.如何选择拆分键 5.3.1.什么是拆分键 拆分键即分库/分表字段，是水平拆分过程中用于生成拆分规则的数据表字段。DRDS 将拆分键值通过拆分函数计算得到一个计算结果，然后根据这个结果将数 据分拆到 RDS...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
小型互联网迁移阿里云 最佳实践 业务架构图 场景描述 本方案主要适用于中小型互联网企业，从他云迁移到 阿里云，方案涉及网络规划、服务器、数据库、存储 数据、Kafka和镜像数据的迁移方案内容；同时在实 践环节，增加服务器和 RDS的迁移操作演练和验证。解决问题 提供服务器、数据库等关键环节的平滑迁移方案 提供云上高...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
互联网电商行业离线大数据分析 最佳实践 业务架构 场景描述 本实践介绍了使用阿里云MaxCompute、数据库（RDS）、DataWorks等产品实现电商网站离线数据分 析，分析后的业务指标数据实时在大屏展示。通过完整 的实践Demo为例，提供从电商网站搭建，数据从RDS 同步到MaxCompute、再到DataWorks进行数据分析，最后在大屏上展示...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
2.在目标集群的 kube-system命名空间可以看到安装好的 virtual-kubelet-autoscaler 无状态应用，代表安装成功。文档版本：20201222 21 基于链路追踪+ECI的应用高可用弹性实践 基于ECI的弹性伸缩应对流量洪峰 3.2.容器服务集群启用 logtail 步骤1 在容器服务 ACK 控制台单击选择对应的集群，然后在控制台左侧界面的运维管理>...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
系统架构设计 下图为所设计的系统架构设计，主要包括数据源（两类业务数据：用户行为日志和业 务后台数据库）、日志采集、日志传输、实时计算、数据存储和同步、数据展现这几 大模块共同构成实时大数据数据仓库。注：对于DIM（维度层）的维度数据可以主要使用MySQL、HBase、Hologres三种存储 引擎。对于维表数据比较少的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
web-mysql zabbix-agent#安装 mariadb数据库 yum install-y mariadb-server systemctl start mariadb.service systemctl enable mariadb.service#导入 Zabbix数据到 Mysql数据库 mysql-uroot-p Enter password:/空密码直接按回车键 文档版本：20211021 60 基于 SLS实现统一告警最佳实践 配置自定义告警#执行 SQL脚本 ...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
互联网业务全球化互通组网 最佳实践 业务架构图 场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多 VPC下的数据迁移和 同步，本方案提供详细的操作步骤，...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
Hadoop-ECS MySQL-ECS（本实践方案将在 ECS上安装 MySQL数据库，用于保存 Hive元数据信 息）类别 配置项 说明 文档版本：20210721 7 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 ECS名称 MySQL 主机名 mysql55 实例规格 ecs.g6.large(2c 8g)镜像 镜像市场 镜像版本 m-uf68wwaaa4kwtq4lix9s 数量 1 其他配置同 ...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
基于 Flink+ClickHouse构建实时游戏数据分析 最佳实践 业务架构 背景描述 在互联网、游戏行业中，常常需要对用户行 为日志进行分析，通过数据挖掘，来更好地 支持业务运营，比如用户轨迹，热力图，登 录行为分析，实时业务大屏等。当业务数据 量达到千亿规模时，常常导致分析不实时，平均响应时间长达 10分钟，影响业务的正...
- 产品推荐
- 这些文档可能帮助您