云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
SCU的适用场景 SCU能提高创建云盘的灵活性并且节约存储成本，适用场景示例如下：DevOps或者微服务等，不同运行环境如开发环境、测试环境和生产环境之间需要 频繁联动和调整。容器云原生或者手游等，多个项目同时孵化，并需要根据项目生命周期频繁地交 付和释放应用。在购买存储容量包时，再控制台上可以看到对于不同产品，...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
应用场景 适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务的场景。部署架构 架构说明 本次服务会部署两个 EAS服务，选择 ElasticSearch作为向量检索库。产品介绍 专有网络 VPC（Virtual Private Cloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络...
FPGA加速图片和视频转码
场景描述 场景1：图片转码 移动互联网早已进入读图时代，目前的图片都是 JPEG格式，尺寸太大，导致传输占用更多的网络 带宽，花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2：视频转码 到2022年，82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率，都比H.264有明显的优势，但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小， 节省网络流量，降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC，ECS，FPGA，OSS
ARRIA ® 10 GX 1150计算卡 – 处理器与内存配比为 1:7.5 – 处理器：2.5 GHz主频的 Intel ® Xeon ® E5-2682 v4（Broadwell）– 实例网络性能与计算规格对应（规格越高网络性能越强）◆适用场景：– 深度学习推理 – 基因组学研究 – 金融分析 – 图片转码 IP核，全称知识产权核（英语：intellectual property core）是在...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
更多 信息，请参考：https://www.aliyun.com/product/developerservices/cadt 日志服务(LOG)：LogService，简称 LOG/原 SLS是针对实时数据一站式服务，在 阿里集团经历大量大数据场景锤炼而成，提供日志类数据采集、消费、投递及查询 分析功能，全面提升海量日志处理/分析能力，服务智能研发/运维/运营/安全等场 景。...
基于MyBase构建自主可控数据库和高弹性应用实践
一些企业级客户上云前，会重点关心数据库是否自主可控，包括云资源独享、自主可运维、获取OS 权限等特点，同时又要兼顾数据库合规性、安全性和高性能的要求；并力求在业务弹性下合理利用云产品降低数据和应用成本，弹性地支持业务。本实践为此类用户提供相关实践参考。
适用场景：以电商业务为例，核心的数据库建议采用均衡分配策略。在此场景下，实 例尽量打散，比如一台主机实例过大、主机 CPU内存跑满等情况，系统会在多个主机 分摊流量。选择均衡分配策略后，系统会最大化追求更稳定的系统表现，优先从更空的主机中分 配资源。也可以在创建实例时，选择指定主机创建。文档版本：20210323 ...
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL，遇到大并发复杂查询时，需要排队长时间等待，容易形成慢查询，影响业务。PolarDB并发查询能力可以很好解决此问题。
适用场景 多条件查询、多表关联等容易形成慢查询的业务场景 高并发，业务耦合性较强等无法快速拆分复杂查询业务到数仓的场景 轻度分析场景，不希望使用较重的架构搭建数仓或大数据环境 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20210412 1 PolarDB如何应对大并发复杂查询 最佳实践...
DDH集群运维管理
场景描述 当前许多企业的IDC业务场景，资源管理 等使用习惯与公共云不同，使用DDH集群 管理，继承IDC虚拟化使用习惯，比如自 定义ECS规格。同时针对CPU负载较低 的场景，通过CPU超分，可以有效提高资 源利用率，节省整体成本。并且可以通过账 号授权业务团队，结合云监控资源使用率， 方便业务使用的同时又能有效遏制资源浪 费。 方案优势 1.使用专有宿主机集群构建云上环境，通 过超分提高资源利用率，降低企业成 本。 2.通过访问控制授权，云监控资源，完成 专有宿主机集群运维管理使用闭环。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 云监控CloudMonitor
适用场景 针对CPU负载较低的场景，尤其是传统IDC企业客户有降本诉求，使用专有宿 主机集群构建云上环境，通过超分提高资源利用率， 需要沿用传统IDC资源管理方式，通过访问控制授权，云监控资源，完成专有宿 主机集群运维管理使用闭环。技术架构 本实践方案主要操作步骤：1.根据规划创建VPC网络环境，根据规划创建DDH...
高性能数据库ECS测试及选型
概述 客户自建高性能数据库（如电商大促）在做ECS选型时，对磁盘的IO、网络的吞吐都有很大要求，为了跟接近真实业务场景，使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景 自建数据库性能测试 磁盘性能测试 ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 基于标准的TPC-C测试，接近真实业务场景。 提供多规格实例测试，快速选择最优性价比实例。
适用场景◆自建数据库性能测试◆磁盘性能测试◆ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 基于标准的 TPC-C测试，接近真实业务场景。提供多规格实例测试，快速选择最优性价比实例。安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。文档版本：...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
适用场景◆数据迁移链路的高可用◆跨云迁移过渡期架构◆读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。使用数据库网关做专线和公网互备。流量逐渐灰度验证，保障迁移平滑过渡。安全：原生的多租户系统，...
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
适用场景 电商网站商品、订单、物流等搜索 保险行业保单查询 互联网教育行业课程搜索 O2O行业地理位置搜索等等 方案架构 1 文档版本：20220121 互联网、电商 Elasticsearch搜索最佳实践 最佳实践概述 实时数据通过 DTS实时同步链路同步到 Elasticsearch，做到增量数据实时检索。非实时性要求的场景可采用 Dataworks进行定期...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
在这个示例的场 景中，第二个函数需要使用 Kafka模块和 Mysql模块，所以可以通过 fun工具结合 Python包管理工具 pip进行安装，在安装之前，我们需要先启动本机的 Docker。文档版本：20210806（发布日期）28 Function Compute构建高弹性大数据采集系统 创建削峰填谷函数 3.3.1.安装 docker 安装依赖包 yum install-y yum-...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
广泛应用于流量分析、广告营销 分析、行为分析、人群划分、客户画像、敏捷 BI、数据集市、网络监控、分布 式 服 务 和 链 路 监 控 等 业 务 场 景。更 多 信 息，请 参 见 www.aliyun.com/product/clickhouse 数据传输服务 DTS：数据传输服务(Data Transmission Service)DTS支持关系 型数据库、NoSQL、大数据(OLAP)等数据...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
规则 A:ECS是否由特定镜像启动 举例规则适用场景：ECS实例是否由特定镜像启动，操作步骤请参考 2.3.2.2 创建指 定函数（FC）-2.3.2.3.调用指定函数自定义规则。2.3.2.2.创建指定函数（FC）步骤1 登录函数计算控制台。（https://fc.console.aliyun.com/fc）步骤2 地域选择为华东 2（上海），并单击新建函数。步骤3 选择事件...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
适用场景 Flink各类任务如何迁移 数据准确性如何校验 业务稳定性如何验证 Flink集群容量如何评估 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20211222 1 开源 Flink迁移实时计算Flink全托管版 最佳实践概述 迁移实施流程如下：方案优势 您只需要专注于业务开发，无需关心集群运维。...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
适用场景 日志采集、处理及分析 日志使用 Flink实时写入 HDFS 日志数据实时 ETL 日志 HIVE分析 基于 DataWorks一站式开发 数据治理 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20201020 1 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 方案优势 大数据一站式开发，完善的...
云速搭快速部署CEN-TR最佳实践
本实践通过云速搭设计一个 CEN-TR 方案，创建 VPC、VSwitch、CEN、带宽包、企业版 TR和路由表等资源。
文档版本：20220301 7 云速搭快速部署 CEN-TR最佳实践 通过 CADT设计部署应用 步骤3 从左侧工具栏快速创建下选择合适的网络拓扑类型，本场景适用 CEN转发路由器套 件，单击选中并拖拽到右侧空白画布中。以同样方式，再次拖拽一个CEN转发路由器套件到右侧画布中，这样画布中就有了两 个套件模板，如下图所示：步骤4 进行架构...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
适用场景 第三方云平台或线下 IDC客户需要使用阿里云日志服务生态的用户。第三方云平台或线下 IDC服务器已有完整日志采集、处理及分析平台，需要接入 阿里云日志服务做日志统一管理的用户。方案架构 推荐方案：采用第三方云平台或线下服务器安装 logtail，进行 logtail配置，采用 公网/专线+https（DCDN）安全传输日志到...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
适用场景 电商网站广告位效果统计分析。电网网站推荐商品曝光、点击、购买等行为统计分析。电商网站用户分布分析。电商网站页面热点图分析等等。本方案可扩展非电商行业、适合通用的网站数据埋点分析。方案架构 使用 SLS的 webtracking功能对电商网站前端页面进行埋点。埋点数据实时上传到日志服务。通过 SQL语言分析日志，...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
适用场景 EMR元数据迁移至 DLF 元数据迁移验证 数据一致性校验 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 统一元数据管理，快速构建数据湖架构。没有数据丢失风险。较短的服务停机时间。文档版本：20220125 1 湖仓一体架构 EMR元数据迁移DLF 前置条件 前置条件 在进行本文操作前，您...
ACK集群神龙资源错峰利用
场景描述 使用ACK构建容器集群环境，神龙资源为 集群节点资源部署应用。在主业务低谷 期，通过将部分神龙节点从容器集群中移 除，更换镜像切换操作系统及应用环境， 使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入ACK集群。从而达到错峰利用神龙资源 的目的，以便充分利用神龙资源，降低资 源成本。 解决问题 1.基于ACK及神龙资源构建容器集群环 境，典型部署应用。 2.ACK内挂载NAS存储。 3.ACK集群神龙实例节点移除和重新加入 集群。 产品列表 弹性裸金属服务器EBM 容器服务ACK 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云数据库RDS MySQL版 云数据库Redis版 文件存储NAS 访问控制RAM 日志服务SLS 云监控CloudMonitor 运维编排OOS
适用场景 基于 ACK及神龙资源构建容器集群环境，部署无状态应用。ACK集群神龙实例节点错峰利用 方案架构 文档版本：20220509 1 ACK集群神龙资源错峰利用 前置条件 前置条件 在进行本文操作前，您需要完成以下准备：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证页 面...
- 产品推荐
- 这些文档可能帮助您