Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
性能压测.51 文档版本：20210806（发布日期）1 Function Compute构建高弹性大数据采集系统 最佳实践概述 最佳实践概述 概述 当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系 统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游 戏运营，产互行业中的数字营销，...
企业级分布式数据库解决方案
企业级分布式数据库解决方案挂载管理多个云数据库 RDS for MySQL，可线性提升数据存储容量及并发吞吐。为企业级客户提供弹性、稳定、高效的企业级分布式关系型数据库解决方案。
云原生分布式数据库 PolarDB-X 1.0 通过分库分表管理多个 RDS for MySQL，可线性提升数据存储容量及并发吞吐，有效解决单机数据库的扩展性难题。云原生分布式数据库 PolarDB-X 1.0 提供多种只读实例，可抵御超高并发的访问压力、加速复杂查询的响应时间。通过物理资源隔离的方式，缓解 DRDS 主实例的压力负载，降低业务架构...
来自：
解决方案
E-MapReduce Serverless StarRocks 版
E-MapReduce Serverless StarRocks版简称EMR StarRocks，是阿里云提供的全托管服务，内核100%兼容StarRocks，性能比传统OLAP引擎提升3-10倍，助力企业高效构建湖仓分析、高并发查询及实时分析等大数据应用。
针对企业的 GMV 分析、订单分析、物流运单、推荐系统、用户洞察等业务场景中的离线或者实时分析过程中，传统解决方案依靠不同的 OLAP 引擎来满足不同场景的需求，烟囱式搭建各自业务，运维难度非常大，开发人员费时费力。通过 EMR Serverless StarRocks，可以统一 OLAP 引擎分析，满足各类业务需求.统一 OLAP 引擎，满足...
来自：
云产品
区块链分布式身份服务解决方案
区块链分布式身份服务解决方案提供基于区块链技术的实体身份标识及可信数据交换服务，具有分布式、多中心等特性。该服务符合 W3C DID 以及 W3C VC 规范，实体可以对数字身份进行便捷的创建、验证、管理。此外，实体之间能够进行可验证声明的颁发，用以满足复杂的场景需求。
身份等信息在基于区块链的分布式系统上永久留存，由身份所有者管理和授权，身份使用方在被授权的情况下使用而无法作其他用途.分布式身份系统.利用生物识别、移动终端、区块链和密码学等多种手段，实现一个便捷的联合可控的数字身份管理体系.领先的身份管理.作为互联网诞生以来最有争议的话题，身份和数据不仅是人们在互联网...
来自：
解决方案
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版，并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
解决问题：增减节点耗时长PolarDB MySQL版共享分布式存储的设计，增删节点与容量无关，支持分钟级完成增删节点。同时，存储容量自动在线扩容，无需中断业务。相关产品云原生数据库 PolarDB MySQL 版云数据库 RDS MySQL 版数据库自治服务 DAS云服务器 ECS专有网络 VPC在线咨询方案优势零改造成本100%兼容MySQL，您可以像使用...
来自：
解决方案
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求，统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问，数据统一需求。 3.系统架构及资源成本优化需求，多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可 以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。详 见：...
云存储解决方案
云存储解决方案面向大数据存储、多媒体存储（视频存储）、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景，提供更安全稳定、更优化、无缝上云的智能数据存储服务，为企业上云、实现数字化转型奠定数据基础。
存储系统 IO 存在瓶颈：AI、HPC 需求高性能，存储系统 IO 存在瓶颈.定位问题难度大：容器在多个场景应用，灵活的同时，定位问题难度大.闪电立方端到端解决车辆采集数据存储与上传难.OSS 的统一存储，有效解决数据孤岛，提升数据使用效率.CPFS 超强性能，轻松解决 AI、仿真等场景，云上云下采用相同方案构建.自动驾驶解决...
来自：
解决方案
块存储EBS
阿里云块存储EBS是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储，拥有丰富的产品类型，多元的存储特性，适用于自建数据库加速，快照数据保护等场景，ESSD PL3规格最高可提供100万IOPS以及4000MB/S吞吐能力，有效提升存储性能，大大降低成本。
多元的企业级块存储特性.ESSD 云盘是阿里云目前性能强劲的企业级云盘规格，基于新一代分布式存储架构，提供单盘高达100万的随机读写和低至百微秒的单路时延能力.采用全新架构的ESSD系列云盘最低能够提供百微秒写时延，可满足高性能数据库负载.ESSD PL3规格最高提供100万IOPS以及4000MB/S吞吐能力，能满足核心交易系统、自建...
来自：
云产品
向量检索服务
向量检索服务基于阿里云自研的向量引擎 Proxima 内核，提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力，通过简洁易用的 SDK/API 接口透出，方便在大模型知识库搭建、多模态AI搜索等多种应用场景上集成。
采用系统化的云原生方法，将计算与存储分离，支持向上和向外扩展.支持与专属领域知识库结合，问题回答更精准.支持大规模向量数据快速召回.模型服务灵积 DashScope.在智能搜索和广告推荐场景中，将用户的历史浏览记录和购买记录转化为向量表示，然后在向量数据库中查询与该向量最相似的商品向量以及相似度较高的商品向量，...
来自：
云产品
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
可靠：阿里云混合云存储阵列采用了全冗余的硬件设计，支持数据加密，集成 AD/LDAP，支持ACL，云端分布式存储提供多副本跨区域保护，10个9的数据 高可靠性，完备的数据一致性校验，确保用户数据的安全和可靠。阿里云混合云存储阵列专为对存储有高性能和稳定性要求，并且希望无缝上云的企业 客户而设计： 数据能按照策略...
云速搭部署 NAS 文件系统
本实践通过云速搭构建一个 NAS，并将 NAS 文件系统挂载到 ECS 的目录上。
已开通以下服务：ￚ 专有网络 VPC ￚ 云速搭 CADT ￚ 云服务器 ECS ￚ 文件存储 NAS 文档版本：20211027 2 云速搭部署 NAS文件系统 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
尽可能避免跨库查询：关联查询的数据尽量分散到同一个分片中，跨库查询对系 统性能损耗很大。避免跨分表联表查询的方式有：a)剥离出高频访问的表，与核心表 1:1关系的，进行反范式设计，将核心表加 宽 b)如果与核心表是 N：1关系的，将高频访问字段冗余到核心表中 c)低频访问数据，业务功能设计上，避免一页展示大而全，...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
配置项 说明 付费模式 按量付费 地域及可用区 华北 2（北京）可用区 G 实例 筛选：2核 8G，ecs.t6-c1m4.large 购买实例数量 1 台 文档版本：20201228（发布日期）29 Function Compute 实现弹性音视频处理系统 应用测试 镜像 公共镜像 CentOS 7.6 64位 存储 系统盘 高效云盘 40 GiB 配置完成，单击下一步：网络和安全组。...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
名词解释 HDFS Hadoop 分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文 件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式 文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉 价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应 用。VPN...
- 产品推荐
- 这些文档可能帮助您