Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
3.4.3.Kafka配置 在场景中，数据量是比较大的，所以对 Kafka的性能要求也是比较高的，相比开源自 建，使用云上的 Kafka省去很多的运维操作，比如：我们不再需要再维护 Kafka集群的各个节点 不需要关心主从节点数据同步问题 可以快速、动态扩展 Kafka集群规格，动态增加 Topic，动态增加分区数。完善的指标监控功能，消息...
云原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库，100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍，TCO低于自建数据库50%。
采用白名单、VPC网络、数据多副本存储等全方位的手段，对数据库数据访问、存储、管理等各个环节提供安全保障.集群版采用共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致性的问题.云原生数据库 PolarDB.云服务器ECS.推荐搭配产品.金融/保险：高可用和强读写一致.数据强一致性保证，...
来自：
云产品
云原生数据库
PolarDB是阿里云自研的云原生数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，支持分布式扩展，高度兼容Oracle语法。
采用白名单、VPC网络、数据多副本存储等全方位的手段，对数据库数据访问、存储、管理等各个环节提供安全保障.集群版采用共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致性的问题.云数据库PolarDB MySQL.云服务器ECS.推荐搭配产品.金融/保险：高可用和强读写一致.数据强一致性保证，...
来自：
云产品
云原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的，基于云原生架构的内存数据库，兼容Redis API，支持内存、持久内存、ESSD三种存储介质，并提供大量扩展型数据结构及企业级能力。
特步通过全渠道Tair内存型实例支撑数千家门店数十万QPS，提升客户数据链路的时效性和客户业务系统的吞吐能力.Tair内存型实例通过多线程模型提供超过30万的高QPS，助力客户轻松应对双11、618等大促时期的高并发流量，提升数据库性能.Tair内存型实例顺利支撑峰值1200MB/s的消息传输，并做到无消息丢失，直播效果更佳流畅，...
来自：
云产品
云数据库Redis
云数据库 Redis 版是一种全托管、兼容Redis协议的内存数据库服务，包含社区版Redis和企业版Tair，支持主从、集群和读写分离架构，具备低延迟、大吞吐、弹性扩缩容的特点。Tair提供多种系列满足不同场景的性价比要求，更有全球多活、数据闪回、大热Key探测与优化、丰富的数据结构，赋能大规模高性能要求的在线数据业务。
性能大幅优化版Redis，全面兼容社区Redis，网络IO多线程有效提升Redis单节点QPS和大连接处理能力，QPS最高为阿里云Redis社区版的3倍，适用超高并发低延迟业务.Tair（Redis企业版）：持久内存型.具备原生命令级持久化能力，兼容绝大部分Redis数据结构与API，适合较低成本(最低降至阿里云Redis社区版的70%)、较高性能（读写...
来自：
云产品
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
当目标 RDS实例的数据库类型为 MySQL 5.5或 MySQL 5.6时，无需为 DTS同 步任务配置数据库帐号和数据库密码，RDS实例会自动创建帐号 dtssyncwriter供 DTS同步使用，请勿对该帐号进行任何修改或删除操作，否则将引起同步异常。本最佳实践使用 MySQL 5.7，需要手工为 DTS在目的库（上海热备中心库）创建 数据库高级权限账号。...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
高效：自动云分层，热数据存放在本地存储空间，确保了数据的高速访问，冷数 据放在云端，充分利用公共云存储的海量空间。云缓存功能确保当数据存放在云 端的时候，也能利用本地存储空间的缓存功能，为应用提供快速响应。 可靠：阿里云混合云存储阵列采用了全冗余的硬件设计，支持数据加密，集成 AD/LDAP，支持ACL，...
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
您可以像使用物理硬盘一样格式化并建立文件系统来使用块存储，满 足 大 部 分 通 用 业 务 场 景 下 的 数 据 存 储 需 求。详见 https://help.aliyun.com/document_detail/63136.html 云监控（CloudMonitor）是一项针对阿里云资源和互联网应用进行监控的服务。云监控为云上用户提供开箱即用的企业级开放型一站式监控解决...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
应用场景 跨境对象存储数据传输需求 对跨境传输成本控制严苛 能接受一定程度网络抖动带来的文件同 步延迟 系统需要有足够的弹性和扩展性应对大 产品列表 规模文件的写入 云服务器 ECS 对象存储 OSS 专有网络 VPC 函数工作流 Serverless Workflow 日志服务 SLS 函数计算 FC 阿里云最佳实践分享群 最佳实践频道 如二维码过期...
高性能数据库ECS测试及选型
概述 客户自建高性能数据库（如电商大促）在做ECS选型时，对磁盘的IO、网络的吞吐都有很大要求，为了跟接近真实业务场景，使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景 自建数据库性能测试 磁盘性能测试 ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 基于标准的TPC-C测试，接近真实业务场景。 提供多规格实例测试，快速选择最优性价比实例。
单 job顺序读 测试命令：fio-name=test-thread-ioengine=libaio-direct=1-directory=data-rw=read-bs=4K-numjobs=1-iodepth=256-runtime=300-time_based-size=8G-group_reporting 参数解释：ￚ name:测试名称，可以根据测试用例来命名 ￚ ioengine:io引擎，fio工具配合 IO引擎使用，支持同步（pread/pwrite）和异 步...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口，支 持客户将日志采集到日志服务后，仍可以继续沿 用Elasticsearch的查询方案，即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口，实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
实现多RAM权限精细化控制的前提下，实现阿里云Kafka实例之间消息、元数据同 步。 在不同Region，不同VPC下，模拟Kafka异地容灾。阿里云Kafka实例在北京Region，在ECS上自建开源Kafka在上海Region，VPC之间通过VPC对等连接打通。 实现阿里云Kafka向其他地域的自建Kafka消息实时、元数据实时同步的场景。 该场景也...
ECS 数据备份与保护
随着企业核心业务规模不断扩大，需要根据业务需求对生产环境中的关键数据进行定期备份。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台ECS 数据备份与保护方案介绍方案优势应用场景方案部署解决方案推荐ECS 数据备份与保护随着企业核心业务规模不断扩大，需要根据业务需求对生产环境中的关键数据进行定期备份，在发生误操作、病毒感染、或攻击等情况时，能够快速从已有的快照...
来自：
解决方案
数据同步服务
数据同步 MSS，源于阿里云移动开发平台。移动数据同步 MSS，通过一个安全的数据通道 TCP+SSL，及时、准确、有序地将服务器端的业务数据，主动的同步（SYNC）到客户端 App。提供增量、可靠的消息触达能力，将聊天消息按发送方的发送顺序，有序推送至指定用户。可以动态地将配置信息进行全设备推送，保证在线 APP 可实时接收推送数据。
移动数据同步 MSS，通过一个安全的数据通道 TCP+SSL，及时、准确、有序地将服务器端的业务数据，主动的同步（SYNC）到客户端 App.查看产品文档，快速上手.数据同步 MSS.实时、高效、安全、稳定.数据同步 MSS 提供增量、可靠的消息触达能力，将聊天消息按发送方的发送顺序，有序推送至指定用户.即时通讯 APP.数据同步 MSS ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您