Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
数据削峰填谷函数 第二个函数用来对大量的消息做削峰填谷，避免压垮下游服务，同时可以选择在该 函数中对数据做一些预处理的操作。Kafka做数据传输 实时接收数据，对数据量做二次缓冲，再由下游消费者拉取数据进行消费。下游服务 下游服务包含从 Kafka里取数据进行实时流处理的实时计算 Flink，数据处理完后 将数据推给 ES ...
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力，是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案，助力客户应用轻松转型分布式架构，保证风险安全的同时帮助业务需求敏捷迭代，支撑金融业务创新，开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
源自双十一异步解耦和削峰填谷最佳实践.全面集成 Kubernetes，提供完整平台能力.容器应用服务.查看最新动态.SOFAStack 热卖组件.基于SDK和服务网格微服务架构，构建高可扩展、高性能、低成本、轻量无侵入分布式系统.基于Apache RocketMQ 构建，提供异步解耦、削峰填谷等能力.蚂蚁金服自主研发的金融级分布式事务中间件，...
来自：
云产品
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
使用 RocketMQ 完成核心业务系统的异步化改造，系统稳定性大幅提升，利用消息削峰填谷、海量消息堆积的能力轻松度过业务洪峰.消息队列 RocketMQ 版.网络安全升级支持IPV6.通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案，满足从海量数据采集到清洗、标注、训练到归档的数据自动化，提供了自动驾驶...
来自：
云产品
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
数据糊DLF 3.MaxCompute云原生的弹性资源和EMR集群资源 云原生大数据计算服务MaxCompute 形成互补，两套体系之间进行资源的削峰填谷，不 大数据开发治理平台DataWorks 仅减少作业排队，且降低整体成本。 机器学习PAI E-MapReduceEMR 最佳实践频道 对象存储OSS http://bp.aliyun.com 日志服务SLS 阿里云...
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
RocketMQ 版 Serverless 系列资源包重磅上线！云消息队列 RocketMQ 版 Serverless 系列资源包重磅上线！存储空间无法自由弹性伸缩，空间不足会导致清理数据；多副本存储成本高.基于集群水位规划机器：·需要预留水位，且缩容复杂；受扩容速度限制，无法支持突发流量弹性....缺少配套可观测监控体系.自行运维保障，需要资深技术...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您