Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
更多信息,请参见:www.aliyun.com/product/sls Tracing Analysis: 链路追踪 Tracing Analysis为分布式应用的开发者提供了完整 的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助 者快速分析和诊断分布式应用架构下的性能瓶颈,提高微服务时代下的开发诊 断效率。更多信息,请参见:...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
说明:运行环境选择 nodejs10,执行内存选择 1.5G(在弹性实例中,1.5G对应 1核 cpu 的能力,很多真实的游戏客户选择它来满足战斗结算服)、超时时间一般 设置为 10s 步骤6 函数实例类型,选择弹性实例(支持弹性实例\性能实例)。文档版本:20201127 10 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 说明:由于性能实例...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
云消息队列 MQTT 版
云消息队列 MQTT 版是阿里云专为移动互联网及物联网领域设计的消息产品,可用于直播互动、金融支付等场景,通过支持 MQTT、WebSocket 等协议连接端与云的双向通信,更高效、更可靠。
兼容任何支持 MQTT 3.1.1 协议的 SDK,支持 Websocket 协议,覆盖绝大多数移动端开发平台及语言(JAVA、.NET、C++、PHP、iOS、Android、JavaScript、nodeJS、Go 等).可支撑千万级设备在线连接,百万级消息并发,万亿级消息流转,毫秒级消息推送;分布式理念进行设计,无单点瓶颈,各组件之间均可以无限水平扩展,确保容量...
来自: 云产品
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
同时集群中的数据和元数据缓存也一定程度上提升数据访问性能。本文中方案使用了JindoFS缓存模式。文档版本:20200331 7数据湖-在线学习场景数据分析 数据湖 1.3.与OSS、HDFS对比 文档版本:20200331 8数据湖-在线学习场景数据分析 基础环境配置 2.基础环境配置 2.1.基础环境配置 本节基础资源部分本实践中使用CADT工具来...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
RocketMQ性能压测快速方案
RocketMQ<em>性能</em>压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
1个RocketMQ实例,配置如下:实例版本 5.0系列,按量付费 主系列类型 专业版 文档版本:20240506 5RocketMQ性能压测快速方案 最佳实践概述 子系列类型 集群高可用版(生产环境推荐)消息收发计算规格 rmq.p2.4xlarge(支持消息读写TPS总和4000次/秒,默认收 流量比例1:1)Topic RocketMQ-Benchmark-0000000 Group sub-000...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用<em>性能</em>监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
帮助客户降低系统故障定位难度,此demo,您 将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以 显示出服务之间的调用顺序和层次关系,帮助 人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服 务来完成。当出现问题时,如请求超时、错误或 产品列表 ...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
Kafka性能压测快速方案
Kafka<em>性能</em>压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
Kafka性能压测快速方案 最佳实践 业务架构 场景描述 产品性能基线测试场景需要对产品进行性能测 试得到详细的压测数据,本方案可以快速构建测 试的客户端(kafka官方的压测客户端)和不同 的Kafka服务端(SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成 性能验证。应用场景 有需要通过PoC得到Kafka产品...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
EBS部署高性能的MySQL服务
通常情况下,MySQL数据库是通过MySQL DoubleWrite机制来确保数据一致性和可靠性。该机制会先将数据写入到临时文件,再写入到真正的数据文件中,以防止在数据写入过程中发生硬件或软件故障导致数据丢失或损坏。这种实现方式会增加额外的写入操作,可能导致IO负载和延迟的增加,进而降低MySQL的性能,尤其在高负载的数据库中更为明显。为了解决这个问题,您可以使用基于ESSD云盘的MySQL服务。ESSD云盘具备16K原子写能力,要求数据在写入磁盘之前必须先被缓存到内存中,然后以整块16K的大小一次性地写入磁盘。这种方式既可以确保数据一致性和可靠性,又能减少写入操作的次数和延迟,改善MySQL DoubleWrite机制带来的性能问题,提供更高性能的MySQL数据存储和访问服务。
这种方式既可以确保数据一致和可靠,又减少写入操作的次数和延迟,改善MySQL DoubleWrite机制带来的性能问题,提供更高性能的MySQL数据存储和访问服务。方案预估:体验本方案预计费用不超过5元(假设您选择本文示例规格资源,且资源运行时间不超过60分钟。实际情况中可能会因您操作过程中实际使用的流量差异,会导致...
来自: 解决方案
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
提供的 场景编排、API调试、流量定制、流量录制等功能,可快速创建业务压测脚本,精准模拟不同量级用户访问业务系统,帮助业务快速提升系统性能和稳定。 云速搭 CADT(CloudArchitectDesignTools):是一款为上云应用提供自助 式云架构管理的产品,显著地降低应用云上管理的难度和时间成本。本产品提 供丰富的预制应用...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
在线业务一站式性能优化
方案使用阿里云DCDN产品来同时加速源站的动态资源和静态资源,一方面通过全球分布式缓存来提高静态内容分发速度,另一方面通过动态选路技术来提高动态内容全链路传输速度,解决在线业务访问速度慢、源站服务器压力大等问题。核心优势在于DCDN产品可以同时支持动态资源和静态资源的访问加速,从而提升在线业务网站的综合访问体验。
应用场景访问电商网站访问电商网站需保障两类页面的访问性能,第一类是商品详情页,快速加载商品图片信息,第二类是订单交易页面,需要能够流畅地走完订单交易流程,要实现这两个目标需要同时对网站的静态资源(例如商品图片)和动态资源(例如订单交易信息)进行访问性能优化,DCDN同时提供了对静态资源和动态资源的加速...
来自: 解决方案
MRACC加速倚天ECS实例Flink集群性能
MRACC加速倚天ECS实例Flink集群<em>性能</em>
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计:利用阿里云官方架构设计模版,在此基础上二次定制(调整规格、资源数量、配置调整)。 快速完成PoC和生产环境的设计和部署
MRACC加速倚天 ECS实例 Flink集群性能 最佳实践 场景描述 本方案为 Flink集群 On阿里云 ECS部署提供一 个性压测场景,ECS选择倚天 ARM架构实 例。在这个场景中,本方案将提供一个一键部署 的架构模板,并预置了相关软件的安装和压测脚 本的部署,为客户提供一个标准化环境用于测试 Flink 集群 On 倚天实例的性能。应用...
来自: 最佳实践 | 相关产品:云服务器ECS,云速搭
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
文件存储 NAS:阿里云文件存储 NAS是一个可共享访问,弹性扩展,高可靠,高 的分布式文件系统。它基于 POSIX 文件接口,天然适配原生操作系统,提供共 享访问,同时保证数据一致性和锁互斥。文件存储 NAS中的数据自动地在可用区 内以多副本冗余方式存储,避免数据的单点故障风险,提供高达 99.999999999%的 数据可靠性...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
弹性高性能计算E-HPC
弹性高性能计算(E-HPC)基于阿里云基础设施,拥有公有云、专有云等多种产品形态,为用户提供一站式HPC/HPDA平台服务,面向科研、生产、教育和行业大计算,提供快捷,弹性,安全的服务和拥有与阿里云产品互通的高性能计算服务平台。
云端存储的高并发、高性能和良好的可扩展,极大的缩短了 EDA 工作流作业的运行时间.缩短作业运行时间.领先的高性能计算产品构建了健壮的超算集群,兼容业内主流的各类调度器和域控方案,支持构建多种形态的混合云方案.支持构建多种形态的混合云方案.无影可以帮助半导体企业构建多地统一的办公、研发环境,实现数据不落地...
来自: 云产品
性能测试PTS
阿里云性能测试PTS可轻松模拟任意体量的用户访问业务的场景。任务随时发起,免去繁琐的搭建和维护成本。是活动大促、产品交付、版本迭代、系统维护不可缺少的性能优化工具。
提供的场景编排、API 调试、流量定制、流量录制等功能,可快速创建业务压测脚本,精准模拟不同量级用户访问业务系统,帮助业务快速提升系统性能和稳定.PTS 限时促销.性能测试 PTS.不同性能压测工具功能对比.JMeter 模拟上传.如何使用参数化模拟多用户注册或登录.如何集成 PTS 的 OpenAPI 搭建压测平台.如何发起阿里云 VPC...
来自: 云产品
性能分析
阿里云性能分析是移动App发布后,通过实时感知应用启动性能、页面加载性能、网络请求等状态,帮助APP开发者快速定位问题原因,提升App使用体验。
多端低代码开发平台魔笔.移动用户反馈.超级App解决方案.实时线上故障感知能力,5分钟发现异常.快速感知故障信息.闭环的线上问题排查分析能力,远程日志实时拉取异常日志.线上问题排查分析.覆盖主线程IO,主线程阻塞,对象泄漏,大内存对象,大图片等异常检测能力.异常检测能力.与ARMS构建端到端的网络监控能力.网络监控能力...
来自: 云产品
性能计算存储解决方案
基于阿里云强大的存储产品能力,助力AI、基因、自动驾驶、天文和能源等行业打造高性能计算平台。
以高性能并行文件存储 CPFS 为核心,充分利用与 OSS 和 NAS 之间的数据分层流动,与神龙、GPU和容器等计算产品无缝结合,为 AI、超算、仿真和生信等业务提供高性能计算存储解决方案.海量业务带来的吞吐和 IO 性能瓶颈.传统文件存储无法弹性扩展性能和容量.运维需要重度参与数据管理和性能维护.可以解决的问题.超高性能存储...
来自: 解决方案
性能数据库ECS测试及选型
高<em>性能</em>数据库ECS测试及选型
概述 客户自建高性能数据库(如电商大促)在做ECS选型时,对磁盘的IO、网络的吞吐都有很大要求,为了跟接近真实业务场景,使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景  自建数据库性能测试  磁盘性能测试  ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势  基于标准的TPC-C测试,接近真实业务场景。  提供多规格实例测试,快速选择最优性价比实例。
一般选择 libiao来进行测试,能够更好让磁盘发挥性能 ᅳ direct=1:IO请求绕过缓存区,直接访问磁盘,增加数据准确 ᅳ iodepth:队列深度,IO块数量达到设定值时,才会传送请求;ᅳ rw:设定 IO模块,包括顺序读 read,顺序写 write,随机读 randread,随机写 randwrite ᅳ bs:一次 IO传输块大小 ᅳ numjobs:线程数量 ᅳ ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
工业仿真高性能计算解决方案
工业仿真高性能计算解决方案可帮助客户建成计算资源弹性供应体系与灵活管控机制,实现精细化的研发资源管理、安全可靠的核心研发数据闭环生产,从而为制造业用户提供一站式全业务流程的高效的计算引擎服务 。
汽车行业客户可通过自建 HPC 集群,实现资源弹性伸缩,大大缓解研发需求的压力,保障工程开发进度,可以快速扩展到产品研发的完整业务链,助力车企向终端市场快速推出符合电动化、智能网联化、共享化、国际化发展方向的汽车产品和出行服务.随着工业仿真软件技术与性能的不断演进提升,通过加强高性能智能算法和 CAE 算法在...
来自: 解决方案
Node.js性能平台
Node.js 性能平台(Node.js Performance Platform)是阿里云面向中大型 Node.js 应用提供性能监控、安全提醒、故障排查、性能优化等服务的整体性解决方案。凭借对 Node.js 内核深入的理解,我们提供完善的工具链和服务,协助客户主动、快速发现和定位线上问题。
来自阿里内部或客户的最佳实践.<查看全部产品.Node.js 性能平台(Node.js Performance Platform)是面向中大型 Node.js 应用提供性能监控、安全提醒、故障排查、性能优化等服务的整体解决方案。凭借对 Node.js 内核深入的理解,我们提供完善的工具链和服务,协助客户主动、快速发现和定位线上问题.Node.js 性能平台.
来自: 云产品
工业控制性能优化解决方案
工业控制性能优化是基于对控制器的参数实时评估与监控,通过阿里云大数据处理和计算的能力,结合人工智能算法,机器学习的能力,为企业提供高效的性能评估与整定,更方便、快捷地完成回路控制性能的批量评估和整定优化工作,为企业提供最佳的控制性能优化解决方案。
利用回路日常运行数据进行系统辨识与统计分析并结合人工智能算法,针对全厂级大规模控制回路所产生的海量数据进行有效的信息挖掘和特征提取,在基于阿里云平台的高速实时计算引擎之上对控制回路的性能进行多尺度实时监控与评估并能够快速定位问题回路,明显提升系统日常维护效率和生产的平稳,并最终实现节能降耗、减少...
来自: 解决方案
< 1 2 >
共有2页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用