Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
Function Compute构建高弹性大数据采集系统 最佳实践 业务架构 场景描述 当前互联网很多场景都存在需要将大量的数据 信息采集起来然后传输后端的各类系统服务 中,对数据进行处理、分析,形成业务闭环。比 如游戏行业中的游戏发行、游戏运营,产互行业 中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
基于ECI+FaaS构建游戏战斗结算
基于ECI+FaaS构建游戏战斗结算<em>服</em>
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
文档版本:20201127 18 基于ECI+FaaS构建游戏战斗结算 游戏架构搭建篇 步骤6 在代码库 game-server里面,能够找到模拟战斗结算的 JAVA代码如下图所示:步骤7 执行以下命令,将函数部署到云端。fun deploy-y 文档版本:20201127 19 基于ECI+FaaS构建游戏战斗结算 游戏架构搭建篇 步骤8 通过临时域名进行快速测试。3.1....
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
user_id={user 8 课程_id} 代表id为8的用户查看了3号 题目 步骤2 源代码位于附件中,下载后目录如下图:app153-server目录下为后端程序,整个目录拷贝APP服务器(即2.1章节中创建 的ECS服务器)的/home下,如下图:文档版本:20200331 33数据湖-在线学习场景数据分析 应用场景 app153-web目录下为前端程序,将目录及目录...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
1分钟部署幻兽帕鲁游戏服务器
近期幻兽帕鲁、雾锁王国等游戏备受追捧,其对计算资源与带宽有较高的要求。为确保游戏过程的流畅度与优质体验,玩家需要配备性能好、稳定可靠的游戏服务器。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读方案介绍方案优势应用场景方案部署1分钟部署幻兽帕鲁游戏服务器近期幻兽帕鲁、雾锁王国等游戏备受追捧,其对计算资源与带宽有较高的要求。为确保游戏过程的流畅度与优质体验,玩家需要配备性能好、稳定可靠的游戏服务器。本方案为...
来自: 解决方案
基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型<em>部署</em>
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
FC https://free.aliyun.com/?product=9555928,9657388 步骤9 授权FC使用云资源,完成 FC的 Role角色授权,并确认状态为已授权 完成所有授权后如下图,步骤10 点击上个页面的新建部署,会出现快速部署模型服务界面,这里可以选择自己想要 的模型,一键部署访问域名,实现对话 步骤11 目前支持一键部署到 FC的模型种类很...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数计算FC镜像<em>部署</em>Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
将本地镜像推送到阿里云 ACR 本节将以 ECS中镜像 Stable Diffusion为例,讲解如何将本地镜像部署到阿里云函数 计算 FC上,请事先准备好自己想要部署的镜像,若暂时没有想要部署的本地镜像,也可以跳过此章节,通过直接部署阿里云 ACR中公开的 Stable Diffusion镜像仓库,体验函数计算 FC的镜像部署流程。步骤1 以云上 ECS为...
来自: 最佳实践 | 相关产品:函数计算
SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
用户可以方便的对云上架构方案的成本、 、运维、回收进行全生命周期的管理。 日志服务SLS:是云原生观测与分析平台,为Log、Metric、Trace等数据提 供大规模、低成本、实时的平台化服务,日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务<em>部署</em>与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
用户可以方便的对云上架构方案的成本、 、运维、回收进行全生命周期的管理。文档版本:20240415 VI基于MSE和SAE的微服务部署与压测 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作: 注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证 页面...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
RocketMQ性能压测快速方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
 弹性公网IP:弹性公网IP是独立的公网IP资源,可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定,并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 云消息队列RocketMQ版:是阿里云基于ApacheRocketMQ构建的低延迟、高 并发、高可用、高...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
应用场景 自建ELK日志系统的客户迁移阿里云日志 SLS后,对SLS查询分析语法不太熟悉的客 户,可以继续沿用原有的查询分析习惯,在不改 变使用方式习惯的情况下,通过Elasticsearch 兼容接口的方式使用Kibana访问SLS。解决问题  如何使用ACK部署Wordpress应用,并使 用SLS采集容器日志SLS  最大程度保障Elastic...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
基于Fortinet的出海业务访问加速方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板,帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS,BGP公网精品IP等产品,实现低成本的出海业务加速。
基于 Fortinet的出海业务访问加速方案 业务架构 场景描述 本方案基于 CADT提供一个一键交付零配置 的部署模板,帮助企业快速构建出海业务访 问加速的环境。方案结合了 Fortinet产品以 及阿里云的 ECS,BGP公网精品 IP等产 品,实现低成本的出海业务加速。应用场景 出海业务访问加速,SD-WAN组网等 解决问题 1、一键交付零...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
Oracle RAC 12C云上部署
Oracle RAC 12C云上<em>部署</em>
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
20240206 74OracleRAC12C云上部署 文档版本:20240206 75OracleRAC12C云上部署 文档版本:20240206 76OracleRAC12C云上部署 文档版本:20240206 77OracleRAC12C云上部署 文档版本:20240206 78OracleRAC12C云上部署 文档版本:20240206 79OracleRAC12C云上部署 文档版本:20240206 80OracleRAC12C云上部署 文档版本:...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
大模型RAG对话系统部署
大模型RAG对话系统<em>部署</em>
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
文档版本:20240131 2 大模型 RAG对话系统部署 部署基础环境 步骤3 默认情况下,ES、Hologres、ADB PG均跳过部署,本章节向量数据库选择 ES,因 此双击 ES图标,关闭跳过部署 步骤4 修改 ES的登录密码 文档版本:20240131 3 大模型 RAG对话系统部署 部署基础环境 步骤5 单击右上角的保存按钮,填好自定义应用名称,单击确认...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
文档版本:20240330 23基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 部署基础环境 步骤31资源开始进行下单购买,请耐心等待资源创建 进入部署阶段后,请耐心等待,这里浏览关闭或者电脑出现异常不会影响部署。确认部署信息后,点击返回,部署后的架构如图。文档版本:20240330 24基于函数计算FC实现企业级...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
Kafka性能压测快速方案
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
文档版本:20240229 18Kafka性能压测快速方案 部署基础环境 步骤16Kafka服务创建耗时需要10-30分钟,可以打开新的浏览tab页kafka控制台(https://kafka.console.aliyun.com/)查看具体部署进度 步骤17等待资源创建完成,可以看到相关实例已处于运行中。可以点击查看报告 文档版本:20240229 19Kafka性能压测快速方案 ...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
EBS部署高性能的MySQL服务
使用基于ESSD云盘的MySQL服务,可以确保数据一致性和可靠性,又能减少写入操作的次数和延迟,改善MySQL DoubleWrite机制带来的性能问题,提供更高性能的MySQL数据存储服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台EBS部署高性能的MySQL服务方案介绍方案优势应用场景方案部署方案权益EBS部署高性能的MySQL服务通常情况下,MySQL数据库是通过MySQL DoubleWrite机制来确保数据一致性和可靠性。该机制会先将数据写入临时文件,再写入真正的数据文件中,...
来自: 解决方案
云速搭部署弹性裸金属服务器
云速搭<em>部署</em>弹性裸金属<em>服务器</em>
通过云速搭实现弹性裸金属服务器的部署
云速搭部署弹性裸金属服务器 文档版本信息 云速搭 部署弹性裸金属服务器 最佳实践 文档版本:20211213(发布日期)云速搭部署弹性裸金属服务器 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署弹性裸金属服务器 文档编号 284 文档版本 V1.0 版本日期 2021-12-13 文档状态 对外发布 制作人 游士 审阅人 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙)
IPv4网关实现流量统一出入口
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制,禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
RAG对话系统部署 步骤4 双击 NLB的图标,选择前往控制台 步骤5 选择 NLB的任一弹性公网 IP进行访问测试,发现均可以访问 httpd服务 文档版本:20240131 17 大模型 RAG对话系统部署最佳实践 RAG对话系统部署 2.4.禁止外网访问ECS 步骤1 在 NLB所关联的交换机中删除指向 ipv4网关的自定义路由(vpc_route_table_4、vpc_route...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,云速搭
一键训练大模型及部署GPU共享推理服务
通过创建ACK集群Pro版,使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群,白屏配置任务数据共享存储和下载,并通过命令行工具Arena快速提交模型训练任务、部署推理服务。使用云原生AI套件可以让模型训练和推理提效,提高GPU资源利用率。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台一键训练大模型及部署GPU共享推理服务方案介绍方案优势应用场景方案部署方案权益一键训练大模型及部署GPU共享推理服务通过创建ACK集群Pro版,使用云原生AI套件提交模型微调训练任务与部署GPU共享推理服务。支持快速创建Kubernetes集群,...
来自: 解决方案
PAI部署多形态的Stable Diffusion WebUI服务
为企业提供云上快速部署定制化的文生图应用。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台PAI部署多形态的Stable Diffusion WebUI服务方案介绍方案优势应用场景方案部署方案权益PAI部署多形态的Stable Diffusion WebUI服务PAI Stable Diffusion WebUI 解决方案为企业提供云上快速部署定制化的文生图应用。提供了方便、高效的模型...
来自: 解决方案
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用