基于函数计算FC实现大语言模型部署
<em>基于</em>函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
DashScope灵积模型服务 依托业界各领域的优质模型,基于阿里云强大的基础设施搭建。DashScope灵 积模型服务使用 API-KEY作为调用 API的密钥。API-KEY承担了调用鉴权、计量 计费等功能。API-KEY被广泛应用于 DashScope API中,通过 api-key 参数指 定。DashScope中所有不同的模型 API服务都可以使用一个 API-KEY、以一致的...
来自: 最佳实践 相关产品:函数计算
基于函数计算FC镜像部署Stable Diffusion大模型
<em>基于</em>函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC镜像部署 Stable Diffusion大模型 最佳实践 业务架构 场景描述 在现代 AI应用中,Stable Diffusion等模型因其 强大的功能而受到关注。然而,这些模型对计算资 源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型的 部署提供了全新的解决方案。用户只需关注模型的 ...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算实现直播流录制-存储-通知
<em>基于</em>函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
搜索关键字,找到“基于函数计算实现自定义直播-拉流-录制-存储-通知”,单击 方案新建。文档版本:20240422 8 基于函数计算实现自定义直播-拉流-录制-存储-通知 环境搭建 双击 Region,可以选择应用期望部署的 Region 地域 双击 vpc,查看 VPC 信息。购买方式:可以选择新购,或导入已保有,可以根据实际情况选择。VPC...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于OSS Object FC实现非结构化文件实时处理最佳实践
<em>基于</em>OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC,实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑,对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中,以图片,视频,音频...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
SAE-ACK应用双跑最佳实践
SAE-ACK<em>应用</em>双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
应用场景 该最佳实践应用两类场景: 因为SAE支持更丰富自动扩缩指标(比如 QPS,RT,TCP连接数等),所以将相对稳 态的应用部署在ACK中,将相对弹性波动 大的应用部署在SAE,借助SAE更强大的 产品列表 自动扩缩应对流量洪峰。专有网络(VPC)  将K8s架构迁移到Serverless架构时,需要  虚拟交换机 平滑过渡,所以...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
<em>基于</em>函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断,然后对 MongoDB 做增,删,改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景,将 Kafka 中的消息流转到其 他下游服务...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
<em>基于</em>函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步,跨帐号阿里云Kafka实例 之间消息、元数据同步,阿里云Kafka实例和IDC 自建Kafka(其他云Kafka)之间消息、元数据同步。应用场景 在大数据场景,企业的Kafka实例...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于MSE云原生网关同城多活
<em>基于</em>MSE云原生网关同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
一键释放资源.44 文档版本:20240423 III 基于MSE云原生网关同城多活最佳实践 最佳实践概述 最佳实践概述 方案概述 分布在同城多个机房内的应用同时对外提供服务。同城机房物理距离较小,一般小于 50公里。同城多活架构的难点有三个:●当某机房出现故障,能不能做到机房级的快速切换?如何实现非对等部署下的全局的流量...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)、或者IDC 等业务数据或 系统产品的日志数据等,汇总处理后,通过 标准的通用的协议Kafka,数据入湖到阿里云 SLS日志中心,进行统一分析和处理。解决问题 将多云、IDC分散的数据,通过标准协议,汇 产品...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
文档版本:20240426 5 MSE云原生网关解析 body内容进行路由转发 部署基础环境 部署过程大概需要 3分钟左右,完成部署后的应用架构图如下所示:(如果部署过程有异常,可以查看异常说明,如库存原因、地址冲突等,可以修改相 文档版本:20240426 6 MSE云原生网关解析 body内容进行路由转发 部署基础环境 的规格配置后再次...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
<em>基于</em>云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
基于云速搭 CADT快速部署药物筛选批量计算环境-Serverless版 场景描述 部署架构 本方案基于云速搭 CADT 提供一个快速构建云上 Serverless版 HPC批量计算环境的模板,针对生物 制药领域的药物筛选场景,提供开箱即的整套解 决方案工具包,整个云上环境仅需 1个小时即可完 成自动化部署搭建。解决问题 快速构建适用药物...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
基于MaxCompute的大数据BI分析
<em>基于</em>MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做 ETL之后,同步到 Hologres进行实时分 析,之后通过 Quick BI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程 序应用内 BI分析场景。2.可扩展到各类网站 BI分析场景...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
基于Flink的资讯场景实时数仓
<em>基于</em>Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
6.业务系统:经过处理的数据,可直接服务于相关业务方,如运营、决策者、相关 等。例如,运营人员可通过实时报表中的客流分析,及时调整运营策略,提高活 动转化率;实现实时风控和在线流量反作弊,避免业务损失。文档版本:20220223(发布日期)6 基于 Flink的资讯场景实时数仓 资讯场景介绍与技术架构设计 2.资讯场景...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
基于链路追踪+ECI的流量洪峰应对
<em>基于</em>链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受,对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量,因此对于系统的稳定性非常关注,结合阿里云的容器服务、链路追踪、弹性容器ECI等产品,帮助客户业务实现容器化改造,并且方便发现系统应用架构中的瓶颈等问题,实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ᅳ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ᅳ 运维研发效率提高,链路追踪服务端全托管,免运维。 ᅳ 链路追踪的应用调用链分析能力结合ECI高弹性能力,提升应用系统在洪峰流量冲击下的稳定性。 ᅳ 链路追踪接入方便,ECI POD弹性伸缩,节省用户运维成本和云资源使用成本。 ᅳ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩,更丰富的云原生弹性能力。
场景描述 云原生技术已经为越来越多的互联网客户接受,对于在线教育、互动娱乐、电商等类型的客户 会由于业务的原因存在突增业务流量,因此对于系统的稳定性非常关注,结合阿里云的容器服 务、链路追踪、弹性容器 ECI等产品,帮助客户业务实现容器化改造,并且方便发现系统 架构中的瓶颈等问题,实现系统高弹性的同时...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,容器镜像服务 ACR,弹性容器实例 ECI
基于ALB的统一流量调度和监控
<em>基于</em>ALB的统一流量调度和监控
企业在走向容器化过渡阶段,内部同时存在ECS应用和容器应用的情况,在多域名业务场景下,为了对应用的入方向流量进行统一的调度和监控,可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性,高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
文档版本:20210915 58 CADT一键释放测试环境 基于 ALB统一流量调度和监控 7.CADT一键释放测试环境 步骤1 上述测试完成后,登录 CADT控制台,单击应用>我的应用,找到 2.2.通过 CADT 部署资源部署的应用,单击编辑架构图。步骤2 展开底部的部署清单,单击释放全部资源。文档版本:20210915 59 CADT一键释放测试环境 基于 ...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,容器服务 ACK,云效
基于云拨测的网站用户体验监测最佳实践
<em>基于</em>云拨测的网站用户体验监测最佳实践
网站作为电商行业开展业务的核心场景,不同区域、不同运营商、不同的终端用户,给网站体验带来了巨大的一致性挑战。打开卡顿、缓慢,甚至无响应,都会影响到运营效果、甚至出现负面影响。阿里云基于多年业务经验,为云上客户提供完整的电商网站运营期间的用户体验监测方案。
步骤3 通过搜索关键字找到“基于云拨测的网站用户体验监测”模板,单击基于应用新建。文档版本:20220322 3 基于云拨测的网站用户体验监测 通过 CADT部署环境 步骤4 在部署前需要进行以下设置:1.双击 ECS,设置登录密码:2.双击 ECS和 RDS之间的连线,设置 RDS数据库账号和密码。3.目前 CADT暂时不支持开通、购买云拨测...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,弹性公网IP,云速搭,云拨测
基于弹性计算的AI推理
<em>基于</em>弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
在实现层面,它 Kubernetes、helm和 Kubeflow。但数据科学家可能对于 Kubernetes知之甚少。与此同时,用户需要 GPU资源和节点管理。Arena还提供了 top 命令,用于检查 Kubernetes集群内的可用 GPU资源。简而言之,Arena的目标是让数据科学家感觉 自己就像是在一台机器上工作,而实际上还可以享受到 GPU集群的强大力量...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
基于k8s多集群隔离环境下的devops实现
<em>基于</em>k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
文档版本:20220121 3 基于 K8S多集群隔离环境下的 DevOps实现 准备工作 步骤2 通过搜索关键字找到“基于 k8s多集群隔离环境下的 devops实现”模板,单击 于应用新建。步骤3 重设 ECS登录密码:文档版本:20220121 4 基于 K8S多集群隔离环境下的 DevOps实现 准备工作 步骤4 重设 ACK托管版集群 worker实例登录密码:步骤5...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
云速搭部署基于OSS的Nextcloud网盘
云速搭部署<em>基于</em>OSS的Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署,这里使用ECS的UserData特性自动安装MySQL等组件,减少配置工作量。
帮助您构建更稳定、安全的应用,提升 运维效率,降低 IT成本,使您更专注核心业务创新。详见 https://www.aliyun.com/product/ecs 对象存储 OSS:对象存储服务(Object Storage Service,OSS)是一种海 量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和 处理能力弹性扩展,多种存储类型供选择,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云速搭CADT
基于MyBase构建自主可控数据库和高弹性应用实践
<em>基于</em>MyBase构建自主可控数据库和高弹性<em>应用</em>实践
一些企业级客户上云前,会重点关心数据库是否自主可控,包括云资源独享、自主可运维、获取OS 权限等特点,同时又要兼顾数据库合规性、安全性和高性能的要求;并力求在业务弹性下合理利用云产品降低数据和应用成本,弹性地支持业务。本实践为此类用户提供相关实践参考。
集群的只读实例和读写分离 随着业务快速发展,实现读取能力的弹性扩展,分担数据库压力,可以创建只读实例 和读写分离形式,利用读写分离策略和只读实例满足大量的数据库读取需求,增加 的吞吐量。本章节,提供只读实例和读写分离的操作配置以及效果检验。几点注意事项:由于创建只读实例时是从备实例复制数据,因此...
来自: 最佳实践 | 相关产品:负载均衡 SLB,堡垒机,弹性伸缩,云数据库专属集群MyBase,云速搭CADT
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用