基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
其核心目标是打造一个面向未来的、开放的“模型即服务”(MaaS)生态系统,为全球泛人工智能(AI)开发者提供一站 式、灵活、易用且成本效益高的模型服务解决方案。模型服务灵积(DashScope):灵积模型服务建立在“模型即服务”(Model-as-a-Service,MaaS)的理念基础之上,围绕 AI各领域模型,通过标准化的 API提 供包括...
来自: 最佳实践 相关产品:函数计算
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
2:print("Usage:pythoncontinuous_request.py")sys.exit(1)ip_or_url=sys.argv[1]#从命令行参数获取 IP或 URL whileTrue:try:response=requests.get(ip_or_url)print(response.text)#如果需要在控制台只打印状态,可以将上面的行替换为:#print(response.status_code)exceptrequests.exceptions.RequestExceptionase:...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
文档版本:20240430 17 基于SAE 2.0的一站式 Web服务托管方案 场景验证 上图为应用的总体监控,可以看到“应用实例数”,“请求数”,“请求次数”,“请求响 应时间”,“HTTP状态”,“CPU使用率”,“内存使用率”,“系统平均负载”,“次盘使 用率”,“网络收&发数据包”,“实例创建耗时”等关键指标。除此之外,...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
验证更多场景 如果想验证更多场景,可以自行修改函数,实现更多样的视频处理场景(如截帧、录制转 等)。文档版本:20240422 29 基于函数计算实现自定义直播-拉流-录制-存储-通知 环境搭建 5.一键释放资源 可以将验证通过的环境直接用于生产。如果不再使用该架构,也可以通过 CADT释放全 部按量付费资源,CADT无法对包年...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
容器场景下的应用性能监控、调用链拓扑、内存剖析 最佳实践 场景描述 业务架构 随着云原生及微服务技术的普及,越来越多的 已经通过云原生和微服务技术实现企业的降 本增效,同时因微服务及云原生的复杂性给系统 运维带来非常大的挑战,云原生应用监控arms 通过全链路应用监控,从端到端及代码级别的链 路下钻能力、CPU...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
 target_kafka_topic:业务系统Kafka云上备份实例的Topictopic-sync-b 业务系统Kafka云上备份实例的连接地址可以打开CADT控制台,双击业务系统Kafka 云上备份实例图标,在下方资源清单中找到。文档版本:20240330 49基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 4.6.配置sync-metadata-func-ram-b...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
自动通知下游服务执行结果 ◼ 请求执行成功后,如果您配置了成功目标,函数计算系统会自动将成功请求的上下文 信息推送到下游目标服务。例如,您配置了使用函数计算实现自动解压上传到 OSS的 ZIP文件,解压完成后想要接收消息通知,可采用为目标函数配置异步调用结果回调目 标服务。3.4.该最佳实践的 Callback 在 Web端视频...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
Function Compute搭建前端CICD系统
Function Compute搭建前端CICD<em>系统</em>
场景描述 传统动静不分离的产品架构,随着访问量在增 长,性能会成为瓶颈。在这种情况下,用户可以 通过利用OSS和CDN对网站进行架构优化, 做到网站文件的动静分离,提升用户访问体验, 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更,上传分支文件至OSS,通 过CDN进行前端资源加速。 方案优势 1.面向serverless:无需购买服务器 2.免运维:无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式:事件驱动方式触发响应 5.费用极低:按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
文档版本:20211008 I Function Compute计算搭建前端 CICD系统 前言 前言 概述 本方案功能是 Function Compute监听前端代码库提交的分支变更,上传分支文件 至 OSS,通过 CDN进行前端资源加速。应用范围 适用于前后端分离架构下,自动化持续部署前端资源。名词解释 VPC:Virtual Private Cloud,简称 VPC。基于阿里云创建的...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,日志服务(SLS),函数计算,CDN
多端低代码开发平台魔笔
魔笔是面向全端(Web、H5、全平台小程序、App)场景,模型驱动的低代码开发平台,提供一站式的应用全生命周期管理,包括可视化开发、发布、运维;基于云原生架构的弹性扩展和低成本运维服务,帮助客户高效地解决应用研发、迭代、运维的问题。
多端低代码开发平台魔笔 X 浙江广播电视集团.:10倍研发提效助力新系统上线!多端低代码开发平台魔笔 X 浙江广播电视集团.频道页一级标题组件.谢赟辉,靖鑫,也树.商品价格简版卡片卡片.前后端逻辑编排.多媒体资源托管.代码自定义物料.公共云运行资源.应用私有化部署.存储:OSS 网络:SLB,EIP,WAF,CDN.3小时学会如何使用低...
来自: 云产品
音视频低代码开发
音视频低代码开发AUI Kits是基于阿里云视频云提供的aPaaS产品。AUI Kits将各种音视频SDK进行模块化封装,相比直接使用多个SDK对接PaaS服务,具有简单易用的特点。
音视频低代码开发(MediaBox AUI Kits)基于阿里云丰富的音视频实践沉淀,依托音视频终端 SDK,为用户提供简单易用的 aPaaS 产品。该产品可用于电商直播、企业直播、互动直播、在线课堂、短视频、媒资管理等场景,为典型业务场景提供模块化封装的低代码开发套件,助力业务快速上线和创新.金秋云创季|CDN&视频云产品优惠新...
来自: 云产品
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
 负载均衡SLB(ServerLoadBalancer):一种对流量进行按需分发的服务,通过将流量分发 到不同的后端服务来扩展应用系统的服务吞吐能力,并且可以消除系统中的单点故障,提 升应用系统的可用性。 Serverless应用引擎SAE(ServerlessAppEngine):是一款零代码改造、极简易用、自适应 弹性的应用全托管平台。SAE能够让您...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
函数计算实现弹性音视频处理系统
函数计算实现弹性音视频处理<em>系统</em>
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用,每天 有大量的上传视频,需要及时转码处理以适配各 种终端及网络条件,要求短时间内准备大量的计 算资源进行大规模并行转码处理,同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
这使您的函数可以像访问本地文件 一样编写访问存储在其中一个 NAS 文件系统上的文件。详见 https://cn.aliyun.com/product/nas 对象存储 OSS:海量、安全、低成本、高可靠的云存储服务,提供 99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问,容量和处 理能力弹性扩展,多种存储类型供...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,文件存储NAS,日志服务(SLS),Serverless 工作流
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集<em>系统</em>
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
性能压测.51 文档版本:20210806(发布日期)1 Function Compute构建高弹性大数据采集系统 最佳实践概述 最佳实践概述 概述 当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类 服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游 戏运营,产互行业中的数字营销,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
云上高并发系统改造
云上高并发<em>系统</em>改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
尽可能避免跨库查询:关联查询的数据尽量分散到同一个分片中,跨库查询对 性能损耗很大。避免跨分表联表查询的方式有:a)剥离出高频访问的表,与核心表 1:1关系的,进行反范式设计,将核心表加 宽 b)如果与核心表是 N:1关系的,将高频访问字段冗余到核心表中 c)低频访问数据,业务功能设计上,避免一页展示大而全,...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
V1.2 2024-04-02 四牛 游圣 CADT版本升级,1)SAE中支持环境变量, 需手工配置 2)CLB跟 SAE服务的监听 支持自动创建,无需手动挂 载 3)SAE改版 文档版本:20240402 I MSE网关使用 JWT实现认证鉴权 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.CADT基础环境搭建.2 2.工具生成公钥、私钥...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
用户可以对提供的默认函数 做修改,来满足更复杂的逻辑。l 专有网络 VPC 整体方案通过 CADT 可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算 l 阿里云交换机 和 MongoDB控制台做少量配置即可。l 阿里云安全组 解决问题•实现根据 Kafka 消息的具体内容判断,该对 l 阿里云函数计算(FC)MongoDB 做...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
存储资源规划.45 文档版本:20210725 IV 阿里云数据库快速搭建疫情分析系统最佳实践 最佳实践概述 最佳实践概述 概述 疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部 门和单位的难题,阿里云 polardb for PG+Ganos解决方案可在极短时间内完成分析 搭建,有效助力疫情防。技术架构 本实践...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
大数据系统基准性能测试最佳实践
大数据<em>系统</em>基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
大数据系统基准性能测试 最佳实践 部署架构图 场景描述 本方案适用于大数据系统基准性能测 试的场景,这里以 Terasort&Teragen 测试,以及 TestDFSIO测试,来衡量 大数据系统的基准能力。解决问题 1.使用 CADT快速构建大数据系统 测试环境 2.进行 Terasort&Teragen 3.进行 TestDFSIO测试 产品列表 EMR 云服务器 ECS 云速搭 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
基于日志服务构建业务可观测性系统
基于日志服务构建业务可观测性<em>系统</em>
现在已知的各种监控数据的工具,以及对应的监控系统有非常多的选择,比如ZABBIX,Prometheus,Skywalking等。但是这些系统都存在同样的一个问题,只覆盖了可观察性的一部分,举个简单的类比,大家在日常开车的过程中,会用到很多的辅助设备,仪表盘,行车记录仪,导航,倒车影像等等,这些设备都各自承载了一部分的功能,但是都存在着如下的问题: l 数据覆盖不完整 l 存在数据孤岛(无法关联协同) l 使用门槛高,不够人性化 核心价值 l 全覆盖,统一协议,支持各类平台。 l 数据关联,统一Schema,关联Metrics/Logs。 l 云原生,SaaS服务,拥抱云原生。 l 简单易用,自动化埋点,数十项易用功能。 智能化,异常诊断,根因分析。
本案例已经将 集成到相关镜像中,因此大家只需要根据本章节步骤,在容器中配置相关的环境变 量即可完成 Trace采集配置。不 同 的 语 言 接 入 方 式 不 同,详 细 可 以 参 考文档:https://help.aliyun.com/document_detail/208894.html 3.2.1. 添加配置参数 步骤1 登录 Kubernetes控制台...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
阿里云原生产品完全兼容SpringCloud框架的主流版本,监控能力通过探针方式采集 运行时数据,对业务代码无侵入。应用场景 借助云原生产品MSE、SAE、ARMS、PTS,提供一个经典微服务场景上云的步骤,体现云原生相关产品在微服务应用上云过程中,解决服务化部署、微服务注册、微 服务监控、微服务测试的能力。本实践中使用的...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
< 1 2 3 4 ... 11 >
共有11页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用