基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
其核心目标是打造一个面向未来的、开放的“模型即服务”(MaaS)生态系统,为全球泛人工智能(AI)开发者提供一站 式、灵活、易用且成本效益高的模型服务解决方案。模型服务灵积(DashScope):灵积模型服务建立在“模型即服务”(Model-as-a-Service,MaaS)的理念基础之上,围绕 AI各领域模型,通过标准化的 API提 供包括...
来自: 最佳实践 相关产品:函数计算
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
实际场景举例:场景一:直播内容审核,当主播发起直播后,业务系统调用函数计算服务的 API,把直播 的地址传递给函数计算,函数计算启动并开始做视频流的录制或者截帧(Demo 是做的录 ,截帧需要稍加改动),并把视频或者图片上传到 OSS,并发出通知到 MNS 消息队列。下游业务系统可以扩展配置 OSS 触发函数计算做视频...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
高效防护 Web 应用
随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临诸多风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,保障网站的业务安全和数据安全。同时,为您节约开发成本,满足行业合规要求。
部署和容灾多为本地机房部署,要全方位考虑从物理机房到软件系统的容灾机制。公共云/混合云/多云灵活部署,云上多集群自动容灾调度,自带一定程度的DDoS防御。计费方案一次性支出,大量闲置资源,扩容方案复杂。即开即用,即关即走,支持包年包月/按量计费,弹性扩容。对比项接入成本维护成本防护能力部署和容灾计费方案WAF...
来自: 解决方案
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
 分布式云容器平台ACKOne:是阿里云面向混合云、多集群、分布式计算、容 灾等场景推出的企业级云原生平台,ACKOne可以连接并管理您任何地域、任 何基础设施上的Kubernetes集群,并提供一致的管理和社区兼容的API,支持 对计算、网络、存储、安全、监控、日志、作业、应用、流量等进行统一运维管 。 日志服务SLS:是云...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准<em>控制</em>Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
文档版本:20240330 54基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 步骤3 进入业务系统Kafka云上备份实例控制台,进入Topic管理页面,等待1分钟后,可 以看到刚才在业务系统Kafka实例中创建的test-sync-topic已经同步过来了。步骤4 进入业务系统Kafka实例控制台,进入Topic管理页面,删除test-sync-...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
业务初期业务开始增长业务持续增长在业务初期,您可能会为了控制成本选择在应用服务器上自建数据库。但随着业务增长,这种应用和数据库部署在一个服务器上的架构,会有性能、安全、扩展性方面的隐患。为了消除性能、安全、扩展性方面的隐患,您可能会选择将数据库和应用分开部署。但数据库迁移工作并不简单,并且实现高可用...
来自: 解决方案
密评咨询服务
密评咨询服务是阿里云依托云平台密评经验和云密码产品优势,提供全流程密评咨询服务,助力企业快速完成密评合规
身份鉴别、远程管理通道安全、系统资源访问控制信息完整性、日志记录完整性.设备和计算安全.身份鉴别、访问控制信息完整性、重要数据传输机密性、重要数据存储机密性、重要数据传输完整性、重要数据存储完整性、数据原发和接受的不可否认性.应用和数据安全.商用密码合规整体方案.一站式合规,实现咨询+测评+产品全覆盖.专业...
来自: 云产品
Landing-zone
企业上云第一步,规划和落地云上资源结构、访问安全、网络架构、安全合规体系,为企业搭建安全、高效、可管理的云环境。
持续优化成本,减少资源浪费标签Tag费用中心03网络规划·按照业务对网络分区,控制区域间的隔离互通·多种方式实现混合云组网,打造全球化网络架构·设计DMZ区,统一管理公网出口专有网络 VPC云企业网 CEN负载均衡 SLBNAT 网关04身份权限·配置SSO,让企业用户有统一的登录方式·配置运维所需要的权限·限制访问的安全策略...
来自: 解决方案
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
提供的 场景编排、API调试、流量定制、流量录制等功能,可快速创建业务压测脚本,精准模拟不同量级用户访问业务系统,帮助业务快速提升系统性能和稳定性。 云速搭 CADT(CloudArchitectDesignTools):是一款为上云应用提供自助 式云架构管理的产品,显著地降低应用云上管理的难度和时间成本。本产品提 供丰富的预制应用...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容<em>控制</em>MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断,然后对 MongoDB 做增,删,改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景,将 Kafka 中的消息流转到其 他下游服务...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
网关选型 微服务网关是一个处于微服务之前的系统,作为微服务环境面向外部服务访问者的唯一入口,用来管理授权、访问控制和流量路由等,这样服务就被网关保护起来,对所有的调用者透明。因此,隐藏在网关后面的业务系统就可以专注于创建和管理服务,而不用去处理这些策略性的 基础设施。常见的三种解决方案: 云原生网关...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
IPv4网关实现流量统一出入口
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制,禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
IPv4网关实现流量统一出入口 最佳实践 业务架构 场景描述 云服务器 ECS拥有了公网 IP(例如固定公网 IP或 者 EIP),可以直接访问公网,不受 VPC路由表 。为了降低 ECS直接访问公网可能带来的安全管 控风险,可以使用 IPv4网关及子网路由能力,对 VPC 中访问公网的行为进行约束,根据需求使得子网具备 访问公网的能力...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,云速搭
大模型RAG对话系统部署
大模型RAG对话<em>系统</em>部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
大模型 RAG对话系统部署 最佳实践 业务架构 场景描述 大语言模型(LLM)在生成准确和实时的回复方面存 在局限性,不适合直接用于需要精确信息的客服或问 答等场景。当前业界普遍采用基于检索增强的 RAG 技术来改善 LLM的表现。该方法通过结合 LLM的归 纳生成能力和向量检索库的检索能力,增强对用户查 询的理解,并产生更加...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
 申 请 成 功 后,可 以 登 录 VPC 台(https://vpc.console.aliyun.com/vpc/cn-zhangjiakou/vpcs),出现高可用虚拟IP 菜单后即表示申请成功。文档版本:20240206 7OracleRAC12C云上部署 基于CADT一键部署RAC基础资源 2.2.登录CADT创建部署模板 步骤1 登录CADT控制台。(https://bpstudio.console.aliyun.com/)...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
3.5.环境初始化 3.5.1.ECS ram role创建 步骤20 登录访问控制的产品页面。点击创建角色 https://ram.console.aliyun.com/overview 选择阿里云服务 文档版本:20240204 15 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 CADT部署环境 选择普通服务角色,输入角色名称,选择受信服务为云服务器 点击新增授权 文档...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
系统运维管理 OOS
阿里云系统运维管理(简称OOS)提供的云上自动化运维服务,通过执行模板来完成任务的自动化运行,可以使用OOS管理ECS、RDS、SLB、VPC等云产品,提升日常运维管理效率
支持RAM权限设置RAM权限设置:访问控制RAM是阿里云统一的用户身份与资源访问权限管理服务,用户可以通过RAM从账号层面控制子用户或角色对系统运维管理OOS资源的访问,同时系统运维管理OOS可以通过设置Ram角色参数,指定OOS以扮演的角色进行模板执行。操作记录审计操作记录审计:通过系统运维管理OOS进行的任何运维操作,均...
来自: 云产品
实人认证
阿里云实人认证是为企业或个人身份提供相关信息核验服务的身份验证平台,采用活体检测、人脸识别、权威信息核验等技术,为客户提供安全、便捷的身份认证服务。
支持实名身份验证、真人活体检测、人证一致性验证、证件信息识别等基本功能,支持多种客户端集成、高达99.95%的可靠性,有效识别屏幕翻拍、打印面具、摄像头劫持注入攻击等人脸伪造风险,广泛应用于直播、社交、网约车出行、银行、保险等行业实名场景,助您精准识别用户真实身份,构建身份安全防线。实人认证数字身份认证...
来自: 云产品
密评合规解决方案
阿里云安全依托云平台密评经验和云密码产品优势,联合第三方测评机构等合作资源,提供一条龙密评合规解决方案。
身份鉴别、远程管理通道安全、系统资源访问控制信息完整性、日志记录完整性.设备和计算安全.身份鉴别、访问控制信息完整性、重要数据传输机密性、重要数据存储机密性、重要数据传输完整性 重要数据存储完整性、数据原发和接受的不可否认性.应用和数据安全.商用密码合规整体方案.阿里云密评架构.返回云安全频道.阿里云安全...
来自: 解决方案
向量检索 Milvus 版
阿里云向量检索 Milvus 版 是阿里云提供的 Serverless Milvus 全托管服务,100% 兼容开源 Milvus,提供高性能、可扩展、大规模 AI 向量数据库相似性检索服务。
基于阿里云专有网络(VPC)部署提供专有网络访问,同时提供更细力度访问控制及更高安全等级保护.实例可观测性.提供全访问的集群指标(Metrics)监控及告警能力.构建企业级全托管的可扩展 AI 向量数据库相似性检索服务.和阿里云 AI 产品集成.与阿里云人工智能平台 PAI,通义等 AI 产品矩阵集成,为企业的 AI 应用场景落地,...
来自: 云产品
云原生企业级数据湖
基于对象存储 OSS 构建的数据湖,可对接多种数据输入方式,存储任何规模的结构化、半结构化、非结构化数据,打破数据湖孤岛。
计算与存储解耦合提供更灵活的系统架构设计,让计算、存储资源具备更好的可扩展性,对 Hadoop 生态体系有良好的支持能力,通过细粒度的权限控制、数据加密和日志记录与审计等机制保障数据安全。应用场景基于开源生态构建大数据分析支撑 Hadoop 开源生态构建大数据分析方案,解决了传统 Hadoop 在扩展性、运维模式、成本优化...
来自: 解决方案
< 1 2 3 4 ... 16 >
共有16页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用