大模型RAG对话系统部署
大模型RAG对话<em>系统</em>部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
部署架构 架构说明 本次服务会部署两个 EAS服务,选择 ElasticSearch作为向量检索库。产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和 管理云产品实例,比如 ECS、负载均衡、RDS等。文档版本:20240131 4 ...
来自: 最佳实践 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
云上 AI
依托大模型与云计算的协同发展,阿里云帮助企业和开发者以最快速度实现生成式和判别式的创新应用,拥抱 AI 时代
查看更多云平台亚太合规资质最全的云服务商之一,从基础设施安全、内核平台安全、系统服务安全、云安全产品四个层面,保障千行百业客户的业务安全在线。查看更多服务全球海量客户,加速万千企业AI转型朗新科技海艺AI闪剪智能笔灵AI朗新科技朗新集团初创于1996年,总部位于江苏无锡,并在各地设有8大研发中心,业务和分支...
来自: 解决方案
向量检索服务 Milvus 版
阿里云向量检索服务Milvus版是一款云原生开源向量检索引擎,为用户提供多模态检索服务和高效稳定的向量数据检索能力,与云计算等产品集成对接,为AI应用场景的数据工程提供便利。
产品功能企业级全托管的可扩展 AI 向量检索引擎阿里云向量检索服务 Milvus 版基于 Serverless 的架构打造产品能力,提供快速的水平和垂直集群扩展能力。致力于为客户提供优质的产品体验,基于阿里云 Milvus 运管平台能力,我们提供 99.9%的可用性保证。远超越开源版本的内核能力完全兼容开源 Milvus,提供与原生软件交互性...
来自: 云产品
SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
测试验证完毕后一键进行销毁环境 文档版本:20240428 1SLS数据入湖Kafka最佳实践 最佳实践概述 部署架构 架构说明 华北2(北京)模拟阿里云部署 Region,华东2(上海)模拟阿里云或非阿里云 的情况,各个环境有如下资源 1、华北2(北京)region:1.1、开通云产品:日志服务SLS 1.2、在SLS中创建logstore 1.3、在SLS中创建...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
RocketMQ性能压测快速方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
销毁环境 文档版本:20240506 4RocketMQ性能压测快速方案 最佳实践概述 部署架构 架构说明 两台ECS,挂载EIP以便于登录和拉取压测客户端的软件。本实验中压测软件采用 RocketMQ官方提供的压测软件,可参考:https://openmessaging.cloud/docs/benchmarks/rocketmq/。1个RocketMQ实例,配置如下:实例版本 5.0系列,按量付费...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
阿里云日志服务SLS多云一日志方案之腾讯云日志采集最佳实践
阿里云日志服务SLS多云<em>统</em>一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志,实现在一个平台上管理多云架构下的所有日志。
阿里云 SLS多云日志统一管理方案-腾讯云日志采集 最佳实践 业务架构 场景描述 使用日志服务 SLS统一采集、存储、查询和分析 阿里云、腾讯云等不同云厂商上的业务日志、 日志和云产品日志,实现在一个平台上管理多 云架构下的所有日志。产品列表 方案适用的场景和优势 阿里云 多云:使用多云架构的用户都需要有一个统一...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
测试结束释放环境 文档版本:20240426 5 MSE云原生网关解析 body内容进行路由转发 最佳实践概述 部署架构 架构说明 本方案涉及的云产品包括 1个 MSE实例(前面挂公网 CLB)、2个私网 CLB、2个部 署在 SAE中的测试应用。产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里云创建的自定义私有网 络,不同的专有...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
部署架构 架构说明 1个 ACK集群,1个日志服务 SLS实例(跳过部署)●CADT暂不支持可观测链路 OpenTelemetry 版服务的部署,此处略过。ACK和 SLS间连线为展示连线,不支持配置节点的架构关系.产品介绍●专有网络 VPC(Virtual Private Cloud):是用户基于阿里云创建的自定义私有网络,不同的专有网络之间二层逻辑隔离,用户...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
部署架构 架构说明  上海Region模拟数据合规区和用户端行为。 北京Region里主要涉及到云工作流CloudFlow,函数计算FC,对象存储OSS。 通过CloudFlow设计的流程,编排函数计算,实现自动化处理视频的流程。 CloudFlow中还涉及到对视频切片的不同操作,做并行处理的逻辑、处理完成后合流 文档版本:20240502 4基于...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
方案优势●日志服务提供高可用的存储、查询引擎,全托管、无需运维投入●无需使用logstash中转数据,提高了日志查询的实时性●无需使用Kafka和Elasticsearch,避免占用机器资源,只需按量付费●兼容Elasticsearch生态、程序(Kibana、API访问等)部署架构 架构说明 2台ECS,1个ACK集群,1个EIP,1个NAT网关,1个SLS实例(跳...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
基于MSE云原生网关实现全链路灰度
基于MSE云原生网关实现全链路灰度
在微服务场景中,应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时,可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力,您无需修改业务代码,就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则,可以将满足规则的请求流量路由到目标版本的应用。
当您部署 的SpringCloud应用或Dubbo应用存在升级版本 业务架构 时,可能会导致无法将具有一定特征的流量路由到应 用的目标版本。通过MSE提供的全链路灰度能力,您无需修改业务代码,就可以实现端到端的全链路流 量控制。泳道可以将应用的相关版本隔离成一个独立 的运行环境。通过设置泳道规则,可以将满足规则的 请求流量...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
部署架构 架构说明 该架构图直观的表现出了该方案中使用到的网络(VPC,交换机,安全组)、SAE之间的关系。网络架构:◼ 整个方案会在某个Region下,该示例使用的是杭州Region ◼ 在Region下会创建一个 VPC◆在该 VPC下会创建一个某可用区的交换机,该示例使用的是 I和H可用区 文档版本:20240430 4 基于SAE 2.0的一站式 ...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC镜像部署 Stable Diffusion大模型 最佳实践 业务架构 场景描述 在现代 AI应用中,Stable Diffusion等模型因其 强大的功能而受到关注。然而,这些模型对计算资 源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型的 部署提供了全新的解决方案。用户只需关注模型的 ...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC实现大语言模型部署最佳实践 业务架构 方式一:魔搭 SwingDeploy模型到 FC 方式二:FC3.0应用模板部署 场景描述 在现代 AI应用中,Qwen/chatglm2-6b等社区模型因其强大的功能而受到关注。然而,这些模型对计算 资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
文档版本:20240422 4 基于函数计算实现自定义直播-拉流-录制-存储-通知 最佳实践概述 部署架构 架构说明 该方案的整条链路是非常清晰明确的:用户发起直播流程。直播系统/APP里发起对函数计算的 API 调用,并带上直播流地址。函数计算根据用户发起的请求,动态弹性伸缩,对直播流进行录制。录制结束后,把文件写入 OSS,并...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步,跨帐号阿里云Kafka实例 之间消息、元数据同步,阿里云Kafka实例和IDC 自建Kafka(其他云Kafka)之间消息、元数据同步。应用场景 在大数据场景,企业的Kafka实例...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
容器场景下的应用性能监控、调用链拓扑、内存剖析 最佳实践 场景描述 业务架构 随着云原生及微服务技术的普及,越来越多的 已经通过云原生和微服务技术实现企业的降 本增效,同时因微服务及云原生的复杂性给系统 运维带来非常大的挑战,云原生应用监控arms 通过全链路应用监控,从端到端及代码级别的链 路下钻能力、CPU...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
基于 FC实现的 Web端视频录制最佳实践 业务架构 场景描述 解决问题 在很多互娱场景,在线教育领域会有直播视频录制的 解决 Web端全屏录制复杂度高的问题。需求,但是往往一个页面上的内容是多种多样的,不 解决 Web端全屏录制灵活扩展性的问题。止有直播流,可能还有白板,评论等其他元素,如果 只是录直播流,那内容是不...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
< 1 2 3 4 ... 23 >
共有23页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用