基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现<em>阿里云</em>Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
文档版本:20240408 14 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 资源开始进行下单购买,请耐心等待资源创建 进入部署阶段后,请耐心等待,这里浏览关闭或者电脑出现异常不会影响部署。文档版本:20240408 15 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 等待资源创建完成,可以...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现<em>阿里云</em>Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体的内 容做判断,然后对 MongoDB 做增,删,改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景,将 Kafka 中的消息流转到其 他下游服务...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
1分钟部署幻兽帕鲁游戏服务器
近期幻兽帕鲁、雾锁王国等游戏备受追捧,其对计算资源与带宽有较高的要求。为确保游戏过程的流畅度与优质体验,玩家需要配备性能好、稳定可靠的游戏服务器。本方案为广大的玩家群体提供专属联机服务器,一键购买部署,轻松开启游戏。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读近期幻兽帕鲁、雾锁王国等游戏备受追捧,其对计算资源与带宽有较高的要求。为确保游戏过程的流畅度与优质体验,玩家需要配备性能好、稳定可靠的游戏服务器。本方案为广大的玩家群体提供专属联机服务器,一键购买部署,轻松开启游戏...
来自: 解决方案
高效防护 Web 应用-自定义模板
随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临诸多风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,保障网站的业务安全和数据安全。同时,为您节约开发成本,满足行业合规要求。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景如何防护 Web 应用与传统方案对比WAF 应用场景部署 WAF随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临诸多风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站...
来自: 解决方案
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
 vCPU规格:选择1vCPU  内存规格:选择2048MB  实例并发度:1 环境变量:文档版本:20240502 51基于函数计算FC实现物联网音视频处理最佳实践 场景验证  ak: 帐 号 的 AccessKey,如 无 AK,可 以 访 问 https://ram.console.aliyun.com/manage/ak生成  sk:阿里云帐号的AccessKeySecret  bucket:...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于FC实现的Web端视频录制最佳实践
基于FC实现的<em>Web</em>端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
开通阿里云容器镜像服务 ACR 步骤1 因为部署 Web端录制应用需要将应用模板使用的镜像发布到用户自己的镜像仓库中,所以需要使用到阿里云容器镜像服务 ACR。打开 ACR 控制台(https://cr.console.aliyun.com/cn-beijing/instances),创建容器镜像服务实例,生产 中建议创建企业版实例,在该最佳实践中,可以创建个人版。...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
通过 WAF 防护 Web 应用
随着网络技术的不断发展,您的web应用如果没有流量入口的防护,会面临恶意篡改、SQL注入、XSS、CC攻击等风险。本方案推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,保障网站的业务安全和数据安全。同时,为您节约开发成本,满足行业合规要求。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台随着网络技术的不断发展,您的Web应用如果没有流量入口的防护,会面临恶意篡改、SQL注入、XSS、CC攻击等风险。本方案以ECS实例接入WAF为例,推荐您使用Web应用防火墙(WAF)开启应用防护,避免网站服务器被恶意入侵导致性能异常等问题,...
来自: 解决方案
基于Fortinet的出海业务访问加速方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板,帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS,BGP公网精品IP等产品,实现低成本的出海业务加速。
方案优势 1、低成本出海加速业务 2、最小核数 1CPU最多支持 20人同时在线 产品列表 访问 3、支持弹性扩容、弹性带宽、按流量等多种 云速搭 CADT 模式付费 专有网络 VPC 4、智能传输路径选择、阿里云海外多节点覆 阿里云交换机 盖,享受安全、快速、超低延迟访问 阿里云安全组 云服务器 ECS BGP公网精品 IP 最佳实践频道 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
步骤5 进入ModelScope首页,点击模型服务,完成 FC服务完整的授权链路,具体步骤如下所 示,记录魔搭社区 6位UID 步骤6 授权ModelScope使用阿里云服务,输入魔搭社区 6位UID完成ModelScope的 Role角 色授权并确认状态为已授权 文档版本:20240429 4 基于函数计算 FC实现大语言模型部署最佳实践 使用魔搭将社区模型部署到 FC ...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制,录制结束后会把录制的结果写入 OSS 存储桶,并把录制的结果写到消息队列,下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 ,大部分场合都需要对直播相关的业务...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
 专有网络VPC  跨帐号或异地容灾:这类场景比如主Kafka是 里云Kafka,备Kafka是IDC开源自建Kafka, 阿里云交换机 或者是其他云上的Kafka。 阿里云安全组  不同业务之间消息同步:因为现在的业务通常不  阿里云函数计算(FC)会是信息孤岛,都需要消息互通,所以可能是A  阿里云云消息队列Kafka版 业务的Kafka...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
从http到https让您的网站更安全-自定义模板
在ECS上部署Web应用是常见的业务场景,用户使用HTTP请求访问网站域名,浏览器通常会显示“感叹号”,提醒用户当前访问的站点存在安全风险。为了解决该问题,需要网站支持HTTPS协议访问。HTTPS协议可以防偷窥、防篡改及完成服务端身份验证等,保证请求全链路的数据访问安全。本方案介绍如何在ECS上搭建Web应用以及在Nginx服务器上部署SSL证书开启HTTPS安全访问。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景HTTP 明文访问的风险支持 HTTPS 访问的方案方案介绍在ECS上部署Web应用是常见的业务场景,用户使用HTTP请求访问网站域名,浏览通常会显示“感叹号”,提醒用户当前访问的站点存在安全风险。为了解决该问题,需要网站支持...
来自: 解决方案
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
创建RAM授权 为 已 创 建 关 联 的 默 认 角 色(AliyunFCDefaultRole)授 予 oss:WriteGetObjectResponse权限。具体的权限策略如下:步骤1 登录RAM访问控制(https://ram.console.aliyun.com/roles),对角色进行配置。文档版本:20240304 17基于OSSObjectFC实现非结构化文件实时处理最佳实践 场景验证 步骤2 新增...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
 弹性公网IP:弹性公网IP是独立的公网IP资源,可与阿里云专有网络VPC 类型的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定,并可 以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供 Internet访问服务。 微服务引擎MSE:微服务引擎 MSE 面向业界主流开源微服务项目,提供注 册配置中心和...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
 弹性公网IP:是独立的公网IP资源,可与阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI 网卡、私网负载均衡SLB绑定,并可以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署 的网站提供Internet访问服务。 NAT网关(NATGateway)提供公网NAT和私网NAT两种功能。公网NAT网关通过自定义SNAT、文档版本:...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到<em>阿里云</em>EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1:自建 Hadoop集群数据(HDFS)迁移到 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统;术方案;场景2:自建 Hadoop集群数据(HDFS)迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群,以 OSS 和 传输...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
阿里云电子政务云安全解决方案
阿里云电子政务云安全解决方案基于合规的阿里云平台,并标配多项高等级安全能力,满足政务应用系统的综合安全防御需求,为此提供一个合规、安全、可靠的政务专属云平台;只需业务上阿里政务云,便可一站式解决安全、合规等需求;减少传统繁琐建设流程。
基于合规的阿里云平台,并标配多项高等级安全能力,满足政务应用系统的综合安全防御需求,为此提供一个合规、安全、...保障企业的服务器(包括非阿里云服务器)在遭受大流量DDoS攻击时,不造成服务不可用,不影响业务运行.DDoS高防IP.云上统一策略管控,入侵防御、东西向、南北向流量可视;业务上云后,业务可视、可管、可控.
来自: 解决方案
小型互联网迁移阿里云
小型互联网迁移<em>阿里云</em>
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
vpc for public use(外网 10.99.0.0/19 10.99.8.0/21 10.99.16.0/21 )10.99.32.0/19 10.99.40.0/21 10.99.48.0/21 vpc for private(内网服务)10.99.128.0/18 10.99.144.0/20 10.99.160.0/20 vpc for database(数据库)10.99.252.0/22 10.99.253.0/24 10.99.254.0/24 vpc for reserve(预留)10.98.64.0/18-10.98....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
执行安装启动脚本:sudo/usr/pgadmin4/bin/setup-web.sh 文档版本:20210725 16 阿里云数据库快速搭建疫情分析系统最佳实践 环境配置 步骤4 通过浏览访问安装好的 pgadmin4。http://xx.xx.xx.xx/pgadmin4 如果无法访问,请调整 ECS的安全组开启 80端口:文档版本:20210725 17 阿里云数据库快速搭建疫情分析系统最佳实践 ...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
阿里云最佳实践容器workshop
<em>阿里云</em>最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
本例使用 里云提供的容器镜像服务。文档版本:20220301(发布日期)21 阿里云ACK容器服务workshop Docker实践 2.7.1.创建命名空间 步骤1 登录阿里云容器镜像服务控制台。(https://cr.console.aliyun.com/)步骤2 设置 Registry登录密码。文档版本:20220301(发布日期)22 阿里云ACK容器服务workshop Docker实践 步骤3 ...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
< 1 2 3 4 ... 13 >
共有13页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用