SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
步骤3在 Kafka实例中,查看接入点信息,查看【接入点信息】,查看网络【公网】, 同行最右侧的【管理白名单】:步骤4在Kafka控制台中添加SLS的白名单。模版中已经添加了北京region的SLS白名单分组:sls_kafka。添加北京region的SLS白名单的方法:文档版本:20240428 16SLS数据入湖Kafka最佳实践 场景验证 点击【添加白...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
通义灵码助力函数计算FC实现函数编写
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加,服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式,用户只需要关注业务逻辑的实现,无需关心底层的服务器配置和运维管理,从而大大降低了运维成本和复杂性,而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具,可以帮助开发者快速编写高质量的代码,为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码,简化部署流程,提高开发效率。
编写注释  回车便会有灰色的代码生成,此时按Tab键代码便会写入到程序中 检查代码没有问题后,点击部署代码,测试函数,可以在日志输出中看到BUCKET_NAME和 TABLE_NAME的值 通义灵码也有研发智能问答能力,使用Qwenmax模型,包含RAG的技术,回答更准确、更有 结构性,可以将我们不懂的代码或者问题,直接通义灵码搜索框...
来自: 最佳实践 | 相关产品:函数计算,通义灵码
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
在架构图上双击对 应的产品组件,在下方弹出的资源清单中,点击“前往控制台”链接,即可跳转到对 应产品的控制台详情页面 步骤8 检查确认部署的产品组件,本次在北京区域共部署了 1个 MSE实例(带公网 CLB)、2个私网 CLB、2个 SAE应用 文档版本:20240426 7 MSE云原生网关解析 body内容进行路由转发 部署基础环境 文档...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
步骤5 进入ModelScope首页,点击模型服务,完成 FC服务完整的授权链路,具体步骤如下所 示,记录魔搭社区 6位UID 步骤6 授权ModelScope使用阿里云服务,输入魔搭社区 6位UID完成ModelScope的 Role角 色授权并确认状态为已授权 文档版本:20240429 4 基于函数计算 FC实现大语言模型部署最佳实践 使用魔搭将社区模型部署到 FC ...
来自: 最佳实践 | 相关产品:函数计算
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志,实现在一个平台上管理多云架构下的所有日志。
步骤2 搜索关键词“多云日志统一管理”。找到以下模板,点击基于方案新建 步骤3 双击架构图中间的 SLS图标,修改 Project名称,需要注意该名称是全局唯一。这里因为要统一管理阿里云、腾讯云服务器日志,以及腾讯云 Actiontrail操作审计日 志,所以需要创建 1个 project和 3个 logstore。容灾类型选择“本地容灾”。文档...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
获取 OpenTelemetry 接入和鉴权 Token•选择地域:选择 ACK 集群所在区域(首次创建,点击创建 Trace资源)•连接方式:选择 阿里云内网方式•上报方式:选择 gRPC•复制保存接入和 token信息 步骤3 在容器服务控制台对应集群管理页面,配置管理>配置项 中找到 opentelemetry-文档版本:20240428 11 可观测链路 ...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
RocketMQ性能压测快速方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
步骤2(可选)通过控制台获取,双击RocketMQ5.0图标,点击前往控制台 如下图找到接入信息。文档版本:20240506 21RocketMQ性能压测快速方案 一键释放资源 2.2.打开部署好的ecs实例获取内网IP地址 步骤1 双击ecs-producer的图标,在下方“资源清单”中找到“Private_ip”,将对应的值复制下 来,然后记录。文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
3.5.配置video-push-streaming函数 步骤1 以同样的方式在CADT画布中双击video-push-streaming图标,前往该函数控制台, 函数配置页签。文档版本:20240502 43基于函数计算FC实现物联网音视频处理最佳实践 场景验证 找到环境变量配置,点击编辑。修改rtmp_server变量的值,将ip改为通过CADT创建出来的ECS的公网ip。在...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于MSE云原生网关实现全链路灰度
基于MSE云原生网关实现全链路灰度
在微服务场景中,应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时,可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力,您无需修改业务代码,就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则,可以将满足规则的请求流量路由到目标版本的应用。
(https://bpstudio.console.aliyun.com)步骤2选择新建,官方解决方案模版,进入CADT官方解决方案中心,在右侧搜索框输入“基 于MSE云原生网关的全链路灰度”,找到对应架构模板,点击基于应用新建。步骤3点击右上角保存,并设置一个应用名称。如“基于MSE云原生网关实现全链路灰度”。步骤4 模板中资源大部分参数已经按照...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
按实际需求输入命名空间名称(命名空间全局唯一,如果提示命名空间已被占用,请 替换新的名称)步骤4 进入镜像仓库菜单,点击创建镜像仓库,填写必要信息,点击下一步。文档版本:20240426 3 基于函数计算 FC镜像部署 SD大模型 场景验证●命名空间:选择步骤 3中创建好的命名空间。仓库名称:按照实际需求自行填写。仓库...
来自: 最佳实践 | 相关产品:函数计算
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
打开部署好的应用 步骤1 进入云速搭CADT控制台,点击应用>我的应用 步骤2 点击全部应用,找到保存的名称,这里是基于通过ES兼容接口方式使用Kibana访 问SLS数据,点击查看架构图 3.2.通过kubectl工具连接ACK集群 步骤1 在CADT架构图中,双击部署kubectl的ECS图标,点击远程登录,跳转到登录界面,输入用户名和密码 文档版本...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
登录SAE控制台 步骤1 CADT架构图中双击 sae-demo服务,点击前往控制台 点击函数计算 FC,进入函数计算 FC控制台 文档版本:20240430 13 基于SAE 2.0的一站式 Web服务托管方案 场景验证 点击公网访问地址,访问部署的 Web应用,特别注意的是,公网访问地址对 ip来源进 行了限制,需要添加白名单,第一次访问会自动添加 ip,...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
(如果已有权限可跳过该步骤)点击编辑策略后,跳转到 RAM 控制台,新增授权,在弹框中,分别搜索 AliyunOSSFullAccess、AliyunMNSFullAccess,并双击选中到授权列表,最 后“确认新增授权”,显示已完成,则表示授权成功(如下图所示)。文档版本:20240422 19 基于函数计算实现自定义直播-拉流-录制-存储-通知 环境...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
登录函数计算FC控制台 步骤1 CADT架构图中双击 fc_service_cadt_demo服务,点击前往控制台 点击函数计算 FC,进入函数计算 FC控制台 如果跳出要到函数计算 3.0的提示,直接点击跳到函数计算 3.0控制台,在 3.0控制 台点击进入函数。文档版本:20240408 18 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 2.2....
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于Fortinet的出海业务访问加速方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板,帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS,BGP公网精品IP等产品,实现低成本的出海业务加速。
钉钉搜索钉群号 31852400入群 文档模板(手册名称)/Error!Use the Home tab to apply 云服务器 ECS(产品名称)标题 to the text that you want to appear here.基于 Fortinet的出海业务访问 加速方案 文档版本:20150122(发布日期)II 基于Fortinet的出海业务访问加速方案 文档版本信息 文档版本信息 文本信息 属性 内容...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
最佳实践频道 http://bp.aliyun.com 函数计算 FC用户交流群 钉钉搜索钉群号 11721331入群 阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 文档模板(手册名称)/Error!Use the Home tab to apply 云服务器 ECS(产品名称)标题 to the text that you want to appear here.基于 FC实现的 Web端视频 录制最佳实践 文档...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
文档版本:20240330 29基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 例如:步骤3 继续编辑权限策略,按照实际需求输入权限策略名称,这里输入kafka-ram-a,然后 确定。文档版本:20240330 30基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 3.3.创建kafka-ram-b权限策略 步骤...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
Kafka性能压测快速方案
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
可以点击查看报告 文档版本:20240229 19Kafka性能压测快速方案 部署基础环境 确认部署信息后,点击返回,部署后的架构如图,绿色小图标代表资源处于运行中状 态。文档版本:20240229 20Kafka性能压测快速方案 方案验证 2.配置压测环境并压测 2.1.打开部署好的应用获取kafka的endpoint 步骤1 双击kafka-ssd的图标,在下方...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
请阅读计费模式后,点击立即开通 文档版本:20240329 25容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 应 用 列 表,切 换 到 新 版 控 制 台 当 看 到 应 用 名 称 后 出 现每秒请求等信息,表明部署成功。以下截图为新版本ARMS控制台 文档版本:20240329 26容器场景下的应用性能监控、调用链拓扑、内存...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
配置全局监控 步骤1 点击“全局监控”,点击“开启舰队全局监控”步骤2 将集群添加到全局监控中 点击“关联集群”,鼠标移动至“未加入”,点击“添加到全局监控”,将2个集群添加到全 局监控中 文档版本:20240322 43容器多云统一监控日志 场景验证 步骤3 确认添加成功 文档版本:20240322 44容器多云统一监控日志 场景...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用