SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
 Serverless应用引擎SAE(ServerlessAppEngine):是一款零代码改造、极简易用、自 适应弹性的应用全托管平台。SAE让您免运维IaaS和K8s,秒级完成从源代码/代码包/Docker镜像部署任何语言的在线应用(如Web/微服务/Job任务)到SAE,并自动伸 缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。文档版本:...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
最佳实践频道 http://bp.aliyun.com 阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号 43525005207入群 可观测链路 OpenTelemetry 版结合日志服务 SLS关联分析 最佳实践 文档版本:20240428(发布日期)可观测链路 OpenTelemetry 版结合日志服务 SLS最佳实践 文档版本信息 文档...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
Serverless 应用引擎 SAE(Serverless App Engine):是一款零代码改造、极简 易用、自适应弹性的应用全托管平台。SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载 均衡等配套能力...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
Serverless 应用引擎 SAE(Serverless App Engine):是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s,秒级完成从源代码/代码 包/Docker 镜像部署任何语言的在线应用(如 Web/微服务/Job任务)到 SAE,并自动 伸缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。云速搭 ...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
存储引擎:阿里云 Kafka架构,有云存储和 Local存储。(详细对比参见文档:https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines )◆消息类型:普通消息。创建Group:◆Group名称:根据实际业务自行填写。Group描述:根据实际业务自行填写...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
从HTTP到HTTPS让网站更安全
本方案介绍如何在ECS上搭建Web应用以及在Nginx服务器上部署SSL证书开启HTTPS安全访问。
02部署Web服务创建一ECS服务器,安装Nginx,并部署Web服务,配置域名解析。03下载SSL证书访问免费证书购买页,申请并下载SSL证书,解压SSL证书压缩包。04部署SSL证书登录云服务器ECS,部署SSL证书,实现网站HTTPS访问。一键部署手动部署方案权益优惠购买免费试用询价中.立即购买询价中.立即购买询价中.立即购买解决方案...
来自: 解决方案
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
 云虚拟机ECS  微服务引擎MSE(云原生网关)解决问题  日志服务SLS•构建容器多云统一监控和日志系统,在一个  容器服务ACK  分布式云容器平台ACKOne 可以看到不同环境系统的运行情况。 应用实时监控ARMS  可观测监控Prometheus版  可观测可视化Grafana版 最佳实践频道  云速搭CADT ...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
 微服务引擎MSE(MicroservicesEngine):一个面向业界主流开源微服务生态的一站式微 服务平台,提供注册配置中心(原生支持Nacos/ZooKeeper/Eureka)、云原生网关(原生 支持Ingress/Envoy)、微服务治理(原生支持SpringCloud/Dubbo/Sentinel,遵循OpenSergo 服务治理规范)的能力。 云速搭CADT...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
Serverless 应用引擎 SAE(Serverless App Engine):是一款零代码改造、极简 易用、自适应弹性的应用全托管平台。SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载 均衡等配套能力...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
(函数中业务代码的执行时长,可根据函数承载的业 务自行设置其他时间,最大支持 24 小时)l 请求处理程序:index.handler(函数的入口函数名称,index 为文件名,handler 为 函数名)l 环境变量:默认设置连接 MongoDB 需要的属性,但具体的值需要后续在函数控制 编辑。n mongodb_endpoint:MongoDB 连接地址 n mongodb_...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
基于MSE和SAE的微服务部署与压测最佳实践 业务架构 场景描述 通过云原生微服务引擎MSE、SAE、PTS、ARMS 产品,为SpringCloud微服务应用提供部署和测试 能力,提供一个经典微服务应用上云的典型架构,实 现微服务应用的快速落地。应用场景 微服务应用运行需要的支撑包括注册中心、运行时、应用监控、服务测试等典型能力。...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
大模型RAG对话系统部署
大模型RAG对话系统部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
适用于问答、摘要生成和其他依赖外部知识的自然语 言处理任务的场景 解决问题 适用于问答、摘要生成和其他依赖外部知识的自然语 言处理任务 最佳实践频道 产品列表 http://bp.aliyun.com 专有网络 VPC 阿里云最佳实践分享群 钉钉搜索钉群号31852400入群 云速搭 CADT 微服务引擎MSE用户交流群 人工智能平台 PAI 钉钉搜索钉...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
NLP自学习平台
阿里云NLP自学习平台是面向算法小白用户的自适应标注、训练和服务平台,支持34种算法能力。仅需标注或上传适量数据,即可通过平台创建算法模型并使用。
开放搜索是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台,目前为包括淘宝、天猫在内的阿里集团核心业务提供搜索服务支持。通过内置各行业的查询语义理解、机器学习排序算法等能力,提供充分开放的引擎能力,助力开发者快速搭建更高性能、更高搜索基线效果的智能搜索服务.更多产品与服务.新...
来自: 云产品
人工智能平台 PAI
阿里云人工智能平台 PAI 涵盖交互式建模、可视化建模、分布式训练到模型在线部署全流程;快速搭建人工智能推荐系统;深度学习模型训练速度提升数十倍;减少50%GPU成本
进一步了解AI资产管理能力.PAI-ACC AI加速服务是阿里云人工智能平台PAI的提供的AI加速引擎,为企业提供训练加速和推理加速的能力。通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段,提高AI训练和推理的速度、易用性和稳定性,极大提升AI计算的效率.AI加速服务.进一步了解AI加速服务.查看全部日志....
来自: 云产品
交通云控平台
阿里云交通云控平台为构建下一代智慧交通系统提供地图、数据、智能算法、云边协同、控制下发、视觉渲染六大能力。行业开发者可利用这些能力对城市交通、高速运营、大型枢纽调度等业务场景进行智慧化改造,用创新的、智能的应用和优化方案服务于交通管理者和交通出行者。
交通云控平台作为数据和AI中,汇聚多源数据并进行算法加工,为上层应用提供图、数、智、控、云、视六大能力.在杭州下沙阿里云全息路口实验基地,云控平台的边缘计算产品Neuro实时解析视频流提供交通参数,同时融合互联网数据计算路口信控方案并下发。该应用获得了如下效果:全时段混合交通流下区域自适应秒级优化推荐行驶...
来自: 云产品
数据资源平台
阿里云数据资源平台是构建数据智能的全流程平台,提供数据汇聚、数据加工与治理、数据分析、资产管理和统一服务等功能,帮助金融、政府及企业客户实现数据资源管理,潜在规律挖掘,业务决策优化。
可扩展的元模型定义及强大的搜索引擎,梳理业务资产.分钟级即可完成新的元数据类型扩展.丰富的元数据支持.10+计算引擎及SQL方言.数据追踪技术、图计算技术、可视化技术.全链路字段级业务血缘,清晰洞察业务脉络.毫秒级数据感知更新.数据血缘+质量+分布,构建资产360视图.数据资产全生命周期管控.全方位的资产管理.元数据...
来自: 云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
营销引擎云码营销引擎云码(Intelligent Marketing Engine)是阿里云-企业云服务的数字化营销工具平台,围绕企业全域业务增长的目标,提供营销投放、用户建模、智能分发、消费者触达等能力的一站式全链路SaaS工具平台。企业商城 LinkedMall为企业快速搭建积分、福利或品牌电商商城,依靠阿里巴巴的技术与供应链能力,提供...
来自: 云产品
向量检索服务
向量检索服务基于阿里云自研的向量引擎 Proxima 内核,提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力,通过简洁易用的 SDK/API 接口透出,方便在大模型知识库搭建、多模态AI搜索等多种应用场景上集成。
图像搜索以深度学习和机器视觉为核心,提取图片内容特征、建立图像搜索引擎。用户通过输入图片,用以图搜图的方式可快速在图片库中检索到与输入图片相似的图片集合。可广泛应用于拍照购物、商品推荐、版权保护等场景.创建 API-KEY.通过控制台管理 API-KEY.创建试用 Cluster.通过控制台创建 Clsuter.创建 Collection.在 ...
来自: 云产品
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ClickHouse 实时计算 Flink版 如二维码过期,Quick BI数据可视化分析平台搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 基于 Flink+ClickHouse 构建实时游戏...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用