基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 函数计算 FC(Function Compute):函数计算是事件驱动的全托管计算服务。使用函数计 算,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜像。函数计算为您准备 好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。l 云消息队列 Kafka 版:云消息队列 Kafka 版是阿里云提供的分布式...
来自: 最佳实践 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
Kafka性能压测快速方案
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
 弹性公网IP:弹性公网IP是独立的公网IP资源,可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私负载均衡SLB绑定,并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 消息队列Kafka版,云托管的Kafka服务。实例版本(创建时指定规格)可以提 供与开源Kafka...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
Serverless 应用引擎 SAE(Serverless App Engine):是一款零代码改造、极简 易用、自适应弹性的应用全托管平台。SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载 均衡等配套能力...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
 Serverless应用引擎 SAE(ServerlessAppEngine):零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维IaaS和K8s,秒级完成从源 代码/代码包/Docker 镜像部署任何语言的在线应用(如Web/微服务/Job任 务)到SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载均衡 等配套能力。 ARMS应用监控...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
基于MSE云原生网关同城多活
基于MSE云原生网关同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
两个 ACK托管集群共享 1个高可用 MSE云原生网关。文档版本:20240423 VI 基于MSE云原生网关同城多活最佳实践 最佳实践概述 产品介绍●专有网络 VPC(Virtual Private Cloud):是用户基于阿里云创建的自定义私有网络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理 云产品实例,比如 ECS、负载...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
飞天企业版
阿里云飞天企业版是基于阿里云飞天云计算操作系统,为政企客户专属构建的资源和云管完全独立的企业级云平台,阿里云专有云与公共云同根同源,支持私有化部署。
纳管Hadoop大数据平台支持对异构大数据平台的统一纳管,实现异构平台的联邦计算,无需在MaxCompute平台重复存储Hadoop平台的数据,利旧现已有平台,降低成本和异构平台对接复杂度。外部表存储和访问MaxCompute支持使用外部表功能查询和分析存储于OSS/Hologres/OTS等外部存储系统的数据,使用户可以无需将数据导入到...
来自: 云产品
大模型RAG对话系统部署
大模型RAG对话系统部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
检索分析服务 Elasticsearch版:是基于开源 Elasticsearch构建的全托管云服务,在 100%兼容开源功能的同时,支持开箱即用、按需付费。不仅提供云上开箱即用 的 Elasticsearch、Logstash、Kibana、Beats在内的 Elastic Stack生态组件,还 与 Elastic官方合作提供免费 X-Pack(白金版高级特性)商业插件,集成了安全、SQL、...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
云原生
阿里云拥有丰富的云原生产品家族,全面的云原生开源贡献,大规模的云原生应用实践,以及广泛的云原生客户群体,为企业数字创新提供全方位能力支撑。
流量网关、微服务网关、安全关合三为一,减少50%资源消耗.提供网关到后端服务的全链路流控和灰度能力.支持多种认证授权方式,统一管理 API 和服务的安全设置.微服务引擎 MSE.应用实时监控服务 ARMS.Web 应用防火墙 WAF.应用身份服务 IDaas.推荐搭配使用.通过容器服务ACK实现业务应用层面的弹性,数据库PolarDB随需弹性扩...
来自: 云产品
企业级分布式应用服务EDAS
阿里云企业级分布式应用服务EDAS是一个围绕应用和微服务的PaaS平台,提供多样的应用发布能力和轻量级微服务解决方案,帮助用户解决在应用和服务管理过程中监控、诊断和高可用运维问题,完全兼容Dubbo和Spring Cloud,助您轻松转型企业级互联网架构。
支持 WAR 包和 JAR 包直接部署,EDAS代为构建镜像并部署到Kubernetes集群,有效简化流程降低使用门槛.EDAS 支持以容器的形式托管应用,无缝对接容器服务 Kubernetes,您无需理解容器服务底层细节,通过 EDAS 控制台就能完成应用在容器里的全生命周期管理,包括监控,诊断等服务,您可以低门槛拥抱容器新技术,最大化利用...
来自: 云产品
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks,承担集团99%数据业务构建。
为了加快建设“三型两、世界一流”发展战略,通过整体电力解决方案,进行数据中台规划与建设,构建电力行业新一代信息基础平台,带动公司IT和数据资源建设、应用及运维向企业级转变.一云多Region数据中台架构.建设电力一朵云,形成“IT资源服务中心”和“数据服务中心”,实现运营“两级协同”,满足公司泛在电力物联网...
来自: 云产品
块存储EBS
阿里云块存储EBS是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储,拥有丰富的产品类型,多元的存储特性,适用于自建数据库加速,快照数据保护等场景,ESSD PL3规格最高可提供100万IOPS以及4000MB/S吞吐能力,有效提升存储性能,大大降低成本。
云盘基于多副本技术,提供99.9999999%的数据持久性....提供云原生资产的安全托管和全生命周期管理,支持多场景下镜像的高效分发,与容器服务 ACK 无缝集成,打造云原生应用一站式解决方案.23A_通用引导卡片.详情页售卖tab卡片.唐家哲,靖鑫,也树.23A_引流底部通栏.谢赟辉,靖鑫,纾沉,冷莉营.谢赟辉,靖鑫,也树,纾沉,冷莉营.
来自: 云产品
网盘与相册服务PDS
网盘与相册服务(简称PDS)是阿里云为客户提供的面向企业、团队与个人的数据管理开放平台,提供一站式数据存储、分析和AI的能力。方便客户快速高效的构建可支撑海量用户的网盘与相册服务,同时针对团队及个人用户,支持免开发开箱即用。
将已存储在阿里云OSS中的数据托管给相册与网盘服务PDS管理,PDS提供基于Drive、目录、文件的管理视图,提供给最终用户使用,并保留使用OSS原有接口的访问,完成数据在应用和用户间的联动以及和合作伙伴间的数据传递.将OSS中的数据通过简单配置,提供给最终用户(自建用户或钉钉、支付宝、淘宝等用户)受控使用.将应用(如...
来自: 云产品
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
Flink半托管/ACK:如果您的公司或团队希望在业务开发的基础上,对整个集群资 源有完全的掌控力,并且熟悉阿里云容器服务(ACK),推荐您使用Flink半托 /ACK产品。Flink半托管(基于EMR):如果您的公司或团队希望在业务开发的基础上,对整 个集群资源有完全的掌控力,并且熟悉Yarn或阿里云E-MapReduce服务,推 荐您...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
云数据库产品总览(瑶池)
阿里云提供完善的数据库解决方案,多款数据库产品,满足99%的业务场景,荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求;运维工作量大幅减少,让企业一站式享受数据上云及分布式架构的技术红利!
通过AnalyticDB MySQL实现上万TPS并发写、按需增减节点和TB级数据复杂查询秒级响应,助力广告业务精细化管理.RDS MySQL提供开箱即用、完善的监控、运维管控能力、限流、数据安全、API等能力,有效降低了孔运维团队的运维成本,提升了数据库可用性,使我们可以专注于业务架构设计和维护。在数据库迁移上云阶段阿里云DTS...
来自: 云产品
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
1.收集 3个节点的私 IP地址和对应的主机名,如下所示(请根据您环境的实际 IP 地址进行修改):192.168.10.205 master 192.168.10.207 slave1 文档版本:20211029 9 CDH迁移升级 CDP最佳实践 基础环境搭建 192.168.10.208 slave2 192.168.10.206 slave3 2.通过 SSH远程登录 master节点所在的 ECS实例,通过 vim编辑器将...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
在本案例里,采用 serverless版本的 Kubernetes来模拟业务应用的运行平台,这种 类型的托管服务,无需创建和管理 K8s里面的 Master和 worker,其底层基于 ECI容 器实例,按容器实例的使用资源量和时长(秒)计费 ASK的主要有以下几点优势:降低用户 kubernetes的门槛,无需管理 Node节点 无需考虑节点的容量规划 以 Pod为...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
本方案继承:《SpringCloud应用托管到 ACK服务》最佳实践(https://bp.aliyun.com/detail/44)适用场景 本方案适用于:微服务架构应用场景下问题定位及故障演练,通过线上系统故障演练 保障系统的合理性、稳定性和健壮性。发现并验证微服务应用的容错能力。发现并验证微服务应用编排合理性。发现故障并验证系统故障的告警...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
自建ELK迁移阿里云日志服务
自建ELK迁移阿里云日志服务
场景描述 ELK Stack(Elastic/Logstash/Kibana) 通常 被用于日志实时分析, 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表  阿里云日志服务(SLS)  VPN 网关  IPSec VPN  云服务器
(默认显示15分钟内日志,如果没有日志可以参考章节3.1通过拨测 站或者脚本产生nginx访问日志)文档版本:20240422 36自建ELK迁移阿里云日志服务(SLS)ELK迁移SLS 4.3.迁移结果校验 对比Logtail采集到SLS的数据与Filebeat采集到ES上的数据是否相同,可以同时 查询某个字段值查看返回结果,进行数据迁移验证。这里以查询...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS)
云托付
云托付是以阿里云的机房技术、运维、安全标准,结合合作伙伴的机柜资源、优质线路,为阿里云客户提供一站式的混合云托管服务,实现云上、云下业务互联。
查看所有产品 云托付 云托付(Cloud Hosting)提供优质的机房托管资源、云专线网络以及增值服务,并与阿里云公共云产品结合,为企业搭建混合云提供基础资源。立即购买产品优势产品功能应用场景更多产品与服务产品优势一站式服务 线上购买,线下快速交付,帮助用户一站式快速开通混合云业务。高品质机房 优选T3+机房,覆盖...
来自: 云产品
< 1 2 3 4 ... 11 >
共有11页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用