基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
这里需要注意，如果通过 CADT 创建的 VPC、VSWITCH 中人工通过其他方式添加了资源，如通过控制台或者 API 等购买了 ECS，释放时因为这些非 CADT 部署的资源会依赖 VSWITCH 和 VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清理后，在 CADT 中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
这里需要注意，如果通过CADT创建的VPC、VSwitch中人工通过其他方式添加了资 源，如通过控制台或者API等购买了ECS，释放时因为这些非CADT部署的资源会 依赖VSwitch和VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清 理后，在CADT中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单，点击释放...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
有别于传统工具的繁复，PTS以互联网化的交互，提供性能测试、API调试和监 测等多种能力。自研和适配开源的功能都可以轻松模拟任意体量的用户访问业务 的场景，任务随时发起，免去繁琐的搭建和维护成本。更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力，高效检验和管理业务性能。详见：...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
cd kafka_2.11-0.10.2.2 文档版本：20220223（发布日期）36 基于 Flink的资讯场景实时数仓 基础环境部署./bin/kafka-console-producer.sh-broker-list 默 认 接 入 点-topic app_log_origin 注意：本实例的脚本为./bin/kafka-console-producer.sh-broker-list 192.168.0.150:9092,192.168.0.151:9092,192.168.0.152:9092-...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
支持 Datastream API 作业开发，提供了批流统一的 Flink SQL，简 化 BI 场景下的开发；可与用户已使用的大数据组件无缝对接，更多增值特性助力 企业实时化转型。详情请查看 www.aliyun.com/product/bigdata/product/sc EMR：阿里云 E-MapReduce(EMR)是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
J区 ack-main应用 J-YAML文件，红色链接地址替换为章节 3.2步骤 1 中 J区 MSE 注册中心地址 apiVersion:apps/v1 kind:Deployment metadata:name:duohuo-provider labels:app:duohuo-provider spec:replicas:2 selector:matchLabels:app:duohuo-provider template:metadata:labels:app:duohuo-provider spec:containers:env:...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后，程序的慢调用生效，就会触发熔断规则：观察mseconsumer应用的接口详情，在客户端看到具体熔断信息。路径：治理中心-应用治理-接 口详情。文档版本：20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成，可以将验证通过的环境直接用于生产。如果不再使用该架构，也可以通过CADT释放...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
网络插件 Flannel 公网访问 勾选使用 EIP暴露 API Server，开启公网访问。配置完成，单击下一步：Worker配置。文档版本：20220121 25 基于 K8S多集群隔离环境下的 DevOps实现 创建生产环境下的 K8S集群 步骤4 配置 Worker节点。说明：为便于演示，本实践只创建两个 worker节点，在实际生产环境中，要根据实际 资源使用量，...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
您可以登录阿里云控制台，并前往实名认证 页面（account.console.aliyun.com/v2/#/authc/home）查看是否已经完成实名认 证。阿里云账户余额大于 100 元。您可以登录阿里云控制台，并前往账户总览页面（expense.console.aliyun.com/#/account/home）查看账户余额。开通 ECI、ACK、PTS、链路追踪产品。本实践所有重要示例代码...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
purchase_sub_channel varchar(50)COMMENT '购货渠道-子 MINI-小程序订单 VM-贩卖机订单 MOB-Moible POSCUN-柜台',order_amount decimal(10,2)NOT NULL COMMENT '订单金额（商品销售价累积总 金额）',discount_amount decimal(10,2)COMMENT '订单折扣金额',coupon_amount decimal(10,2)COMMENT '订单优惠金额',voucher_...
组建多可用区多地域的混合云
场景描述 无特定行业属性，对云下有IDC的用户，上云建 立多地域多可用区高稳定性的业务架构，组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式，但成本 较高，交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC，CEN，高速通道（专线），SLB，ECS
创建第一条专线接口的 VBR-1.15 3.3.配置第一条专线与 IDC互联的 BGP组.16 3.4.创建第一条专线的 BGP邻居.17 3.5.创建第二条专线的 VBR-2,BGP组和BGP邻居.18 4.创建CEN(不分地域),加载北京VPC,VBR.20 4.1.将北京地域 VBR加入 CEN.20 5.创建上海地域环境.22 5.1.配置上海服务器.22 5.2.将上海 VPC加入CEN中.22 6.云下用户 ...
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
基于 ALB统一流量调度和监控 最佳实践 业务架构 场景描述 企业在走向容器化过渡阶段，内部同时存在 ECS应用和容器应用的情况，在多域名业 务场景下，为了对应用的入方向流量进行统 一的调度和监控，可通过 ALB快速完成内 部应用统一流量的管控。典型场景 多域名转发到混合应用类型场景。方案优势 – 高弹性，高并发 – 减少...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
cartservice 的 CartDAO 接口的 String getRemoteIp(String name,int age)方法，用 户名和年龄分别为 name和 age。文档版本：20240226 31 微服务引擎的线上流量治理 路由标记 步骤3 默认流量都打到了未打标的实例上。文档版本：20240226 32 微服务引擎的线上流量治理 路由标记 步骤4 调整 productservice的标签路由里面的...
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
69 企业上云实践 虚拟桌面架构的高性能云上部署|常用API调用接口 9.常用 API调用接口 开通DDH：AllocateDedicatedHosts https://help.aliyun.com/document_detail/94570.html 查询宿主机详细参数：DescribeDedicatedHostTypes https://help.aliyun.com/document_detail/94571.html 释放DDH：ReleaseDedicatedHost ...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
Perseus Inference Client提供客户端 API接口，应用程序调用这些接口去请求 Perseus Model Server的推理服务。Perseus Inference目前提供容器的部署方式，它依赖于 CUDA10、CUDNN7和 TensorRT5，用户需要在 NVIDIA GPU 机器上安装 docker 和 nvidia-docker 运行环境以满足 Perseus Inference容器的运行需求。阿里云提供 ...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
这里需要注意，如果通过 CADT创建的 VPC、vswitch中人工通过其他方式添加了资 源，如通过控制台或者 API等购买了 ECS，释放时因为这些非 CADT部署的资源会 依赖 VSW和 VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清理 后，在 CADT中再次释放资源即可。步骤1 在 CADT页面中，打开资源清单，点击释放全部资源...
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制，禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
这里需要注意，如果通过 CADT创建的 VPC、vswitch中人工通过其他方式添加了资 源，如通过控制台或者 API等购买了 ECS，释放时因为这些非 CADT部署的资源会 依赖 VSW和 VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清理 后，在 CADT中再次释放资源即可。步骤1 在 CADT 页面中，手动删除指向 NAT 网关和指向 ...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
（注意：这里为了演示方便，没有展示 API的集中认证功能，请根据实际业务或者项目需求，进行安全认证方案的集成。文档版本：20210519 31 新零售商超基于 Serverless服务化改造 架构环境搭建 步骤2 定义 API请求，如下图所示配置。步骤3 定义 API请求后端服务。文档版本：20210519 32 新零售商超基于 Serverless服务化改造 ...
计算巢服务
阿里云计算巢服务是一个面向ISV、SI、MSP和开发者的云集成PaaS平台，方便服务商更好的将产品、服务集成，借助云原生的能力提升软件服务交付、部署及后续管理。
前往服务目录AI服务：StableDiffusion社区版服务介绍Stable Diffusion Web UI 是一个基于Stable Diffusion的基础应用，利用gradio模块搭建出交互程序，可以在低代码GUI中立即访问Stable Diffusion。产品特点AI大模型，文字生成图片，图片转图片。立即创建数据库服务：TuGraph高性能数据库服务介绍TuGraph（tugraph.org）是...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您