基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
文档版本：20240408 6 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 因为CADT是可以一站式的帮用户创建实例、部署实例、创建 Topic/Group，所以这里 可以一气呵成的将这些配置信息全部设置好，相较在产品控制台上多个步骤，跳转多 个页面做开通部署配置的传统方式，CADT这种模式可以极大提高效率。...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
注意，这里需要加上镜 像 Tag，既在地址后面添加:，比如：registry-vpc.cn-beijing.aliyuncs.com/web-record- namespace/web-record-image:v1 OSS存储桶名：选择已有的 OSS桶，或者可以点击创建新的 OSS存储桶。最后点击创建并部署默认环境，等待应用部署。文档版本：20240325 9 基于 FC实现的 Web端视频录制最佳实践 场景...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
日志服务SLS：是云原生观测与分析平台，为Log、Metric、Trace等数据提供 大规模、低成本、实时的平台化服务，日志服务一站式提供数据采集、加工、查 询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。文档版本：20240322 2容器多云统一监控日志 最佳实践概述 应用...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
创建函数前必须先创建服务，服务就像函 数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置 等。 服务名称：根据实际业务自行填写。 服务角色：默认选择AliyunFcDefaultRole，如果下拉框没有，请点击创建默认角 色。步骤5 双击函数计算函数img_handle，查看配置信息。文档版本：20240304 3...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
选择我的阿里云镜像->镜像服务个人版，选择上述2.1中创建的命名空间 sae-ack-doublerun，找到java-sc-consumer-sae镜像，选择对应的v1版本。然后点击确 文档版本：20240311 30SAE-ACK应用双跑 场景验证 定。步骤3 下滑找到发布策略设置，发布策略选择分批发布。步骤4 下滑找到服务注册发现配置，选择基于Nacos注册中心服务...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
例如容器服务、 微服务引擎MSE-云原生网关 日志服务、应用监控、Web应用防火墙等，为您提供一站 微服务引擎MSE-微服务治理 式的微服务解决方案。 容器服务ACK 容器镜像ACR 消息队列RocketMQ版 最佳实践频道 弹性公网IP http://bp.aliyun.com NAT网关 阿里云最佳实践分享群 云速搭CADT 钉钉搜索钉群号...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
7 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 部署基础环境 因为 CADT 是可以一站式的帮用户创建实例、部署实例、创建 Topic/Group，所以这里 可以一气呵成的将这些配置信息全部设置好，相较在产品控制台上多个步骤，跳转多个 页面做开通部署配置的传统方式，CADT 这种模式可以极...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
产品介绍 弹性高性能计算（E-HPC）：基于阿里云基础设施，为用户提供一站式公共云 HPC/AI 平台服务，面向科研，生产，教育和行业大计算，提供快捷，弹性，安全和与阿里 文档版本：20240204 2 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 最佳实践概述 云产品互通的云超算平台。文件存储 NAS：阿里云文件存储 NAS...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
更是紧密结合监控、流控等 兄弟产品提供一站式高可用能力，高效检验和管理业务性能。详见：https://www.aliyun.com/product/rds/pts ACK 容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理 能力，支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络 和安全能力，打造云端最佳容器化应用...
EHPC混合云渲染
介绍在混合云环境下，利用E-HPC及其文件缓存机制，无缝读取线下存储中的项目资产，免去复杂繁琐的文件同步问题；充分利用云上资源弹性、按使用付费的优势，构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
rendernode CentOS 7.2 rendernode-cloud[绑定弹性 IP]200Mbps带宽峰值 ECS GPU[实例名称][实例规格]pc ecs.gn6i-c4g1.xlarge[镜像市场]Windows Server 2016 中文 版预装 GRID 13驱动镜像[镜像地址]https://market.aliyun.com/products/577 42013/cmjj00049076.html NAS - 华北 2（北京）可用区 H容量型 NFS 华北 5...
高性能数据库ECS测试及选型
概述 客户自建高性能数据库（如电商大促）在做ECS选型时，对磁盘的IO、网络的吞吐都有很大要求，为了跟接近真实业务场景，使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景 自建数据库性能测试 磁盘性能测试 ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 基于标准的TPC-C测试，接近真实业务场景。 提供多规格实例测试，快速选择最优性价比实例。
BW:392MiB/s 文档版本：20201104 38 基于 Dataworks的大数据一站式开发及数据治理 ECS选型 4.ECS选型 本章介绍根据上述测试结果得出的 ECS自建高性能数据库的选型建议。记录全部的测试数据，本例测试的 2个规格可知，hfr7每万 tpm的价格是 72.34元，可知性价比略高于 r6e。建议基于自己的场景进行更多规格测试，得出适合...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
部署前端镜像 步骤1 集群详情页>工作负载>无状态，单击使用镜像创建。步骤2 镜像名称选择：sls-registry.cn-beijing.cr.aliyuncs.com/sls-mis/trace-with-log-demo/frontend 文档版本：20210616 15 基于日志服务构建业务可观察性系统 架构环境搭建 步骤3 单击新增环境变量，添加下列的环境变量。文档版本：20210616 16 基于...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
镜像验证 迁移任务完成后，可在对应目标地域的 ECS 控制台镜像页面看到该应用服务器的镜 像。将云上环境中的 cloud_web1实例重置为此镜像，并检查相关应用服务可正常运 行。操作步骤 步骤1 登录云服务器 ECS控制台（https://ecs.console.aliyun.com/）步骤2 在顶部导航栏切换地域为华东 1（杭州），从左侧导航栏选择实例与...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例，介绍阿里云EHPC分子动力学最佳实践。
名词解释 EHPC：弹性高性能计算（Elastic High Performance Computing，E-HPC）基于 阿里云基础设施，为用户提供一站式公共云 HPC服务，主要面向教育科研、企事 业单位和个人，提供快捷、弹性、安全和与阿里云产品互通的技术计算云平台。详见 https://www.aliyun.com/product/ehpc NAS：阿里云文件存储（Network Attached ...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
跨云迁移单写双读过渡架构 最佳实践 业务架构 场景描述 解决的问题 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户 数据迁移链路的高可用 需要跨云访问，如何保障数据链路的高可用尤为关 跨云迁移过渡期架构 键，采用专线和公网双备的方案保障数据传输的高 读写分类架构设计 可用，也降低双专线的迁移成本。阿里云最佳...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
架构：异构计算 GPU/FPGA 分类：GPU虚拟化型 实例规格：ecs.vgn5i-m2.large(4 vCPU,12 GiB)镜像 公共镜像 Ubuntu 14.04 64位 说明：gaminganywhere开源框架是基于 Ubuntu 12.04编译的，为了避免依赖库 缺失等兼容性问题，所以选择最适配版本 Ubuntu 14.04。存储 系统盘 高效云盘 40 GiB 网络和安全 网络 专有网络 组 选择在...
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
关）费）实例规格 ecs.c6e.large 镜像 镜像市场 镜像 ID m-bp10z4rsouipm8yfurxh（请根据服务所在可用区在云市场中找 到对应镜像 ID（image ID），https://market.aliyun.com/products/56812015/cmjj006981.html）系统盘 cloud_essd 硬盘容量 40GiB 公网带宽 根据需要选择按固定带宽或按流量付费（本最佳实践选择按流量付 ...
- 产品推荐
- 这些文档可能帮助您