基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
基于OSSObjectFC实现非结构化文件实时处理最佳实践 业务架构 场景描述 基于阿里云OSS和函数计算共同实现的产品化 集成解决方案OSSObjectFC，实现可以OSS 中的非结构化数据在读取时插入自定义业务逻 辑，对非结构化数据做实时处理后再返回。应用场景 现在绝大多数客户都有很多非结构化的数据存 在OSS中，以图片，视频，音频...
Landing-zone
企业上云第一步，规划和落地云上资源结构、访问安全、网络架构、安全合规体系，为企业搭建安全、高效、可管理的云环境。
快速响应业务团队的需求·自动化部署运维所需的基线和配置·IaaS的自动化创建和扩缩容·构建服务目录模板化创建资源，实现自助服务Terraform（开源）Jenkins（开源）Github（开源）Landing Zone 参考架构阿里云 Landing Zone 提供多个场景的应用实践以及可快速搭建的开源代码工具。帮助您的企业构建账号体系与简化身份管理...
来自：
解决方案
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
遇到这类问题请先去控制台人工进行资 源清理后，在 CADT中再次释放资源即可。步骤1 打开需要释放的应用，点击画布下方的资源清单。步骤2 点击释放全部资源。文档版本：20240423 44 基于MSE云原生网关同城多活最佳实践 释放环境 步骤3 确认后，需要点击确定按钮。步骤4 需要用户再次确认，点击确定后，如果是主账号会触发...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.基础环境搭建.2 2.配置 MongoDB.23 2.1.设置白名单.23 2.2.记录 MongoDB连接地址.24 2.3.创建 MongoDB库和集合.25 2.4.查询 MongoDB中的数据.26 3.配置函数计算 FC.28 3.1.登录函数计算 FC...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
这里需要注意，如果通过CADT创建的VPC、VSwitch中人工通过其他方式添加了资 源，如通过控制台或者API等购买了ECS，释放时因为这些非CADT部署的资源会 依赖VSwitch和VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清 理后，在CADT中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单，点击释放...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
这里需要注意，如果通过 CADT创建的 VPC、VSwitch中人工通过其他方式添加了资 源，如通过控制台或者 API等购买了 ECS，释放时因为这些非 CADT部署的资源会 依赖 VSwitch和 VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清 理后，在 CADT中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单，...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
这里需要注意，如果通过CADT创建的VPC、vswitch中人工通过其他方式添加了资 源，如通过控制台或者API等购买了ECS，释放时因为这些非CADT部署的资源会 依赖VSW和VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清理 后，在CADT中再次释放资源即可。步骤1 打开资源清单。步骤2 点击释放全部资源。文档版本：...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
基于SpringCloud应用玩转MSE实践 业务架构 场景描述 随着业务不断创新，大型的单个应用和服务会被拆分为数 个甚至数十个微服务，微服务架构已经被广泛应用。微服 务的好处在于快速迭代，迭代过程保障线上流量不受损。依赖开源产品缺少专业运维工具，常常需要投入较大的运 维人力和成本。本实践基于云原生应用产品提供微服务...
企业级云灾备与数据管理
本方案以备份 ECS 文件为例，介绍如何部署一个简单的云灾备环境，以满足常见的数据保护需求。
解决问题：多种数据源灾备难客户在本地 IDC 和公共云上有多种数据源，如何对这些数据源进行统一灾备成为了运维难题。解决问题：本地 IDC 冷热数据管理难客户本地 IDC 有热数据需要备份保证可恢复性，冷数据需要归档释放主存空间，方案设计难度大。解决问题：数据保护降本增效实现难购买传统备份软件授权一次性投入大，自建...
来自：
解决方案
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
2.在集群环境运行中的所有实例通过共享 的数据库运行事物，RAC架构相对上层 应用架构完全透明，整体数据负载流量 可以在集群中尽可能平均合理地分摊处 理，无资源闲置，保护用户原有资产的 同时提升资源利用率。3.RAC集群架构，具有高伸缩能力和自动 负载均衡等特性，当负载增加时可以通 过增加节点来提高处理能力和吞吐量...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
这里需要注意，如果通过 CADT创建的 VPC、vswitch中人工通过其他方式添加了资 源，如通过控制台或者 API等购买了 ECS，释放时因为这些非 CADT部署的资源会 依赖 VSW和 VPC，会出现释放失败。遇到这类问题请先去控制台人工进行资源清理 后，在 CADT中再次释放资源即可。步骤1 在 CADT页面中，打开资源清单，点击释放全部资源...
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
双击交换机，导入交换机 导入安全组 文档版本：20240130 5 OA云资源申请流程自动化 CADT部署集成环境 NAT网关配置，（若已保有 VPC内已存在 NAT网关，则在右侧属性栏点击“部署资 源”开关，关闭 NAT的部署）。EIP配置（若已保有 VPC内存在可用的 EIP资源，则在右侧属性栏点击“部署资源”开关，关闭 EIP的部署）。文档版本...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
cd/mnt/bio-projects/tools./ehpc-util submit-job-s/mnt/bio-projects/testuser/rff.sh-cv v1.0 文档版本：20240204 29 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 一键释放资源 步骤31 查看作业运行情况./ehpc-util describe-jobs-js 3 运行结束后状态 作业输出目录 文档版本：20240204 30 云速搭快速部署 ...
跨账号资源全局视图及搜索
当客户在阿里云上使用了多个云账号时，跨账号的资源查看和管理将会变得复杂。资源中心为您提供跨账号、跨产品、跨地域的资源统一视图及资源搜索能力。
方案部署解决方案推荐限制企业仅使用已批准的云服务客户使用资源目录集中管理云上账号，通过管控策略创建“只能使用批准的云服务”对应的Policy，将Policy绑定到资源目录的Root资源夹，则此策略对Root资源夹下的所有子资源夹及成员生效，即对资源目录内所有成员生效。通过此能力，可以实现企业在云上只能使用批准的云服务，...
来自：
解决方案
基于云速搭CADT批量维护云资源标签
通过云速搭快速部署一套企业IT管理系统，所有资源部署在区域为成都的 region。模拟一套企业财务管理系统，以及两个子系统（资金对账系统和合同管理系统），实现通过CADT的探查一键还原系统架构，并进行批量维护标签的功能，解决运维同学管理标签难的问题。
制作人 衾影、游士、洁谦 审阅人 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-12-23 衾影 创建 V1.1 2021-12-24 游士 内容优化 V1.2 2022-01-25 洁谦 新增预置标签 最佳实践频道 阿里云最佳实践分享群 文档版本：20220125 I 基于云速搭CADT批量维护云资源标签 目录 目录 文档版本信息.I 法律声明.II 目录.1 ...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
获取ECS网络信息 本章节，我们以ECS资源的网络配置数据为例，使用 python脚本模拟将资源配置数 据导入企业自有系统。用到了配置审计的 API，在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core：在多账号情况下，列出主账号下指定账号 组的所有资源数据：在多账号情况下，查询指定资源的详细数据 注意：上述两个...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
分区格式 这一步的配置非常重要，默认是：%Y%m%d%H%M，表示会 在 OSS Bucket这个目录下创建年、月、日、时、分共 5级目 录投放数据，但是在本场景中，需要对 OSS上面的数据进行 分析，也就是说需要大量的读取 OSS的数据，从分析的性能 角度出发，需要在 OSS的目录结构上进行针对性的优化，建 议可以配置为：y=Y/m=m/d=d/...
云速搭部署OSS及资源包最佳实践
本实践通过云速搭设计一个OSS的架构，通过OSS提供的路径可以下载相应的文件。
文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-11-01 嘉辽 创建 文档版本：20211101 I 云速搭部署OSS及资源包最佳实践 目录 目录 文档版本信息.I 法律声明.II 目录.1 前置条件.2 产品介绍.3 云速搭架构设计.4 1.前序工作.5 1.1.理解资源级别.5 1.2.资源规划.5 2.CADT设计部署应用.6 2.1.设计应用架构.6 2.2.配置...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
具有自动探索文件数据字段及类型、自动映射目录和分区、自动感知新增列及分区、自动对文件进行分组建表的能力.多源数据实时入湖分析.支持构建实时数据湖，延迟大约为10分钟；无需ETL，可使用SQL跨OSS、关系数据库(PostgreSQL、MySQL等)、NoSQL(TableStore等)多种数据源分析，屏蔽各种数据源访问的差异性；分析环境与生产库...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据分析应用做...
- 产品推荐
- 这些文档可能帮助您