基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 云消息队列Kafka 版：云消息队列Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka版广泛用于日志收集、监控...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
整体方案通过 CADT 可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计 算和 MongoDB 控制台做少量配置即可。方案优势 l 可以实现根据 Kafka 消息的具体内容判断，该对 MongoDB 做哪种 DML 操作，灵活性和可 扩展性极高。l 函数计算具有完善的日志系统、容错机制。可以清晰的看到对每条消息的处理日志，...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
基于云速搭 CADT快速部署药物筛选批量计算环境-Serverless版 场景描述 部署架构 本方案基于云速搭 CADT 提供一个快速构建云上 Serverless版 HPC批量计算环境的模板，针对生物 制药领域的药物筛选场景，提供开箱即用的整套解 决方案工具包，整个云上环境仅需 1个小时即可完 成自动化部署搭建。解决问题 快速构建适用于药物...
通过ALB+ESS实现应用的弹性伸缩
使用应用型负载均衡（ALB）和弹性伸缩（ESS）智能分配网络流量、动态调整服务器资源，提高应用的高可用性和吞吐量，弹性控制资源利用率、缩减资源成本。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读高可用与弹性伸缩如何实现弹性伸缩与传统方案对比方案优势方案部署方案权益随需而动：自动弹性，稳定交付本方案使用应用型负载均衡（ALB）和弹性伸缩（ESS）智能分配网络流量、动态调整服务器资源，提高应用的高可用性和吞吐量，...
来自：
解决方案
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
文档信息 属性 内容 文档名称 SAE-ACK应用双跑最佳实践 文档编号 364 文档版本 V1.0 版本日期 2024-03-11 文档状态 制作人 计缘 审阅人 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-03-11 计缘 文档版本：2024031 ISAE-ACK应用双跑 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1....
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作，基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务，旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
消息持久化落盘到消息队列，海量消息堆积仍可保持集群高吞吐；全自动巡检运维保障，服务可用性 99.95%.高 SLA 保障，数据持久化.提供核心链路健康巡检，集群自动诊断；每个消费组可针对消息堆积量设置监控告警；提供完备的管控OpenAPI，实现各类资源管理和运维.免运维，易观测.全托管 Confluent\\u00A0Platform，无需搭建，...
来自：
云产品
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
参见：https://www.aliyun.com/product/rds/mysql 消息队列 Kafka 版:是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性 的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线 和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提供全托管服 务，用户无需部署运维，更专业、更可靠、...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东2（上海）可用区G 实例 架构：超级计算集群 分类：GPU型 实例规格：企业级GPU计算型sccgn6 ecs.sccgn6.24xlarge(96vCPU,384GiB) 购买实例数量：2台 5企业上云实践 基于超级计算集群的自然语言处理AI训练 最小购买数量：2台 镜像 公共镜像 CentOS 7.564...
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
2.RDS MySQL 支持 MySQL 5.5、5.6、5.7 和 8.0 版本，拥有优良的性能和吞吐量，并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案。基于 MySQL、RDS MySQL 拥有更加高级的功能，可以针对情景更加灵活的运用，在价格方面也比较友好。读《云数据库 RDS MySQL 从入门到高阶》，你有哪些心得？周末在社区阅读了《云...
来自：
云产品
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
tail-f/opt/fastmr/nexmark/nexmark.out 文档版本：20230801 18 MRACC加速倚天 ECS实例 Spark集群性能 部署基础环境 步骤3 通过日志文件查看压测数据生成进度 测试一共会跑 22个查询，大概需要 50分钟左右，若日志显示了 q22的Nexmark结 果，则表示测试已完成，可以查看每个核心的查询吞吐量，单位为 K QPS/Cores。...
多媒体数据存储与分发
以搭建一个多媒体数据存储与分发服务为例，搭建一个多媒体数据存储与分发服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台多媒体数据存储与分发方案介绍方案优势应用场景方案部署方案权益多媒体数据存储与分发视频、图文类多媒体数据量快速增长，内容不断丰富，多媒体数据存储与分发解决方案融合对象存储 OSS、内容分发 CDN、智能媒体管理 IMM 等产品能力，解决...
来自：
解决方案
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
2023-09-04Apache Doris 巨大飞跃：存算分离新架构历史上，数据分析需求的不断提升（更大的数据规模、更快的处理速度、更低的使用成本）和计算基础设施的不断进化（从专用的高端硬件、到低成本的商用硬件、到云计算服务），这两大因素推动数据仓库的架构大体经历了三个时代：软硬一体的一体机时代、存算一体的分布式时代...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您