基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
文档版本：20240408 13 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 应用计价成功后，CADT 会实时生成一个应用架构成本分析报告，可以单击查看报告。如果确认价格符合预期，可以单击下一步：确认订单。确认订单阶段会列出架构中所有的产品及其当天价格，需要用户确认无误后勾选接受《云速搭服务条款》，...
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
函数计 算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置 和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按 量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助 开发者快速编写高质量的代码，为开发者提供了强大...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。比如各类摄像头（家 用摄像头、车载摄像头、工业监控摄像头等）采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制，录制结束后会把录制的结果写入 OSS 存储桶，并把录制的结果写到消息队列，下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 务，大部分场合都需要对直播相关的业务...
网站静态资源访问加速
本方案使用阿里云CDN产品来分发OSS上的网站静态文件，不仅可以降低源站的负载压力，还能够提升网站的访问性能，同时还能在高并发场景下为您节约成本。
用很高的成本支撑全球用户接入效率和成本通过边缘云骨干网络进一步优化中间一公里的传输效率和应用程序安全接入；基于CDN的边缘计算服务实现算力下移，就近计算，进一步缩短延时提升并发，降低中心云压力。传统方案直接连接到云服务；完全依赖运营商网络和路由；缺少网络优化方案；用很高的成本支撑全球用户接入推荐方案...
来自：
解决方案
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 云消息队列Kafka 版：云消息队列Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka版广泛用于日志收集、监控...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 内容分发网络（ContentDeliveryNetwork，CDN）：是建立并覆盖在承载网上，由不同区 域的服务器组成的分布式网络。将源站资源缓存到全国各地...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
应用场景 在大数据 ETL 场景，将 Kafka 中的消息流转到其 他下游服务是很常见的场景，除了常规的消息流 转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。该方案实现了通过 Kafka 中消息 Key 的内容来判 断应该对 MongoDB做增、删、改的哪种 DML 操 作。当 Kafka 收到消息后，会自动触发函数计算中...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
文档版本：20220915 1 EMR HBase on OSS存算分离集群快速恢复 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可 以方便的对云...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
更多信息，请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版：云数据库 RDS MySQL 版是全球最受欢迎的开源数 据库之一，作为开源软件组合 LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，广泛应用于各类应用场景。更多信息，请参见 www.aliyun.com/product/rds/mysql 文档版本：20210416 IV 云 ...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
Tensorflow是广泛使用的实现机器学习以及其它涉及大量数学运算的算法库之一。Tensorflow由Google开发，是GitHub上最受欢迎的机器学习库之一。 PyTorch是一个Python优先的深度学习框架，能够在强大的GPU 加速基础上 实现张量和动态神经网络，由Facebook开发。 CNN，ConvolutionalNeuralNetworks，卷积神经网络。IV...
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上， 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景，特别是无状态服务、 易于容器化的场景，基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI， 可以灵活的抵扣相关资源费用；弹性容器实 例ECI，在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例，使用 ECI+RI+EIP的组合方式，通过RI抵扣计 算资源费用，按量支付流量费用，旨在能够 帮助客户快速验证云上服务，有效控制云上 资源成本。 方案优势 1.使用RI，可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境，更加 灵活、低成本，提高资源使用率。 3.ECI+RI+EIP的组合方式，资源使用率 高，通过RI抵扣计算资源费用，按量 支付流量费用，能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
3.2.docker镜像及制作 Docker容器镜像是一种轻量级、可执行的独立软件包，用来打包软件运行环境和基于 运行环境开发的软件，它包含运行某个软件所需的所有内容，包括代码、运行时、库、环境变量以及配置文件等。Docker的镜像实际上由一层一层的文件系统组成，实现上主要依赖 UnionFs（联合文 件系统）：union文件系统...
GPU云服务器
阿里云GPU云服务器（GPU Cloud Computing，GPU）是提供 GPU 算力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。阿里云作为亚洲第一的云服务提供商，随时为您提供触手可得的算力，有效缓解计算压力，提升您的业务效率，助您提高企业竞争力。
您可以针对您的应用程序的整体计算和内存需求在 Alibaba Cloud 中选择最适用的ECS实例，然后再配置所需量级的 GPU 驱动推理加速，有效利用资源，同时火速节约成本高达50%.满足用户选择最合适应用的ECS总体计算实例类型，单独制定所需GPU推理加速量级，相比GPU推理实例成本降低50%.推理成本降低50%.根据用户需求灵活配比CPU...
来自：
云产品
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
批处理作业 在高性能计算领域中，存在大批量、可同时处理的计算场景，如以下 freebayes 应用场景，不同任务均使用 freebayes 应用程序，但是每个任务处理不同的输入文件(-bam-list)、不同 的参数(-r)和不同的结果文件(-vcf)。由于作业量巨大，需要任务的并发执行，以缩短任务处 理时间。3.5.2.数组作业介绍 高性能计算集群...
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
横向扩展数据库读能力，每个只读实例拥有独立的连接地址，可由应用端控制压力分配，满足大量的数据库读取需求，增加应用的吞吐量.支持将其他数据库引擎的SQL翻译成PostgreSQL的SQL，目前仅支持将Oracle的SQL翻译成PostgreSQL的SQL.逻辑复制槽高可用.支持逻辑复制槽slot failover功能，当数据库发送HA切换时，slot信息不会...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您