数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
借助EMR 可以简单快速的构建一个基于 Hadoop，Spark，Hive等大数据产品的计算集群，而且可以按需使用，其所有 Job完 文档版本：20200331 5数据湖-在线学习场景数据分析 数据湖 成之后，销毁集群，因为所有的数据都保存在OSS。此外，对于Hadoop集群上的任务，不同类型的任务对于机器配置的要求不同，比如 推荐和算法业务可能...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
场景七：分时弹性 ADB的计算资源支持分时弹性，可以通过设置弹性计划，让集群根据计划在某一段时 文档版本：20210120 34 在线教育流量洪峰最佳实践 数据仓库大流量方案 间自动对资源进行扩容，并在设置的计划还原时间时释放资源。这样能解决规律性的 资源峰谷需求，达到充分合理利用资源的目的。现在开始验证如何实现 ADB...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
步骤1 通 过 以 下 链 接 进 入 EMR 集 群 管 理 控 制，单击目标集群。（https://emr.console.aliyun.com/#/cn-hangzhou/cluster）步骤2 展开弹性伸缩下拉菜单，单击弹性伸缩配置。文档版本：20210329 31 云上成本优化 workshop 计费优化 步骤3 关闭运行中的伸缩组。步骤4 成功关闭后，单击配置规则。步骤5 将成本优化策略...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输链路 JindoFS作为 EMR集群的后端存储。产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。文档模板（手册名称）/Error!Use the Home tab to apply 云服务器 ECS（产品名称）标题 to the ...
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
依托Redis缓存，PolarDB 分布式版水平/垂直拆分，支持并行计算，解决高并发、存储容量、在线计算的扩展性难题；借助于DTS的实时同步能力，让数据流动起来，借助PolarDB MySQL版，AnalyticDB的大数据处理能力，决策报表从分钟级别降低至秒级.云数据库HBase增强版提供全文索引方案，通过BDS实现HBase与Solr之间的数据实时同步...
来自：
云产品
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
自建 Hadoop迁移 MaxCompute 场景描述 解决的问题 客户基于ECS、IDC自建或友商自建了大数据集群，自建Hadoop集群搬迁到 MaxCompute 为了降低企业大数据计算平台的成本，提高大数 自建Hbase集群搬迁到云 Hbase 据应用开发效率，更有效保障数据安全，把大数据 自建 Kafka 或服务器数据实时同步到 集群的数据、作业、调度任务...
计算机软件著作权登记
全新支持APP/小程序全程在线电子化登记，无纸化线上极速办理，助力APP便捷上架，最快3个工作日拿证。在线填写，系统纠错，全流程可视化，申请进度实时掌控，阿里云开启知识产权一站式专业服务。
阿里云计算机软件著作权登记，全新支持APP/小程序全程在线电子化登记，无纸化线上极速办理，助力APP便捷上架，最快3个工作日拿证。在线填写，系统纠错，全流程可视化，申请进度实时掌控，阿里云开启知识产权一站式专业服务。
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
函数计 算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置 和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按 量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助 开发者快速编写高质量的代码，为开发者提供了强大...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 云工作流（CloudFlow）：是一个用来协调多个分布式任务执行的全托管云服务。在云工作 流中，您可以用顺序、分支、并行等方式来编排分布式...
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中， Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
函数计 算 FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大 规模的请求下稳定运行。方案优势 简化模型部署流程 全链路自适应弹性，无需为流量峰谷做频繁的手工处理 内置CICD平台能力，灰度，回滚，监控开箱即用 按量付费模式，没有资源闲置费用 产品介绍 函数计算 FC（Function Compute）：函数...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
模型灵积服务（DashScope）钉钉搜索钉群号 11721331入群 基于函数计算 FC实现 大语言模型部署 最佳实践 文档版本：20240429 基于函数计算 FC实现大语言模型部署最佳实践 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 基于函数计算FC实现大语言模型部署最佳实践 文档编号 377 文档版本 V1.1 版本日期 2024-04-29 ...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。阿里云对象存储 OSS（Object Storage Service）：是一款海量、安全、低成本、高可靠的 云存储服务，可提供 99.9999999999%（12个 9）的数据持久...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
使用函数计 算，您无需采购与管理服务器等基础设施，只需编写并上传代码或镜像。函数计算为您准 备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性能监控和报警等功能。 云消息队列Kafka 版：云消息队列Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka版广泛用于日志收集、监控...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
b)ehpc_serverless:serverless 版本的 HPC高性能计算集群，是批量计算主 文档版本：20240204 1 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 最佳实践概述 要的算力环境，按使用时长和规格付费。c)acr-for-ehpc-image:容器镜像服务 ACR实例，ehpc集群运行时需要提供一 个容器镜像，这些镜像通常由用户打包后上传...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
整体方案通过 CADT 可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计 算和 MongoDB 控制台做少量配置即可。方案优势 l 可以实现根据 Kafka 消息的具体内容判断，该对 MongoDB 做哪种 DML 操作，灵活性和可 扩展性极高。l 函数计算具有完善的日志系统、容错机制。可以清晰的看到对每条消息的处理日志，...
- 产品推荐
- 这些文档可能帮助您