大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute支持 SQL、MapReduce、UDF（Java/Python）、Graph、基于 DAG的处理、交互式、内存计算、机器学习等计 算类型及 MPI迭代类算法。大幅简化了企业大数据平台的应用架构，具有强数据安 全、低成本、免运维、极致弹性扩展等特点。MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
阿里云技术框架 阿里云产品 简介 类比 ECS 弹性计算服务器 Linux服务器 RDS 关系型数据库 自有MySQL服务器 Dataworks 一站式数据开发平台 目前没有 MaxCompute 大数据计算服务 Hadoop系统 QuickBI 可视化数据平台 Tableau、Echarts、Kibana 1.3.2.系统架构设计 系统架构如下图所示：文档版本：20210802（发布日期）4离线大...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
文档版本：20220321 2 E-HPC低成本实现量化策略回测 实验背景 1.2.EHPC集群 弹性高性能计算（E-HPC）基于阿里云基础设施，为用户提供一站式公共云 HPC服 务，提供快捷、弹性、安全和与阿里云产品互通的技术计算云平台。所有任务的参数，配置可以通过 pbs脚本来定义，此处提供部分量化交易场景下的代 码展示：文档版本：...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
在上图中间部分的算力组合中，EMR跑批所需算力（ECS）和业务系统运行所需 算力（ECI）组成的图形中，有一个较为稳定的矩形区间。本例中的 ECI为保证灵 活性，没有指定规格，尽管预留实例券的折扣比节省计划略多，但是无法支持未指 定规格的 ECI。所以针对这个矩形区间的费用，我们使用节省计划覆盖。这样一份 节省计划，即...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
MaxCompute湖仓一体方案 最佳实践 业务架构 场景描述 数据湖 EMR与云数仓的融合解决方案，将 MaxCompute与 Hive集群做数据打通，通 过存储共享，元数据镜像等方式，解决传统 模式下的存储冗余，计算资源弹性能力弱的 痛点。可大幅度增强系统的资源弹性，解决 业务高峰期计算资源不足的问题。湖仓一体 兼具数据湖的灵活性与...
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例，介绍阿里云EHPC分子动力学最佳实践。
更多关于抢占 式实例的介绍，参见 https://help.aliyun.com/document_detail/52088.html GPU云服务器：GPU 云服务器（GPU Cloud Computing，GPU）是提供 GPU 算 力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可 视化、视频处理多种应用场景。阿里云作为亚洲第一的云服务提供商，随时为您 提供触手...
Serverless图片分类和身份证过滤
场景描述 场景一：大型图库智能管理通过深度学习算法，自动识别图像中的常见的场景，客户可以基于函数计算对接智能媒体管理的图像识别功能，轻松实现图片的自动管理和分组，完成大型图像库的智能管理。 场景二：身份证图片过滤 通过扫描存储在OSSbucket中的图片，通 过智能媒体管理进行身份证识别，找到海量图片中的身份证图片，对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
步骤8 添加 AliyunOSSFullAccess，AliyunIMMFullAcess权限进行授权(本实验让函数计算 有访问 OSS、IMM的全部权限，生成环境建议对权限进行更细粒度控制)。文档版本：20200120 7 Serverless图片分类和身份证过滤 图片自动分类 2.2.Python代码解读 步骤1 函数计算的入口函数定义为 handler，OSS触发器触发的事件会通过 event...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
Function Compute计算搭建前端 CICD系统最佳实践 业务架构图 场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可 以通过利用 OSS和 CDN对网站进行架构优 化，做到网站文件的动静分离，提升用户访问 体验，实现成本可控。本方案使用 Function Compute监听前端代码 库提交的分支...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
为了持续支持业务高速 且稳定地发展，其在快速上云后，将核心业务改造 为全 Serverless架构的中台模式，采用函数计算+API网关+表格存储 OTS 作为计算网络存储 核心，弹性支撑日常和大促峰谷所需资源，轻松支 撑 618/双 11/双 12大促。核心价值 全 Serverless 架构：FC+API 网关+OTS Serverless 解决方案。弹性高可用：毫秒...
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中，这里运行的是LAMMPS这款开 源的仿真软件，数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
EHPC：弹性高性能计算（Elastic High Performance Computing，E-HPC）基于阿里云基 础设施，为用户提供一站式公共云 HPC服务，主要面向教育科研、企事业单位和个人，提供快捷、弹性、安全和与阿里云产品互通的技术计算云平台。SCC：超级计算集群（Super Computing Cluster，简称 SCC）在弹性裸金属服务器基础 上，加入高速 ...
大数据workshop
大数据workshop
阿里云技术框架 阿里云产品 简介 类比 ECS 弹性计算服务器 Linux服务器 RDS 关系型数据库 自有 MySQL服务器 DataHub 数据总线 Kafka+各种服务接口 实时计算 Flink版 实时计算 Spark、Flink MaxCompute-Hologres 交互式查询分析产品 PostgreSQL 文档版本：20210628（发布日期）3 阿里云最佳实践大数据 WorkShop 最佳实践方案...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
阿里云技术框架 阿里云产品 简介 类比 ECS 弹性计算服务器 Linux服务器 RDS 关系型数据库 自有MySQL服务器 DataHub 数据总线 Kafka+各种服务接口 实时计算Flink版 实时计算 Spark、Flink Dataworks 一站式数据开发平台 目前没有 Hologres 交互式查询分析产品 PostgreSQL DataV 可视化数据展示工具 Tableau、Echarts、Kibana...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
可视化•如果可视化部分计算量不大，可以采用 EHPC自带的可视化服务 方案优势 1.E-HPC是阿里云基于自有的基础设施服务构建的云超算平台，提供从硬件架设、软件部署到作业执 行、运行监控以及结果分析的一站式高性能计算服务.最佳实践实例 本文介绍如何使用 EHPC来搭建实现虚拟药物筛选的解决方案。虚拟药物筛选中的关键一环...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
如上面代码所示，对第一个函数的代码做了三个地方的改动：导入函数计算的库：import fc2 添加初始化方法，用于创建函数计算 client：文档版本：20210806（发布日期）43 Function Compute构建高弹性大数据采集系统 完善两个函数 def my_initializer(context):logger=logging.getLogger()logger.info("init fc client")global...
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构，利用DataHub收集原始数据，推送到Flink进行基于流式数据的分析和应用。
已开通以下服务：ￚ 专有网络 VPC ￚ 云速搭 CADT ￚ 实时计算 Flink ￚ 数据总线 DataHub ￚ 对象存储 OSS 文档版本：20211103 2 云速搭部署 Flink应用 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
每次函数执行处理的所 有小文件大小可配置。第二组是大文件。copyObjectWithMultipartUpload 函数负责处理大文件。文档版本：20211025（发布日期）15 低成本跨境文件传输最佳实践 配置实验环境 第 三 组 是 超 大 文 件。initMultipartUpload，uploadParts，completeMultipartUpload 函数负责处理超大文件。项目详细流程图...
- 产品推荐
- 这些文档可能帮助您