基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可以挂载到 弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高 文档版本：20191127 III 基因计算工作流最佳实践 前言 性能计算 EHPC，AI训练 PAI等计算业务上提供高性能的共享存储，用户无需修 改应用程序，即可无缝迁移业务系统上云。...
弹性高性能计算E-HPC
弹性高性能计算（E-HPC）基于阿里云基础设施，拥有公有云、专有云等多种产品形态，为用户提供一站式HPC/HPDA平台服务，面向科研、生产、教育和行业大计算，提供快捷，弹性，安全的服务和拥有与阿里云产品互通的高性能计算服务平台。
支持最新架构的第三代英特尔® 至强® 可扩展处理器，以及丰富的计算机型规格与文件存储规格，同时支持高性能RDMA网络通信，保障集群性能最优化.机型丰富，性能优越.云服务器ECS.文件存储NAS.对象存储OSS.文件存储CPFS.推荐搭配使用.通过高性能计算技术，帮助企业完成工业级的仿真工作需要大量的计算和高性能的存储资源，...
来自：
云产品
蚂蚁链摩斯多方安全计算平台解决方案
蚂蚁链摩斯多方安全计算平台解决方案利用多方安全计算、隐私保护、区块链技术，打造数据安全共享的基础设施。解决企业之间数据合作过程中的数据安全和隐私保护问题，打通数据孤岛，将计算移动到数据端，达成数据可用不可见，安全促进业务创新。
蚂蚁链摩斯多方安全计算平台采用去中心分布式架构，数据合作各方通过本地安装的摩斯计算节点完成安全计算，保证原始数据不出域，仅输出计算结果。并可将查询调用记录存证在区块链上，防止数据造假，保障数据质量。可应用于联合风控、联合营销场景.数据安全与隐私保护.去中心分布式架构.轻量部署自主迭代.一站式数据合作服务...
来自：
解决方案
蚂蚁隐私计算服务平台
蚂蚁隐私计算服务平台是阿里云基于多方安全计算等隐私计算技术体系，支撑机构在用户隐私保护、算法知识产权保护的基础上，高效地进行数据注册等一站式服务。
提供可视化和IDE建模计算能力，集成风控和营销领域常用的算子组件，一站式建模部署.支持千万样本训练，亿级别预测，半小时完成亿级别隐私求交.提供公有云、私有化等部署能力.依托蚂蚁在MPC、TEE、FL、DP等数据安全及隐私保护方向的安全技术积累，保障隐私计算安全可控.查看产品文档.查看开通方法.查看使用方法.了解基本概念...
来自：
云产品
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
自定义 HDFS Sink.47 文档版本：20201020 IV 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 最佳实践概述 概述 本实践基于 Dataworks做大数据一站式开发，包含数据实时采集到 kafka通过实时计 算对数据进行 ETL写入 HDFS，使用 Hive进行数据分析。通过 Dataworks进行数据 治理，数据地图查看数据信息和血缘关系...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
可视化仪表板.69 文档版本：20201224 V 基于 Flink+ClickHouse构建实时游戏数据分析 最佳实践概述 最佳实践概述 业务场景 互联网、游戏中的用户行为频繁且较复杂，系统上线运行一段时间后，可以收集到大 量的用户行为数据，特别是一些爆款游戏，在业务高峰时，能达到每小时 200亿以上 的用户行为数据写入速度。本实践将模拟...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
战斗结算是强 CPU 密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量 玩家，导致需要的计算量瞬间几倍增长，同 时需要结算系统保持稳定的延时来保证玩 家的用户体验。产品列表 阿里云最佳实践分享群 最佳实践频道 容器 Kubernetes ACK 容器实例 ECI 容器镜像仓库 ACR 函数计算 FC 访问控制 RAM ...
ECS+EAIS弹性伸缩最佳实践
弹性加速计算实例EAIS通常与ECS配合使用，在大规模的弹性推理场景中，需要实现ECS弹性扩容的过程中自动创建弹性EAIS实例，并绑定到ECS上。当前弹性伸缩组ESS暂不满足此特殊场景的弹性伸缩需求。 本方案将通过结合CADT API、函数计算和Serverless工作流，演示如何快速且以可视化的方式进行此场景的弹性伸缩。
详见：https://www.aliyun.com/product/slb 弹性加速计算实例（EAIS）：弹性加速计算实例 EAIS（Elastic Accelerated Computing Instances）是一款阿里云提供的性能卓越、成本优化、弹性扩展的 IaaS（Infrastructure as a Service）级 别 弹 性 计 算 服 务。详见：https://help.aliyun.com/document_detail/185066.html ...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
基于交互式分析工具进行数据查询最佳实践 业务架构 场景描述 随着收集数据的方式不断丰富，企业信息化程度越来越高，企业掌握的数据量呈TB、PB或EB级别增长。同时，数 据中台的快速推进，使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
总结.46 文档版本：20210811 III 企业上云实践 EHPC药物筛选最佳实践 最佳实践概述 场景描述 本方案适用于采用高性能计算集群进行药物筛选的计算的场景：•通过分子对接（molecular docking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体 的相互作用，预测配体和受体的结合模式和亲和力。通常，有很多已有的配...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
OSS文件传输 步骤4 传输速度预估：函数工作流执行时间 253s，按照文件传输完成计 6447m，平均传输速 度 25.4m/s。和加速后速度 128m/s比较，加速 412%。2.5.创建函数工作流进行增量同步 步骤1 修改传输 Endpoint为加速域名并部署生效。cd/opt/oss-copy fun package-b bp118-src-bucket fun deploy-use-ros-stack-name oss-...
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例，介绍阿里云EHPC分子动力学最佳实践。
更多关于抢占 式实例的介绍，参见 https://help.aliyun.com/document_detail/52088.html GPU云服务器：GPU 云服务器（GPU Cloud Computing，GPU）是提供 GPU 算 力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可 视化、视频处理多种应用场景。阿里云作为亚洲第一的云服务提供商，随时为您 提供触手...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
实现业务弹性高可用，削峰填谷的同时，实现按需低成本的计算服务。2.云原生架构构建业务系统，高效免运维。解决问题 1.利用服务器自建数据采集系统成本高，弹 性不足。2.利用服务器自建数据采集系统运维复杂，成本高。产品列表 专有网络 VPC 日志服务 SLS 链路追踪 Tracing Analysis 云服务器 ECS 云数据库 RDS 最佳实践...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
多维度查看资源成本的趋势、查看全面的成本组成结构、进行未来成本的预测等，还可以满足细分颗粒度的费用明 细查询。文档版本：20210329 53 云上成本优化 workshop 成本治理 6.3.持续监控 资 源 监 控 数 据 接 入 Prometheus，产 品 详 情 页：https://www.aliyun.com/product/developerservices/prometheus 以前期规划好...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
大数据workshop
大数据workshop
详见 https://www.aliyun.com/product/ram ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处理能力 可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低 IT成本，使您更专注于核心业务创新。详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详见https://www.aliyun.com/product/ram ECS：云服务器ECS（ElasticComputeService）是一种简单高效、处理能力可 弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低IT 成本，使您更专注于核心业务创新。详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute支持 SQL、MapReduce、UDF（Java/Python）、Graph、基于 DAG的处理、交互式、内存计算、机器学习等计 算类型及 MPI迭代类算法。大幅简化了企业大数据平台的应用架构，具有强数据安 全、低成本、免运维、极致弹性扩展等特点。MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/developerservices/cadt ECS：云服务器ECS（ElasticComputeService）是一种简单高效、处理能力可 弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低IT 成本，使您更专注于核心业务创新。详见：https://www.aliyun.com/product/ecs 云数据库RDSMySQL版：云...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
函数计算会为客户准备好计 算资源，并以弹性、可靠的方式运行您的代码。详见：https://www.aliyun.com/product/fc 日志服务（SLS）：一站式提供数据收集、清洗、分析、可视化和告警功能。全面 提升海量日志处理能力，实时挖掘数据价值，智能助力研发/运维/运营/安全等场景。详见：https://www.aliyun.com/product/sls 对象...
- 产品推荐
- 这些文档可能帮助您