基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
自定义 HDFS Sink.47 文档版本：20201020 IV 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 最佳实践概述 概述 本实践基于 Dataworks做大数据一站式开发，包含数据实时采集到 kafka通过实时计 算对数据进行 ETL写入 HDFS，使用 Hive进行数据分析。通过 Dataworks进行数据 治理，数据地图查看数据信息和血缘关系...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
步骤5 使用 UDF开发时，核心的函数是 evaluate（固定写法），在这里进行业务逻辑处理，本文中输入参数为 String类型的 ip地址（可以根据业务需求自定义类型或参数个数），返回一个 String的城市信息（支持自定义）。步骤6 Setup函数加载 ip库（即从第三方文件中读取数据）。文档版本：20211213 76 基于 MaxCompute的大数据 ...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可以挂载到 弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高 文档版本：20191127 III 基因计算工作流最佳实践 前言 性能计算 EHPC，AI训练 PAI等计算业务上提供高性能的共享存储，用户无需修 改应用程序，即可无缝迁移业务系统上云。...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
高度优化的梯度协商机制，将大规模节点下梯度协商的开销降低一到两个数 量级。 分级的Allreduce，同时支持FP16的梯度压缩，以及混合精度压缩。 训练过程中开启NaN检查，报告NaN来自于哪个梯度的计算（SM60及更 新平台支持）。III企业上云实践 超级计算集群实现自然语言处理训练 弹性裸金属服务器（神龙）...
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
弹性计算OOS审批流程自动化运维最佳实践 业务架构图 场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。2.运维...
批量计算BCS
阿里云批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。支持海量作业并发规模，系统自动完成资源管理，作业调度和数据加载，并按实际使用量计费。可广泛应用于电影动画渲染、生物数据分析、多媒体转码、金融保险分析、科学计算等领域。
批量计算的高效集群管理可以帮助您轻松调度十万核以上的计算资源进行渲染，并且通过独有分布式缓存技术大幅提升共享场景文件的加载性能。同时提供简单易用的渲染管理系统，无需编程实现云上渲染.无论使用OSS还是NAS，通过简单的配置指定数据源就可以启动分布式缓存功能。缓存加速能力随着集群规模线性扩展，解决大规模渲染...
来自：
云产品
云速搭部署弹性加速计算实例EAIS
弹性加速计算实例EAIS（Elastic Accelerated Computing Instances）是一款阿里云提供的性能卓越、成本优化、弹性扩展的IaaS（Infrastructure as a Service）级别弹性计算服务。EAIS可以将CPU资源与GPU资源成功解耦，帮助您将GPU资源附加到ECS实例上，构建成您希望得到的GPU实例规格，用于推理场景下的弹性使用，从而提高资源利用率，降低成本。 本文将从架构的角度，对EAIS与ECS结合使用的场景进行整体部署演示。
详见 https://www.aliyun.com/product/ecs 弹性加速计算实例（EAIS）：弹性加速计算实例 EAIS（Elastic Accelerated Computing Instances）是一款阿里云提供的性能卓越、成本优化、弹性扩展的 IaaS（Infrastructure as a Service）级 别 弹 性 计 算 服 务。详见：https://help.aliyun.com/document_detail/185066.html ...
边缘计算云原生架构解决方案
边缘计算云原生架构解决方案，旨在通过云原生架构构建边缘计算（物联网、CDN、混合云等）云边一体化协同基础设施。通过云端托管边缘资源/应用，无缝对接丰富云产品能力，提供边缘计算业务的自动化运维、高可靠性保障，降低边缘应用的运维工作量，提升边缘计算业务创新效率。
基于运营商边缘节点和网络构建，一站式提供分布式算力资源，帮助用户有效降低计算时延和成本.边缘节点服务 ENS.能够在不同量级的计算节点中，提供安全可靠、低延时、低成本、易扩展、弱依赖的本地计算服务.物联网边缘计算 LinkEdge.容器服务提供高性能可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理.容器...
来自：
解决方案
弹性高性能计算E-HPC
弹性高性能计算（E-HPC）基于阿里云基础设施，拥有公有云、专有云等多种产品形态，为用户提供一站式HPC/HPDA平台服务，面向科研、生产、教育和行业大计算，提供快捷，弹性，安全的服务和拥有与阿里云产品互通的高性能计算服务平台。
借助同时模拟多个不同设计方案的能力，基于云计算技术的仿真进行产品设计和工程仿真.使用SCC实例，满足工业仿真类作业多节点并行的性能需求.提升仿真计算效率.超级计算集群SCC.云服务器ECS.GPU 云服务器.文件存储NAS.推荐搭配使用.影视渲染高性能计算E-HPC解决方案，帮助客户构建本地-云端融合，具备资源弹性、性能卓越、...
来自：
云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
存储和计算独立扩展，支持企业将全部数据资产在一个平台上进行联动分析，消除数据孤岛；实时根据业务峰谷变化来分配资源.统一丰富的计算和存储能力.多计算模型（MR，DAG，SQL，ML）和丰富的UDF，采用列压缩存储格式，通常情况下具备5倍压缩能力，大幅节省存储成本.与 DataWorks 原生集成.一站式数据开发与治理平台DataWorks...
来自：
云产品
弹性加速计算
Alibaba Elastic Accelerated Computing Instances (EAIS)是一款弹性加速计算实例，可在Alibaba ECS实例中灵活添加GPU加速资源。您可以针对您的应用程序的整体计算和内存需求在 Alibaba Cloud 中选择最适用的ECS实例，然后再配置所需量级的 GPU 驱动推理加速，有效利用资源，同时火速节约成本。相比运行AI推理、渲染、编解码的GPU实例，使用EAIS实例的成本可以降低超过 50%。EAIS支持 TensorFlow、PyTorch 和 ONNX 模型。
当CPU实例需要添加GPU算力来满足应用的加速推理需求时，EAIS可以使每个实例连接到加速器。同样，当需求降低需要减少ECS实例时，EAIS也会降级每个实例所连接的加速器.已有ECS实例请直接跳到02步骤.创建账号及ECS实例.注册阿里云账号，在ECS控制台创建按量付费ECS实例.立即进入EAIS控制台.创建EAIS实例.进入EAIS控制台购买...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您