云速搭部署弹性加速计算实例EAIS
弹性加速计算实例EAIS（Elastic Accelerated Computing Instances）是一款阿里云提供的性能卓越、成本优化、弹性扩展的IaaS（Infrastructure as a Service）级别弹性计算服务。EAIS可以将CPU资源与GPU资源成功解耦，帮助您将GPU资源附加到ECS实例上，构建成您希望得到的GPU实例规格，用于推理场景下的弹性使用，从而提高资源利用率，降低成本。 本文将从架构的角度，对EAIS与ECS结合使用的场景进行整体部署演示。
详见 https://www.aliyun.com/product/ecs 弹性加速计算实例（EAIS）：弹性加速计算实例 EAIS（Elastic Accelerated Computing Instances）是一款阿里云提供的性能卓越、成本优化、弹性扩展的 IaaS（Infrastructure as a Service）级 别 弹 性 计 算 服 务。详见：https://help.aliyun.com/document_detail/185066.html ...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可以挂载到 弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高 文档版本：20191127 III 基因计算工作流最佳实践 前言 性能计算 EHPC，AI训练 PAI等计算业务上提供高性能的共享存储，用户无需修 改应用程序，即可无缝迁移业务系统上云。...
蚂蚁链摩斯多方安全计算平台解决方案
蚂蚁链摩斯多方安全计算平台解决方案利用多方安全计算、隐私保护、区块链技术，打造数据安全共享的基础设施。解决企业之间数据合作过程中的数据安全和隐私保护问题，打通数据孤岛，将计算移动到数据端，达成数据可用不可见，安全促进业务创新。
蚂蚁链摩斯隐私计算平台基于多方安全计算、可信执行环境、联邦学习等技术，解决企业数据协同计算过程中的数据安全和隐私保护问题，实现数据可用不可见。经过5年多打磨和大规模商业化应用，广泛应用于联合营销、联合风控、政务数据开放、联合科研等领域.蚂蚁链摩斯隐私计算平台解决方案.支持Hyperledger Fabric、蚂蚁自研...
来自：
解决方案
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
一站式大数据平台同时满足存储、计算、BI和机器学习等功能.作为互联网创业公司，需尽可能以最低的成本去实现.快速、高效、低成本.需要严格的数据隐私保护机制，商户的数据只用于自身分析.安全、稳定、可靠.机器学习平台PAI.推荐搭配使用.海量营销数据分析.海量营销数据分析.解决方案与最佳实践.为业务敏捷而生的简单、易用...
来自：
云产品
Serverless图片分类和身份证过滤
场景描述 场景一：大型图库智能管理通过深度学习算法，自动识别图像中的常见的场景，客户可以基于函数计算对接智能媒体管理的图像识别功能，轻松实现图片的自动管理和分组，完成大型图像库的智能管理。 场景二：身份证图片过滤 通过扫描存储在OSSbucket中的图片，通 过智能媒体管理进行身份证识别，找到海量图片中的身份证图片，对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
图片自动分类架构图 场景描述 场景一：大型图库智能管理 通过深度学习算法，自动识别图像中的常见 的场景，客户可以基于函数计算对接智能媒 体管理的图像识别功能，轻松实现图片的自 动管理和分组，完成大型图像库的智能管 理。2.身份证过滤架构图 场景二：身份证图片过滤 通过扫描存储在 OSS bucket中的图片，通 过智能...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
此方案虽然比较灵活，但存在如下的劣势：ￚ 需要购买服务器自建 Jenkins，涉及计算存储费用 ￚ 需要专业的运维人员保障服务器稳定运行 ￚ 集成 OSS的 SDK实现比较重 方案概述 本方案功能是 Function Compute监听前端代码库提交的分支变更，上传分支文件 文档版本：20211008 VI Function Compute计算搭建前端 CICD系统 最佳...
ECS+EAIS弹性伸缩最佳实践
弹性加速计算实例EAIS通常与ECS配合使用，在大规模的弹性推理场景中，需要实现ECS弹性扩容的过程中自动创建弹性EAIS实例，并绑定到ECS上。当前弹性伸缩组ESS暂不满足此特殊场景的弹性伸缩需求。 本方案将通过结合CADT API、函数计算和Serverless工作流，演示如何快速且以可视化的方式进行此场景的弹性伸缩。
详见：https://www.aliyun.com/product/slb 弹性加速计算实例（EAIS）：弹性加速计算实例 EAIS（Elastic Accelerated Computing Instances）是一款阿里云提供的性能卓越、成本优化、弹性扩展的 IaaS（Infrastructure as a Service）级 别 弹 性 计 算 服 务。详见：https://help.aliyun.com/document_detail/185066.html ...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
通过工具的方式-创建函 数服务（推荐））。mvnw clean package fun build fun deploy-y 步骤4 登录函数控制台，查看函数服务 retail网络配置部分，确保最新的安全配置，已经发布 文档版本：20210519 38 新零售商超基于 Serverless服务化改造 架构环境搭建 到线上。文档版本：20210519 39 新零售商超基于 Serverless服务化...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
MaxCompute 提供多种内建函数来满足您的 计算需求，同时您还可以通过创建自定义函数来满足不同的计算需求。参考官方文档安装 MaxCompute Studio的 IDEA插件，并连接项目空间（前置步骤必 须完成）。注意：确保使用 JDK1.8版本 MC Studio介绍 https://help.aliyun.com/document_detail/50889.html IntelliJ IDE安装 ...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
自定义 HDFS Sink.47 文档版本：20201020 IV 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 最佳实践概述 概述 本实践基于 Dataworks做大数据一站式开发，包含数据实时采集到 kafka通过实时计 算对数据进行 ETL写入 HDFS，使用 Hive进行数据分析。通过 Dataworks进行数据 治理，数据地图查看数据信息和血缘关系...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
步骤14 在第一章里，我们已经创建好了 dataCollector服务和 fun01函数，创建好函数后会自 动跳转到函数的详情页面，默认会在代码执行页面：步骤15 然后我们编写接收数据的 Python代码：#-*-coding:utf-8-*-import logging import json import urllib.parse HELLO_WORLD=b'Hello world!' def my_initializer(context):logger...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
函数计算会为客户准备好计 算资源，并以弹性、可靠的方式运行您的代码。详见：https://www.aliyun.com/product/fc 日志服务（SLS）：一站式提供数据收集、清洗、分析、可视化和告警功能。全面 提升海量日志处理能力，实时挖掘数据价值，智能助力研发/运维/运营/安全等场景。详见：https://www.aliyun.com/product/sls 对象...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
如果要复制的文件比较大（比如 50MB 到 1GB），会使用函 数 copyObjectWithMultipartUpload 多线程分片下载文件并分片上传到目标 Bucket。如果要复制的文件很大（比如 1GB 以上），会使用三个函数完成复制任务。ￚ 第一个函数 initMultipartUpload 开始分片上传，并将文件分成 group，每个 group 包含多个分片。ￚ 第二个...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
什么是函数计算 函数计算（Function Compute）是一个事件驱动的全托管 Serverless 计算服务，您 无需管理服务器等基础设施，只需编写代码并上传，函数计算会为您准备好计算资源，并以弹性、可靠的方式运行您的代码。所有客户，我们都将提供每月 100万次函数调 用、400,000（CU-秒）函数实例资源的免费 Serverless 算力支持...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
所以要重新做一个“计算字段”要把年龄变成年龄段需要编写 一个表达式，该表达式语法完全遵循MySql的语法和函数。表达式如下：concat(floor([age]/10)*10,'到',floor([age]/10+1)*10-1,'岁')步骤5 单击保存，填写数据集名称，选择位置，然后单击确定。文档版本：20210802（发布日期）89阿里云最佳实践金融大数据WorkShop ...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
自建 Hadoop迁移 MaxCompute 场景描述 解决的问题 客户基于ECS、IDC自建或友商自建了大数据集群，自建Hadoop集群搬迁到 MaxCompute 为了降低企业大数据计算平台的成本，提高大数 自建Hbase集群搬迁到云 Hbase 据应用开发效率，更有效保障数据安全，把大数据 自建 Kafka 或服务器数据实时同步到 集群的数据、作业、调度任务...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute支持 SQL、MapReduce、UDF（Java/Python）、Graph、基于 DAG的处理、交互式、内存计算、机器学习等计 算类型及 MPI迭代类算法。大幅简化了企业大数据平台的应用架构，具有强数据安 全、低成本、免运维、极致弹性扩展等特点。MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
渲染任务的提 交和完成时间都不易预知时，BCS计算集群的渲染能力，即计算节点数如何根据实际 渲染业务的需求自动扩容和收缩就成为一个非常现实的问题，人工 7x24小时的值守 显然是不可接受的。本章将介绍如何部署 BCS自动伸缩脚本，设定自动伸缩策略，以满足渲染任务对计算 资源的弹性需求，同时也避免闲置资源造成成本浪费...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
说明：1.SQL引擎会把ML_PREDICT函数下的子查询结果存到临时表，临时表生命周期 同样是1天。2.ML_PREDICT的结果可以放在SQL语句里面直接查询，也可以通过INSERT或 CREATETABLEAS语句存到另一个表里。查询预测结果表，发现预测结果基本与实际结果一致。SELECT*FROMmushroom_predict_resultLIMIT10;基于湖仓一体架构使用...
- 产品推荐
- 这些文档可能帮助您