基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
在这样的 背景之下，阿里云MaxCompute率先提出湖仓一体，为业 界和用户展现了一种数据湖和数据仓湖互相补充，协同工 作的架构。这样的架构同时为用户提供了数据湖的灵活性 和数据仓库的诸多企业级特性，将用户使用大数据的总体 拥有成本进一步降低。方案优势 1.融合数据湖和数据仓库优势，在灵活性和效率上找 到最佳平衡。2...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
Arena通过命令行工具，支持深度学习工作 流中模型开发，训练，推理服务等，并提供了 Kubernetes GPU集群管理运维能力。Kubernetes生态中关注机器学习的重要项目 Kubeflow社区已接受 Arena项目。详 见 https://github.com/kubeflow/arena 发布日期：20220320 III 企业上云实践 基于弹性计算的 AI推理最佳实践|目录 目录 文档...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 72 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 说明:ds分区值请在 DataStudio界面查找，见下图：文档版本：20211213 73 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 5.11.ETL-UDF开发 说明：本节介绍使用 UDF(JAVA)进行自定义函数开发把 ip地址转化为国家、省、市等 信息（本文做...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
基于链路追踪+ECI的洪峰流量应对 最佳实践 业务架构 场景描述 云原生技术已经为越来越多的互联网客户接 受，对于在线教育、互动娱乐、电商等类型的 客户会由于业务的原因存在突增业务流量，因 此对于系统的稳定性非常关注，结合阿里云的 容器服务、链路追踪、弹性容器 ECI等产品，帮助客户发现应用链路中的瓶颈，同时应对洪...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
20150122（发布日期）II 基于ECI+FaaS构建游戏战斗结算服 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于 ECI+FaaS构建游戏战斗结算服 文档编号 182 文档版本 V1.0 版本日期 2020-11-27 文档状态 对外发布 制作人 七凌 审阅人 天裵、寻野、西流 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-11-27...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 55 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤9 新建作业，作业名称：flink_uv_job，作业类型：FLINK_STREAM/DATASTREAM，存 储位置：/作业开发/新手任务 文档版本：20201224 56 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤10 更新作业的主要信息，比如完整主类名、...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
步骤4 单击作业开发>新建，输入作业名称：app_log_origin_to_app_log 文档版本：20220223（发布日期）40 基于 Flink的资讯场景实时数仓 实时数仓搭建 步骤5 在作业开发面，输入如下 SQL代码，完成作业的开发。注意：请根据实际环境替换 properties.bootstrap.servers字段的值！SQL语句：create TEMPORARY table kafka_src_...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
新零售商超基于 Serverless服务化改造 部署架构 场景描述 某零售商超行业龙头企业，主要业务涵盖购物中 心、大卖场、综合超市、标准超市、精品超市、便 利店、无人值守智慧商店等零售业态，涉及全渠道 零售、仓储物流、餐饮、消费服务、数据服务、金 融业务、跨境贸易等领域。为了持续支持业务高速 且稳定地发展，其在快速...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
2024.08.20开发参考如何使用Ticket报表和票据管理增强嵌入方案的安全性2024.04.23开发参考如何基于已有的仪表板、数据大屏、电子表格和数据填报，创建自定义模板2024.06.19功能场景配置全局参数实现不同用户订阅不同数据2023.08.02产品简介Quick BI是一款全场景数据消费式的BI平台，秉承全场景消费数据，让业务决策触手可及...
来自：
云产品
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
在客户交流过程中，基 DBS提供了完善的备份机制和 API 于数据高可用和灾备需求，要求将数据备份至阿 OSS的分层存储机制降低备份集储存成本 里云OSS的存储空间，同时备份数据流基于 IPSec VPN/专线进行安全传输。基于IPSecVPN/专线进行安全传输。产品列表 VPC，ECS，DBS，VPN网关，OSS 文档版本：20200113 文档模板（手册...
AI Earth 数知地球
数知地球 AI Earth（Analytical Insight of Earth）基于达摩院在深度学习、计算机视觉、地理空间分析等方向上的技术积累，结合阿里云强大算力支撑，提供PB级海量遥感数据资源，以及低门槛、界面化的云GIS工作空间，同时支持开发者便捷调用，助力地球科学研究分析。
基于海量公开遥感数据，使用Notebook进行在线项目开发，项目数据在开发者模式与工具箱模式中可无缝切换，满足不同工作流场景下的使用需求.支持在线计算、统计分析、模型训练等多种开发场景，算子已累计近400项.提供交互式编程界面，数据一键代码引用，计算结果实时可视化查看.通用icon文字列表.数据检索和分析应用.AI模型...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
创建 Kafka集群 5.1.Kafka概述 Kafka是由 Apache软件基金会开发的一个开源流处理平台，由 Scala和 Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所 有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的 许多社会功能的一个关键因素。这些数据通常是由于吞吐...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
文档版本：20201224（发布日期）36 混合云数据库统一管理 IDC数据同步 RDS 5.IDC数据同步 RDS 5.1.DTS介绍 相对于传统数据迁移/同步工具，DTS为您提供功能更丰富、传输性能更强、易用性更 高且安全可靠的服务，帮助您简化复杂的数据交互工作，专注于上层的业务开发。DTS具备极高的链路稳定性和数据可靠性。数据传输支持同/...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
步骤12确认工作流任务为调度中，然后保存工作流。文档版本：20200331 59数据湖-在线学习场景数据分析 应用场景 步骤13调度配置成功之后，每天0点30分开始运行工作流，所有任务运行完成后会在 jfs:/datalake/result目录下生成新的昨天的日志目录，如下图所示。total_pv_uv、pv_by_content、pv_by_hour三个目录下分别存放计算...
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
aem埋点插件接入专用组件_spacex_1617263777831.大数据开发治理平台 DataWorks.DataWorks基于阿里云MaxCompute/Hologres/EMR/StarRocks等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为用户带来智能化的数据...账单数据订阅及查询分析.ETL工作流快速体验.DataWorks产品钉钉交流群.
来自：
云产品
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
用户可以用顺序、分支、并行等方式来编排分布式任务，FnF 会按照设定好的顺序可靠地协调任务 执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工 作流顺利完成。详见 https://cn.aliyun.com/product/fnf 日志服务（SLS）:行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可视化和...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
需要注意的是，在开通Dataworks工 作空间时，已经自动关联了Maxcompute引擎，会自动创建一个相关的项目空间。步骤1 登录大数据计算服务MaxCompute管理控制台。（https://workbench.data.aliyun.com/console#/MCEngines）步骤2 查看绑定dataworks后的项目空间：项目类型managed、默认后付费Quota 2.6.2.为工作空间添加成员和...
- 产品推荐
- 这些文档可能帮助您