基于MaxCompute的大数据BI分析
<em>基于</em>MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本:20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点,将客户的业务数 据、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态,增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
来自: 最佳实践 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
基于云速搭CADT批量维护资源标签
<em>基于</em>云速搭CADT批量维护<em>云</em>资源标签
通过云速搭快速部署一套企业IT管理系统,所有资源部署在区域为成都的 region。模拟一套企业财务管理系统,以及两个子系统(资金对账系统和合同管理系统),实现通过CADT的探查一键还原系统架构,并进行批量维护标签的功能,解决运维同学管理标签难的问题。
基于云速搭CADT批量维护资源标签 文档版本信息 基于云速搭 CADT 批量维护资源标签 最佳实践 文档版本:20220125(发布日期)基于云速搭CADT批量维护资源标签 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于云速搭 CADT批量维护资源标签 文档编号 286 文档版本 V1.2 版本日期 2022-01-25 文档状态 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,云速搭CADT
基于Elasticsearch的订单检索加速最佳实践
<em>基于</em>Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
文档版本:20210517 5 基于 Elasticsearch的订单检索加速最佳实践 资源规划和部署 步骤5 系统基于模板生成应用架构图。我们也可以新建空白应用,根据资源规划,手工创建架构图,详细步骤请参考使用文 档《构建应用架构》:https://help.aliyun.com/document_detail/186134.html 1.3. 编辑架构图并部署资源 步骤1 通过模板...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
基于k8s多集群隔离环境下的devops实现
<em>基于</em>k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
文档版本:20220121 3 基于 K8S多集群隔离环境下的 DevOps实现 准备工作 步骤2 通过搜索关键字找到“基于 k8s多集群隔离环境下的 devops实现”模板,单击 应用新建。步骤3 重设 ECS登录密码:文档版本:20220121 4 基于 K8S多集群隔离环境下的 DevOps实现 准备工作 步骤4 重设 ACK托管版集群 worker实例登录密码:步骤5...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
基于弹性计算的AI推理
<em>基于</em>弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
在实现层面,它 Kubernetes、helm和 Kubeflow。但数据科学家可能对于 Kubernetes知之甚少。与此同时,用户需要 GPU资源和节点管理。Arena还提供了 top 命令,用于检查 Kubernetes集群内的可用 GPU资源。简而言之,Arena的目标是让数据科学家感觉 自己就像是在一台机器上工作,而实际上还可以享受到 GPU集群的强大力量...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
云速搭部署基于OSS的Nextcloud网盘
云速搭部署<em>基于</em>OSS的Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署,这里使用ECS的UserData特性自动安装MySQL等组件,减少配置工作量。
云速搭部署基于 OSS的 Nextcloud 网盘 文档版本信息 云速搭 部署基于 OSS的 Nextcloud网盘 最佳实践 文档版本:20220118(发布日期)云速搭部署基于 OSS的 Nextcloud 网盘 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署基于 OSS的 Nextcloud 网盘 文档编号 290 文档版本 V1.2 版本日期 2022-03-28 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云速搭CADT
基于链路追踪+ECI的流量洪峰应对
<em>基于</em>链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受,对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量,因此对于系统的稳定性非常关注,结合阿里云的容器服务、链路追踪、弹性容器ECI等产品,帮助客户业务实现容器化改造,并且方便发现系统应用架构中的瓶颈等问题,实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ᅳ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ᅳ 运维研发效率提高,链路追踪服务端全托管,免运维。 ᅳ 链路追踪的应用调用链分析能力结合ECI高弹性能力,提升应用系统在洪峰流量冲击下的稳定性。 ᅳ 链路追踪接入方便,ECI POD弹性伸缩,节省用户运维成本和云资源使用成本。 ᅳ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩,更丰富的云原生弹性能力。
基于链路追踪+ECI的洪峰流量应对 最佳实践 业务架构 场景描述 云原生技术已经为越来越多的互联网客户接 受,对于在线教育、互动娱乐、电商等类型的 客户会由于业务的原因存在突增业务流量,因 此对于系统的稳定性非常关注,结合阿里云的 容器服务、链路追踪、弹性容器 ECI等产品,帮助客户发现应用链路中的瓶颈,同时应对洪...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,容器镜像服务 ACR,弹性容器实例 ECI
基于ALB的统一流量调度和监控
<em>基于</em>ALB的统一流量调度和监控
企业在走向容器化过渡阶段,内部同时存在ECS应用和容器应用的情况,在多域名业务场景下,为了对应用的入方向流量进行统一的调度和监控,可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性,高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
基于 ALB统一流量调度和监控 最佳实践 业务架构 场景描述 企业在走向容器化过渡阶段,内部同时存在 ECS应用和容器应用的情况,在多域名业 务场景下,为了对应用的入方向流量进行 一的调度和监控,可通过 ALB快速完成内 部应用统一流量的管控。典型场景 多域名转发到混合应用类型场景。方案优势 – 高弹性,高并发 – 减少...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,容器服务 ACK,云效
基于MyBase构建自主可控数据库和高弹性应用实践
<em>基于</em>MyBase构建自主可控数据库和高弹性应用实践
一些企业级客户上云前,会重点关心数据库是否自主可控,包括云资源独享、自主可运维、获取OS 权限等特点,同时又要兼顾数据库合规性、安全性和高性能的要求;并力求在业务弹性下合理利用云产品降低数据和应用成本,弹性地支持业务。本实践为此类用户提供相关实践参考。
步进规则:基于云监控报警服务的分段扩缩容策略,在简单规则的基础上增加了 分步定义,可以通过一组策略集合精细地控制扩缩容。支持系统监控和自定义监 控类型。文档版本:20210323 30 基于 MyBase构建自主可控数据库和高弹性实践 业务应用弹性伸缩 目标追踪规则:选择一项云监控指标,并指定目标值。弹性伸缩会自动计算所...
来自: 最佳实践 | 相关产品:负载均衡 SLB,堡垒机,弹性伸缩,云数据库专属集群MyBase,云速搭CADT
基于DDH+MyBase降本合规
<em>基于</em>DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
从业务系统架构上部署的角度, 专有宿主机 DDH 和数据库专属集群 MyBase的解决方案,可以很好地满足这两方面 的需求。解决问题 1.国家政策上云趋势和需求 2.更严格的上安全合规要求 3.对上资源有更灵活的管控权 4.有效降低企业上云的整体拥有成本(TCO)产品列表 专用网络 VPC 最佳实践频道 阿里最佳实践分享...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
基于SLS实现统一告警最佳实践
<em>基于</em>SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
文档版本:20211021 3 基于 SLS实现统一告警最佳实践 资源环境部署 步骤3 在官方模板库,输入搜索关键字找到 SLS一日志监控模版,选择基于方案新建。步骤4 在架构编辑界面,根据架构部署提示,修改 OSS、SLS名称(保持唯一);修改 4个 ECS实例登录密码。步骤5 配置完成后,单击右上角的保存,设定应用名称后并单击确认。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
基于Flink+ClickHouse构建实时游戏数据分析
<em>基于</em>Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 服务器 ECS 消息队列 Kafka版 数据库 ClickHouse 实时计算 Flink版 如二维码过期,Quick BI数据可视化分析平台 请搜索群号:31852400 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 基于 Flink+ClickHouse 构建实时游戏...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
基于日志服务构建业务可观测性系统
<em>基于</em>日志服务构建业务可观测性<em>系统</em>
现在已知的各种监控数据的工具,以及对应的监控系统有非常多的选择,比如ZABBIX,Prometheus,Skywalking等。但是这些系统都存在同样的一个问题,只覆盖了可观察性的一部分,举个简单的类比,大家在日常开车的过程中,会用到很多的辅助设备,仪表盘,行车记录仪,导航,倒车影像等等,这些设备都各自承载了一部分的功能,但是都存在着如下的问题: l 数据覆盖不完整 l 存在数据孤岛(无法关联协同) l 使用门槛高,不够人性化 核心价值 l 全覆盖,统一协议,支持各类平台。 l 数据关联,统一Schema,关联Metrics/Logs。 l 云原生,SaaS服务,拥抱云原生。 l 简单易用,自动化埋点,数十项易用功能。 智能化,异常诊断,根因分析。
文档版本:20210616 7 基于日志服务构建业务可观察性系统 基础环境搭建 系统基于模板生成应用架构图:注意:日志服务的命名必须全局唯一,比如这里的 sls-trace-qiling 这个应用部署中,有一些 CADT暂时没有支持部署,后续根据文档进行手动配置。我们也可以新建空白应用,根据资源规划,手工创建架构图,详细步骤请参考使用...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
新零售商超基于Serverless服务化改造
新零售商超<em>基于</em>Serverless服务化改造
某零售商超行业龙头企业,主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态,涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展,其在快速上云后,将核心业务改造为全Serverless架构的中台模式,采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构:FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用:毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维:函数式极简编程可专注于业务创新,无采购和部署成本、提供监控报警等完备的可观测能力。
系统基于模板生成应用架构图:文档版本:20210519 8 新零售商超基于 Serverless服务化改造 基础环境搭建 注意:表格存储的命名必须全局唯一,比如这里的 qiling-ots 这个应用部署中,有一些 CADT暂时没有支持部署,后续根据文档进行手动配置。我们也可以新建空白应用,根据资源规划,手工创建架构图,详细步骤请参考使用文 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心<em>基于</em>SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以 于云存储网关搭建一个海量文件系统的文件存 储服务,实现多个数据中心互相之间高效的同步 和共享数据。存储网关以对象存储 OSS为后 端存储,为上和下应用提供业界标准的文件 服务(NFS和 SMB)和块...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
基于ECI、RI和EIP降成本方案
<em>基于</em>ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
基于 ECI、RI和 EIP降成本方案最佳实践 业务架构 场景描述 随着企业逐步将自己的业务搬移到使上,越来越多的企业也开始重视上的使用成 本。针对客户的使用场景,特别是无状态服务、易于容器化的场景,基于 ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券 RI,可以灵活的抵扣相关资源费用;弹性容器实 例 ECI,在...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
基于ECI+FaaS构建游戏战斗结算服
<em>基于</em>ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
产品列表 阿里最佳实践分享群 最佳实践频道 容器 Kubernetes ACK 容器实例 ECI 容器镜像仓库 ACR 函数计算 FC 访问控制 RAM 如二维码过期,专有网络 VPC 请搜索群号:31852400 服务器 ECS 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 基于 ECI+FaaS 构建游戏战斗结算服 最佳实践 文档版本:...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
基于转发路由器构建企业级组网
<em>基于</em>转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控(如Palo Alto) 3. 统一多 VPC 的互联网访问出口,提高业务安全性
基于转发路由器构建同地域企业级组网 最佳实践 场景一:多 VPC互联互通 场景描述 由于业务需要,客户在上同地域有多个 VPC,希望可以实现多 VPC之间的灵活通信,如全部 VPC之间可以互相访问、部分 VPC隔离、所有 流量引流至安全 VPC做安全管控、所有 VPC 一互联网出口等场景。解决问题 1.实现灵活的互通、隔离、引流...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云企业网
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
<em>基于</em>湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式 的两种数据架构设计取向,数据湖偏向灵活性,数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊,数据湖自身的治理能 力、数据仓库延伸到外部...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用