湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
数据湖构建（Data Lake Formation，DLF）作为云原生数据湖架构核心组成部分，帮助用户简单快速地构 建云原生数据湖解决方案。数据湖构建提供湖上元数据统一管理、企业级权限控 制，并无缝对接多种计算引擎，打破数据孤岛，洞察业务价值。（https://www.aliyun.com/product/bigdata/dlf）云速搭 CADT：是一款为上云应用提供...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
资源管理平台（CMDB）最重 要的是构建完整可靠的底层数据，需要获取各 个云平台的所有资源配置数据，对数据进行持 续的下载、数据格式抽象统一、数据清洗、资 源关系解析和长期留存等处理，用可靠的数据 支持基于资源数据构建的运维管理流程和 Devops 程序。当使用的云平台比较多、使用 云产品比较多样、云上部署规模越来越...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
结论：云数据库 ClickHouse更加适合海量数据分析型业务、大宽表聚合查询分析、数 据 Hash对齐 Join场景、实时日志分析场景等等 文档版本：20201224 6 基于 Flink+ClickHouse构建实时游戏数据分析 架构设计 2.架构设计 2.1.架构图 本实践主要以流处理为主线，搭建实验环境，构建在线用户行为分析平台：2.2.核心模块 游戏服...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
以上是整体的架构图，下面我们来逐步拆解：数据源 这里来模拟采集用户一些行为数据，数据格式如下：{"action":"readArticle","articleTitle":"FC+Kafka最佳实践","articleAuthorId":1,"articleAuthorName":"jiyuan","ts":1621577423 } 文档版本：20210806（发布日期）2 Function Compute构建高弹性大数据采集系统 ...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组（APG）搭建 spark计算集 群，提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用 spot实例 交付，最高可省 90%成本。2.稳定可靠：跨可用域、跨实例...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
为实现全场景的用户增长需求，采用Flink+Hologres新一代实时数仓，基于业务日志数据构建实时大屏和数据中台系统，加速知识数据探索，促进业务快速发展.完美支撑营收额、订单量等指标实时报表查询，满足企业运营中对于数据时效性越来越高的要求，秒级响应.通过Hologres提供的高并发读写能力，关联设备状态表，可以实时更新...
来自：
云产品
人工智能平台 PAI
阿里云人工智能平台 PAI 涵盖交互式建模、可视化建模、分布式训练到模型在线部署全流程；快速搭建人工智能推荐系统；深度学习模型训练速度提升数十倍；减少50%GPU成本
根据不同的需求快速自定义构建各种类型的视频打标模型，快速从视频数据中识别各种类型的视频标签，服务于下游推荐或其他应用场景.通用视频打标.PAI在相似图像匹配和图像检索领域，提供了端到端、轻量化的纯白盒解决方案。你只需准备原始的图像数据，无需标注就能快速自定义构建图像自监督模型。最后将模型在PAI上进行部署...
来自：
云产品
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力，是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案，助力客户应用轻松转型分布式架构，保证风险安全的同时帮助业务需求敏捷迭代，支撑金融业务创新，开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
既能借助蚂蚁金服久经考验的微服务框架 SOFA 在云上构建微服务应用，也可以支持原生 Dubbo 和 Spring Cloud 上云，无需构建 ZooKeeper，Eureka，Consul 等微服务依赖的自建服务，极大降低运维成本.业务应用系统通过 Service Mesh技术架构轻量级接入，实现对应用无侵入的服务注册与服务治理方案，减少改造成本。同时，该方案...
来自：
云产品
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
帮助企业构建数据分析平台，实现降本增效.PolarDB MySQL免费同步.云原生数据仓库AnalyticDB MySQL版.一份数据同时支持离线处理和在线分析，解决数据一致性和时效性问题；并通过云盘多副本机制，实现数据可靠性保证.通过弹得起、弹得快、弹得准，精准贴合业务负载，降低资源成本30%.两种模型（BSP/MPP）同时支持离线处理和...
来自：
云产品
数据可视化DataV
数据可视化DataV是阿里云一款数据可视化应用搭建工具，旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。
进入 Atlas产品优势DataV-Board 数据看板 专业丰富的可视化组件 产品包含160多种可视化组件、100多种地理图元，帮助用户实现数据精准表达，呈现数据之美 可视化生成与智能设计 携手大模型，只需一句话，即可将您的创意跃然大屏之上，一扫往昔繁复设计的困扰 蓝图低代码交互搭建 图形化交互逻辑编排，帮您快速构建数据时代...
来自：
云产品
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系（OneModel、OneID、OneService），集产品、技术、方法论于一体，一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系，驱动创新。
配置数据构建所需数据源，支持原始的业务源数据配置和大数据计算引擎及存储配置，大数据计算引擎及存储如：MaxCompute.提供多种异构数据源的数据读写能力，提供脏数据过滤、流量控制等功能.支持配置逻辑数据模型，并通过数据智能引擎自动生成物理模型和SQL代码；提供任务运维、调度限流、基线监控等能力，为数据稳定生产...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您