数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，拥有高吞吐量、高稳定性、低成本等特点，与阿里云大数据生态系统完美打通，让您可以轻松构建基于流式数据的分析和应用。
通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值.对外，大数据系统与业务系统解耦，对内，大数据系统各组件之间解耦.通过数据总线，业务数据能够实时汇入大数据系统，缩短数据分析周期.实时计算Flink.实时数据...
来自：
云产品
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题，支持关系型数据库、NoSQL、大数据(OLAP)等数据源，其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久。
通过数据传输服务可以在不影响线上业务的情况下，将数据同步至分析系统中进行实时分析，助力业务发展.可以将源端数据库数据实时同步到数据仓库，构建实时分析数仓，也可以根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中，构建更加灵活的数据仓库（例如构建T+1的周期性数仓）.实时同步功能支持将并发...
来自：
云产品
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
示例应用场景 线下 IDC数据 迁移至阿里云 OSS 线下 NAS数据迁移至阿里云 NAS 线上杭州区域 NAS数据通过 CEN迁 移至深圳区域 NAS 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 数据迁移上云最佳实践 文档版本：20201013 文档版本：20150122（发布日期...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
另外，JindoFS 的元数据通过本地 服务NamespaceService管理，从而保证了元数据操作的性能（和HDFS元数据操 作性能相似）。文档版本：20200331 6数据湖-在线学习场景数据分析 数据湖 JindoFS块存储模式 数据以Block形式存储在后端存储OSS上，本地Namespace服务维护元数据信息，该模式在性能上较优，无论是数据性能还是元数据...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
加和科技通过数据湖分析+OSS的超强分析能力来应对业务波峰波谷。同时，数据湖分析提供的Serverless的弹性服务为按需收费，不需要购买固定的资源，无需专门运维人员，代码通用，无额外学习成本，相对性价比提升30%；临时业务承接率提升200%-300%，平均任务耗时降低67%.云原生数据湖分析帮助易点天下在数据采集、存储和分析的...
来自：
云产品
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库，可提供PB级海量数据在线/离线分析服务，是面向各行各业的有竞争力的数仓方案，真正做到“人人可用的数据分析服务”。
用户现有的OLTP数据库实例，包括 RDS MySQL，PostgreSQL，或传统数据库实例 Oracle，SQL Server等，数据可以通过 数据传输服务 DTS，数据集成服务 Dataworks 等实时同步到云原生数据仓库AnalyticDB PostgreSQL版，构筑可线性扩展的在线企业数据仓库服务。同时可以结合 Dataworks 的 ETL 调度功能，基于 AnalyticDB for ...
来自：
云产品
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成，并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
DTS数据同步集成 MaxCompute数仓 最佳实践 业务架构 场景描述 本文 Step by Step 介绍了通过数据传输服务 DTS实现从云数据库 RDS到 MaxCompute的 数据同步集成，并介绍如何使用 DTS 和 MaxCompute数仓联合实现数据 ETL幂等和数 据生命周期快速回溯。解决问题 1.实现大数据实时同步集成。2.实现数据 ETL幂等。3.实现数据生命...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
电商网站销售数据通过大数据分析后将业务指标数据在 大屏幕上展示，如销售指标、客户指标、销售排名、订 单地区分布等。大屏上销售数据可视化动态展示，提高可视化，触控大 屏支持用户自助查询数据，极大地增强数据的可读性。解决问题 产品列表 1.电商网站数据看板 专有网络VPC 2.全国/全球业务态势分析 交换机...
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
本篇全域数据集成向开发者介绍通过DataWorks数据集成在多表多表、多表到单表、单表到单表等场景下，进行实时或离线同步的技术选型与核心能力，并以MaxCompute与Hologres引擎为例，演示云上数据同步操作步骤最佳实践.全链路数据治理-全域数据集成.2021年10月20日，阿里云正式开源云原生分布式数据库PolarDB-X的源代码，将自...
来自：
云产品
通过PAI-灵骏分布式训练和部署Llama 2模型
以 Meta 最新开源的大语言模型 Llama2 为例，通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台通过PAI-灵骏分布式训练和部署Llama 2模型方案介绍方案优势应用场景方案部署通过PAI-灵骏分布式训练和部署Llama 2模型我们以 Meta 最新开源的大语言模型 Llama2 为例，通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型...
来自：
解决方案
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
SDDP可根据预先定义的敏感数据关键字段，扫描 MaxCompute、关系型数据库（RDS）或对象存储（OSS）中待检测的数据，通过敏感数据规则中的命中次数来判断是否属 于敏感数据。2.1.数据准备 2.1.1.开通服务 步骤1 登录阿里云管理控制台。（https://home.console.aliyun.com）步骤2 通过产品与服务导航，定位到敏感数据保护...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
实时分析架构图 加速查询MaxCompute离线数据 写入业务数据至离线数据仓库MaxCompute，通过Hologres直接加速查询或导入数 据至Hologres查询，并对接BI分析工具，实现实时分析离线数据。典型应用场景如 下：实时查询MaxCompute离线数据。分析MaxCompute离线数据报表。输出MaxCompute离线数据的在线应用，例如RESTfulAPI...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系（OneModel、OneID、OneService），集产品、技术、方法论于一体，一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系，驱动创新。
支持配置逻辑数据模型，并通过数据智能引擎自动生成物理模型和SQL代码；提供任务运维、调度限流、基线监控等能力，为数据稳定生产保驾护航.数据智能研发.基于数据架构和项目划分，可以以全局、流动、结构化模式可视化查看多业务视角的数据资产.提供多种资产对象的元数据查询及详情查看，支持字段血缘和表级血缘，支持相关...
来自：
云产品
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
可以将指定数据源中的数据，通过简单的配置，一次性的实时同步到Hologres中，支持整库内批量多表同步，同时也支持全增量一体化同步，先全量数据迁移，然后实时增量保持更新.数据集成 Data Integration提供多种数据源之间进行不同数据同步场景的同步解决方案（DataX不支持），支持ETL，助力企业数据更高效、更便捷的一键上云...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您