数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
主要通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（称之为 Reader）、数据写入插件（称之为 Writer），并基于此框架设计一套简化版的中间数据传输格式，从而达到任意结构化、半结构化数据源之间数据传输的目的.抽取、转换、导入.数据集成支持在数据抽取过程中进行简单的ETL数据转换操作（如日期...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
实时分析架构图 加速查询MaxCompute离线数据 写入业务数据至离线数据仓库MaxCompute，通过Hologres直接加速查询或导入数 据至Hologres查询，并对接BI分析工具，实现实时分析离线数据。典型应用场景如 下：实时查询MaxCompute离线数据。分析MaxCompute离线数据报表。输出MaxCompute离线数据的在线应用，例如RESTfulAPI...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
获取ECS网络信息 本章节，我们以ECS资源的网络配置数据为例，使用 python脚本模拟将资源配置数 据导入企业自有系统。用到了配置审计的 API，在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core：在多账号情况下，列出主账号下指定账号 组的所有资源数据：在多账号情况下，查询指定资源的详细数据 注意：上述两个...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
随着客户业务规模的扩大，对系统高可用性要求越 数据库双向同步 来越高，越来越多用户采用异地双活/多活架构，多 数据库全局 ID不冲突 活架构往往涉及业务侧做单元化改造，本方案仅模 双活架构的数据库建设问题 拟用户已做单元化改造后的数据双向同步，数据库 采用双主架构，本地写本地读，同时又保证双库的数 据一致性，为...
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
支持一键建仓，通过简单几步配置即可将RDS、PolarDB MySQL、或者日志服务中某个日志库中的数据快速同步到ADB集群中。支持将MySQL分库分表的数据聚合到同一张表中，提供全局数据分析能力.云服务器ECS.云数据库RDS MySQL版.推荐搭配产品.通用：BI报表分析加速.与多种BI工具高度兼容，开箱即用.查看更多商品.查看更多商品.新开...
来自：
云产品
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以基 于云存储网关搭建一个海量文件系统的文件存 储服务，实现多个数据中心互相之间高效的同步 和共享数据。云存储网关以对象存储 OSS为后 端存储，为云上和云下应用提供业界标准的文件 服务（NFS和 SMB）和块...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
Master节点 通常可以生成 1TB的数据进行基准性能测试，首先进入 hive-testbench目录下执行如 下脚本并加载测试数据 参数说明：数据集规模参数单位为 GB,1000表示生成的数据量为 1TB/tpcdata/tpcds 为表数据生成的目录，目录不存在就自动生成，如果不指定目录,数 据目录就默认生成到/tmp/tpcds目录下 cd hive-testbench#如果...
智能数据标注PAI-iTAG
智能数据标注PAI-iTAG是一款智能化数据标注平台，支持图像、文本、视频、音频等多种数据类型的标注以及多模态的混合标注。智能标注PAI-iTAG提供了丰富的标注内容组件和题目组件，可以直接使用平台预置的标注模板，也可以根据场景自定义模板进行数据标注。
远低于自建外包团队的人力成本.标注员专业的技能培训和生产管理.专业标注团队.0事故数据安全运营记录.数据安全保密.标准化SAAS数据标注服务交付流程.全托管式项目管理.PAI-iTAG 提供专业、全托管的定制化标注服务，培训专业标注人才上岗，并配备专职的驻场人员严格把关质量，极大降低标注人力成本.返回机器学习平台PAI官网....
来自：
云产品
数据管理DMS
数据管理DMS是基于阿里巴巴集团十余年的数据库服务平台的云版本，提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的web数据库管理终端；可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库DevOps研发流程解决方案。
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成（上云迁移、容灾、多活、ETL）、数据开发及数据消费服务等能力，致力于帮助企业高效、安全的挖掘数据价值，助力企业数字化转型.下载免登陆软件版.ADAM控制台.管理控制台-老版.数据管理 DMS.查看全部日志.DMS 企业新用户专享安全协同 3个实例 3个月免费试用，...
来自：
云产品
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，拥有高吞吐量、高稳定性、低成本等特点，与阿里云大数据生态系统完美打通，让您可以轻松构建基于流式数据的分析和应用。
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构建基于流式数据的分析和应用.通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的...
来自：
云产品
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
满足高性能、高稳定性、可弹性的计算需求.Databricks Delta Lake为数据湖分析提供了ACID事务能力，轻松处理包含数十亿文件的PB级表的元数据信息，实现了批流一体的数据处理方式.同时满足数据科学家、数据工程师以及业务分析师的计算需求，提供交互式的协同分析工作平台.计算存储分离，减少数据冗余，实现多引擎间的数据共享...
来自：
云产品
数据同步服务
数据同步 MSS，源于阿里云移动开发平台。移动数据同步 MSS，通过一个安全的数据通道 TCP+SSL，及时、准确、有序地将服务器端的业务数据，主动的同步（SYNC）到客户端 App。提供增量、可靠的消息触达能力，将聊天消息按发送方的发送顺序，有序推送至指定用户。可以动态地将配置信息进行全设备推送，保证在线 APP 可实时接收推送数据。
客户端初始化成功时，服务端可一次性推送多个业务数据，减少不同业务的请求.只在有增量数据时才推送业务数据，可有效减少冗余数据的传输，降低网络成本.当服务端发生数据变化时，可在最短时间内将变化数据直接推送至客户端，无需等待客户端请求.数据无感知推送，在渲染客户端界面之前，数据已到位，降低了用户等待时间.查看...
来自：
云产品
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题，支持关系型数据库、NoSQL、大数据(OLAP)等数据源，其底层基础设施采用阿里双11异地多活架构，为数千下游应用提供实时数据流，已在线上稳定运行7年之久。
根据数据量和网络的情况，迁移所耗费的时间可能会持续数小时甚至数天，对业务影响较大。通过数据传输服务可轻松实现数据一键上云，将停机时间降低到分钟级.只需配置迁移的源、目标实例及迁移对象，即可实现业务平滑迁移，支持结构迁移、全量数据迁移及增量数据迁移.支持库表列三级对象名映射，实现对源实例跟目标实例的库名...
来自：
云产品
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系（OneModel、OneID、OneService），集产品、技术、方法论于一体，一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系，驱动创新。
立即开通(半托管版).<查看全部产品.Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算平台支持及可拓展的开放能力，以适应各行业企业的...
来自：
云产品
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
通过Nginx和Pythonflask搭建WebServer，模拟应用中的关 键页面，比如登录、课程内容等，之后构造若干用户使用的模拟日志数据，投递到数 据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。方案优势 支持超过10亿条元数据规模的数据管理，同时支持高可靠和高可用。 支持元数据实时备份和重建集群快速恢复...
- 产品推荐
- 这些文档可能帮助您