大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
EMR提供的组件包括开源和自研两大类，涵盖数据开发、计算引擎、数据服务、资源管理、数据存储、数据集成等领域，您可以按需选择和配置。说明 在创建集群时，如果没有您想使用的组件，或者想使用的开源组件仅对存量用户开放，您可以自行安装...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。使用阿里云Dataphin时，若已有的数据源部署在本地IDC机房，首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin...
使用阿里云Dataphin可以实现零部署成本、零运维成本构建智能大数据研发与治理平台。使用阿里云Dataphin时，若已有的数据源部署在本地IDC机房，首先需要打通本地IDC机房与阿里云Dataphin网络。本文将介绍本地IDC机房数据源与阿里云Dataphin...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
大数据分析与预测需求：随着数据分析技术的发展，企业和研究机构越来越重视对历史时间序列数据的分析，以进行预测性维护、市场趋势预测、气候模型预测等工作。这要求数据库不仅能够高效存储大规模时间序列数据，还要支持复杂的时间序列分析...
步骤三：网络连通与白名单配置 独享数据服务资源组与数据源之间进行数据服务时，需要确保独享数据服务资源组与不同网络环境数据源之间的连通性，独享数据服务资源组包括公网、阿里云VPC网络、IDC网络等场景的网络连通方案，不同连通场景下...
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
无数据移动：无需将数据导出到外部平台，提高效率的同时，也可以更好地应对监管需求。企业级特性支持：模型和数据都存储在数据库内，享受数据库成熟的企业级特性支持，如权限管理、审计、加密等。目前支持常见的时序预测及时序异常检测算法...
该方案可以打破数据湖与数据仓库割裂的体系，并融合数据湖的灵活性、丰富的多引擎生态与数据仓库的企业级能力，助力构建数据湖和数据仓库相融合的数据管理平台（本功能处于公测阶段）。概念说明 数据仓库与数据湖对比 类别 能力 数据仓库 ...
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
例如，业务需要将RDS MySQL与DataWorks连通进行数据同步，则在 数据调度&数据集成 下查看对应的 专有网络 信息（本示例命名为 VPC 2）和 交换机网段。步骤二：网络打通 如果 VPC 1 与 VPC 2 相同，则表示数据源与DataWorks资源组部署在同一...
本文以部署在本地IDC中的MySQL为例，为您介绍数据源如何与DataWorks进行网络连通。适用场景 如果您的数据源满足以下条件，推荐使用本方案。数据源部署在本地IDC中。方案说明 数据源部署在本地IDC场景下，推荐使用VPC网络（内网）连接，使用...
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
本文以具备公网连接地址的MySQL实例为例，为您介绍公网数据源如何与DataWorks网络连通。适用场景 如果您的数据源满足以下条件，推荐使用本方案。数据源具备公网链接地址。方案说明 Serverless资源组默认不具备公网访问能力，需要为资源组...
本文以部署在阿里云ECS中的MySQL为例，为您介绍数据源如何与DataWorks进行网络连通。适用场景 如果您的数据源满足以下条件，推荐使用本方案。数据源部署在阿里云ECS中。方案说明 ECS与DataWorks同主账号同地域 部署数据源的ECS与DataWorks ...
SSH数据源创建完成后，只能使用独享调度资源组进行计算任务的开发与调度，您需提前准备好相应资源组，并在创建SSH数据源时确保数据源与资源组网络连通。详情请参见 新增和使用独享调度资源组、网络连通方案。操作前准备：权限说明与配置 ...
前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。具体操作，请参见 数据源白名单配置。背景信息 Redis一个高性能的key-value...
查看网络大盘数据的步骤如下：登录控制台，进入 产品与服务 移动开发平台 mPaaS 后，选择应用。在左侧的导航栏中，选择 性能监控 网络分析，在页面上方选择平台、App 版本、查询时间范围，筛选符合上述条件的网络请求数据。在 网络大盘 ...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
当需要变更数据元所属目录时，您可以通过移动数据元，实现数据元所属目录的修改。本文介绍如何修改数据元目录。前提条件 已存在1个及以上（不包含默认类目）的数据元目录。已完成数据元创建或者导入，具体操作，请参见 新建数据元 或者 ...
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
通过创建FTP数据源能够实现Dataphin读取FTP的业务数据或向FTP写入数据。本文为您介绍如何创建FTP数据源。背景信息 文件传输协议FTP（File Transfer Protocol）是TCP/IP协议组中的一个协议。在开发网站的时候，您可以使用FTP客户端将网站...
如何检查客户端是否已正确接入 正确接入客户端之后，控制台上仍然看不到数据 在控制台创建事件后，看不到事件 PV 和 UV 数据 在控制台创建事件后，事件 UV 始终显示为 0 自定义大盘中没有数据展示 移动分析控制台上 iOS 客户端的闪退日志...
如何检查客户端是否已正确接入 正确接入客户端之后，控制台上看不到数据 在控制台创建事件后，看不到事件 PV 和 UV 在控制台创建事件后，事件 UV 始终显示为 0 自定义大盘中没有数据展示 移动分析控制台中 iOS 客户端的 Crash 日志没有反解...
您可以使用外网或VPC网络连接 云数据库ClickHouse，在Quick BI中添加 云数据库ClickHouse 数据源并通过Quick BI构建BI系统。本文介绍如何在Quick BI中添加 云数据库ClickHouse 数据源。前提条件 已创建 云数据库ClickHouse 集群。具体操作...
该组件简化了移动端与服务端的数据协议和通讯协议，能够显著提升开发效率和网络通讯效率。移动网关是连接移动客户端与服务端的桥梁，移动客户端通过网关来访问后台服务接口。更多内容请参考 移动网关简介。通过使用移动网关可以实现以下...
提供，在 移动数据分析申请开通“云隧道”功能，就可以在ODPS查询采集到的数据，一方面可以做BI分析，另一方面可以ETL数据加工，另外，用户可以通过ODPS访问到自己上传的原始日志是 移动数据分析帮助用户实现日志自主分析闭环的关键。
该组件简化了移动端与服务端的数据协议和通讯协议，能够显著提升开发效率和网络通讯效率。移动网关是连接移动客户端与服务端的桥梁，移动客户端通过网关来访问后台服务接口。更多内容请参见 移动网关简介。通过使用移动网关可以实现以下...
2022年 自研一体化大数据计算平台和数据仓库产品ODPS获世界互联网领先科技成果奖。在TPCx-BB 100TB标准测试中，连续6次获得全球冠军，保持性能和性价比第一。Forrester：每两年一次的全球云数仓评测中，进入卓越表现者象限，国内唯一。进入...
云隧道是 移动数据分析为方便用户使用SDK采集到的原始数据而开发的数据同步工具，实现了数据“物归原主”，助力用户数据“物尽其用”。
类型 典型场景 OSS数据与MaxCompute数据上传 LOAD命令。外部表，湖仓一体。Hologres数据写入MaxCompute MaxCompute直读Hologres数据。OTS/RDS（MySQL）/HBase/Lindorm/Hudi/HDFS/Hive等其它数据源写入MaxCompute 无。实时数据写入（数据...
上传数据至MaxCompute引擎：支持使用 Serverless资源组（推荐）、旧版资源组（独享调度资源组 或 独享数据集成资源组），且需确保数据上传任务使用的数据源与所选资源组网络连通。所选Serverless资源组和独享资源组需绑定至待接收数据的表...
远程日志服务的计费项为接口请求次数与数据上传流量，费用则为两者费用之和。在远程日志控制台的计费相关页签，可查询接口请求次数、数据上传流量、账户费用及产品定价信息。操作步骤 在远程日志控制台页面，选择 计费相关 页签，打开 计费...
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，...
本文介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将MaxCompute的数据迁移至其它业务平台。背景信息 传统关系型数据库不适合处理海量数据，如果您的数据存放在传统的关系型数据库且数据量庞大时，...