应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
互联网类应用 Cassandra能够支持大并发低延时的访问需求，具备高可用和弹性扩容能力，适合日志、消息、feed流、订单、账单、网站等各种大数据量的互联网在线应用场景。多活 Cassandra原生支持多DC部署方式，实现更好的可用性和容灾能力。云...
本文介绍如何查看、管理与使用数据库代理连接地址。关于RDS数据库代理的使用问题和更多相关信息，欢迎加入用户钉钉群（106730000316）进行咨询、反馈和交流。前提条件 开通数据库代理 操作步骤 查看和管理代理连接地址和端口 您可以在控制...
新增 支持大规模Oracle与应用的迁移蓝图规划与评估，可帮助客户梳理复杂的数据库与大规模应用的整体关联关系、评估整体兼容性、评估应用和数据库的整体改造点及改造方案、并针对复杂场景提供分批改造建议、提供针对各应用的sql兼容性及改造...
大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户构建和持续优化的大...
ADAM（数据库与应用迁移）使用主要分为数据库评估，数据改造迁移，应用评估改造三个流程。整体迁移流程简介 数据库评估：帮助用户了解源库现状、提供目标库的选型建议，根据评估结果为用户迁移到目标库提供可行性参考。数据改造迁移：帮助...
而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时同步到消息队列 通常业务发生之后，应用系统产生的数据需要被其他应用使用或根据这个事件驱动其他应用的业务逻辑，应用之间一般通过消息队列进行消息...
实时数据通道 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。收益 系统解耦...
MaxCompute平台提供了丰富的数据上传下载工具，可以广泛应用于各种数据上云的应用场景，本文为您介绍三种经典数据上云场景。Hadoop数据迁移 您可使用MMA、Sqoop和DataWorks进行Hadoop数据迁移。使用DataWorks结合DataX进行Hadoop数据迁移的...
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
例如：DataStream API Table API&SQ Python API 使用场景 Flink广泛应用于大数据实时化的场景，本文从技术领域和企业应用场景进行介绍。技术领域 从技术领域的角度，Flink主要用于以下场景：实时ETL（Extract-transform-load）和数据流 ...
DataWorks作为阿里云一站式大数据开发与治理平台，通常会与计算引擎产品联合使用，此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下，使用DataWorks时通常会使用到的其他云产品。计算...
使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序，您可以按照以下步骤进行应用迁移：应用适配 修改应用程序中的连接字符串，连接的目标从原有的...
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
云原生数据仓库 PostgreSQL 版 云原生数据仓库 AnalyticDB PostgreSQL 版（AnalyticDB for PostgreSQL）具备完整的事务处理、高吞吐写入、流批一体分析能力，提供高性能数据处理和在线分析能力，与MaxCompute结合应用于大数据驱动业务系统...
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。Notebook 近实时数仓 DeltaTable增量表格式 Delta Table 存储 表是MaxCompute的数据存储单元，MaxCompute中不同类型作业的操作对象...
数据字典管理：支持创建并维护逻辑表中使用的数据字典，方便用户在定义数据元或维度属性时进行数据字典引用，支持数据字典物理化、数据字典导入、导出，方便数据字典使用与跨项目复制。质量校验函数：支持质量检测函数自定义，方便用户在...
数据字典管理：支持创建并维护逻辑表中使用的数据字典，方便用户在定义数据元或维度属性时进行数据字典引用，支持数据字典物理化、数据字典导入、导出，方便数据字典使用与跨项目复制。质量校验函数：支持质量检测函数自定义，方便用户在...
LogHub 读取LogHub同步某字段有数据但是同步过来为空 读取LogHub同步少数据 读取LogHub字段映射时读到的字段不符合预期 Kafka 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 ...
使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步数据 从Flink导入 Flink 使用JDBC Connector导入 从Flink SQL导入 从大数据导入/同步 DataWorks 使用DataWorks同步数据 MaxCompute 从MaxCompute外表导入（19.15.2.2）从MaxCompute...
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
SSH数据源创建完成后，只能使用独享调度资源组进行计算任务的开发与调度，您需提前准备好相应资源组，并在创建SSH数据源时确保数据源与资源组网络连通。详情请参见 新增和使用独享调度资源组、网络连通方案。操作前准备：权限说明与配置 ...
使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...
他提供了数据缓存和元数据缓存等加速功能，并根据不同的CacheSet提供不同的读写策略，以满足数据湖在不同使用场景下对访问加速的需求。背景信息 CacheSet是JindoCache的缓存抽象。在实际使用中，并非所有的数据都需要缓存加速。考虑到数据...
购买 数据安全中心DSC（Data Security Center）实例后，在使用 DSC 检测大数据产品（包括TableStore、MaxCompute、AnalyticDB-MYSQL、AnalyticDB-PG）中存在的敏感数据或审计数据库等功能前，您需要先开启对应功能。前提条件 已开通数据...
DataV数据可视化经过多年的可视化应用实践操作，已形成多样化的典型场景。例如：运营数据看板、地理数据看板、城市交通看板、指挥中心看板等。您可以 开通DataV-Board服务，体验DataV数据可视化内各类优质行业模板，快速搭建属于自己的数据...
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
系统运维和业务实时监控 通过对大规模应用集群和机房设备的监控，实时关注设备运行状态、资源利用率和业务趋势，实现数据化运营和自动化开发运维。通过日志或者其他方式对原始指标数据进行采集和实时计算，最后将实时计算的结果数据存储到 ...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组计费 或已 为Serverless资源...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组 或已 为Serverless资源组...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组计费 或已 为Serverless资源...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组 或已 为Serverless资源组...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组 或已 为Serverless资源组...
DataWorks数据集成实时ETL支持数据过滤组件使用，可以在来源与去向组件间新增数据过滤组件按配置的过滤规则，按字段对数据进行过滤。前提条件 已完成数据集成的基本配置与网络资源配置。仅支持如下数据源类型的数据来源和数据去向，配置 单...
该方案可以打破数据湖与数据仓库割裂的体系，并融合数据湖的灵活性、丰富的多引擎生态与数据仓库的企业级能力，助力构建数据湖和数据仓库相融合的数据管理平台（本功能处于公测阶段）。概念说明 数据仓库与数据湖对比 类别 能力 数据仓库 ...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组计费 或已 为Serverless资源...
数据源负责从各种数据存储系统中提取数据，包括数据库（如MySQL、PostgreSQL）、大数据存储（如TableStore）、API、文件等。本文为您介绍DataV-Board支持的所有数据源，并提供数据源的选型指导。使用限制 数据源支持情况因不同版本而异，...