大数据架构师

_相关内容

应用场景

表格存储 有互联网应用架构(包括数据库分层架构和分布式结构化数据存储架构)、数据架构和物联网架构三种典型应用架构。本文结合 表格存储 的典型应用架构介绍了不同应用架构下的应用场景。互联网应用 目前互联网已在日常生活中广泛应用...

创建KingbaseES数据

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加、配置及管理Dataphin成员。板块架构师配置请参见 创建数据板块。项目管理员配置请参见 添加...

产品简介

阿里云数据湖构建(Data Lake Formation,简称 DLF)是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务,为客户提供了统一的元数据管理、统一的权限与安全管理、...结合 Databricks、OSS 产品,构建云上全托管Lakehouse数据架构

流水线管理

如果需要支持推送模式,则需要在应用元数据中进行设置(仅应用 Owner 和架构师有权限修改)。提交主干代码:如果在应用进入到集成阶段后,需要修改主干代码,只能通过 MR 模式向主干提交。手动触发 可以在配置变更完成后和其他需要的时机...

跨租户发布概述

Dataphin支持跨租户的发布对象包括规划类对象、数据架构的相关对象、研发的对象、资产相关的对象。租户发布规划类对象:包括公共定义、数据板块、计算源、项目和数据源。跨租户发布数据架构的相关对象:包括主题域、业务对和业务活动。跨...

创建MongoDB数据

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加Dataphin成员。板块架构师配置请参见 创建数据板块。项目管理员配置请参见 操作步骤。若您需...

创建FTP数据

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加Dataphin成员。板块架构师配置请参见 创建数据板块。项目管理员配置请参见 操作步骤。操作...

创建AnalyticDB for MySQL 2.0数据

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加Dataphin成员。板块架构师配置请参见 创建数据板块。项目管理员配置请参见 操作步骤。操作...

创建FTP数据

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加Dataphin成员。板块架构师配置请参见 创建数据板块。项目管理员配置请参见 操作步骤。操作...

关键大盘

关键大盘提供自定义要查看的监控数据的功能。通过查看关键大盘,您可以快速了解应用的运行状况以及资源实例的使用情况。实时监控中的关键大盘分为 业务大盘 和 应用大盘。业务大盘展示业务相关大盘数据;应用大盘展示应用相关监控指标的...

创建HDFS数据

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加、配置及管理Dataphin成员。板块架构师配置请参见 创建数据板块。项目管理员配置请参见 添加...

概述

通过 DST,运维人员、开发人员和架构师能看清楚复杂的规模微服务架构下的应用及服务之间的 复杂调用关系、性能指标、出错信息 与 关联日志,从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、故障定责等运...

数据模型架构规范

本文为您介绍数据模型架构规范。声明 本文以及后续章节中介绍的非功能性规范均为建议性规范,产品功能无强制,仅供指导。数据层次的划分 ODS:Operational Data Store,操作数据层,在结构上其与源系统的增量或者全量数据基本保持一致。它...

产品优势

相对于传统的数据同步工具,数据同步服务的实时同步功能能够将并发粒度缩小到事务级别,能够并发同步同张表的更新数据,从而极得提升同步性能,高峰期时,同步性能可以达到 30000 RPS(性能指标仅供参考,数据同步服务的数据迁移和同步...

数据源管理概述

权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。功能介绍 多数据源类型接入:Dataphin内置丰富的数据源类型,支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系...

原理架构

系统架构 数据同步服务的逻辑架构图:全量同步:负责将表数据从源端数据库同步到目的端数据库,支持异构数据库间同步。增量同步:负责将源端的增量数据同步到目的端,主要包含 Store 和 JDBCWriter 两个组件。存储:采集源端 DB 的变更到...

新建Doris数据

权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏 管理中心。按照下图操作指引,进入 新建数据源 对话框。在新建数据源对话框的 大数据存储 区域,...

新建Doris数据

权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏 管理中心。按照下图操作指引,进入 新建数据源 对话框。在新建数据源对话框的 大数据存储 区域,...

创建Kudu数据

从早期的OLTP、OLAP拆分,到后来的Lambda架构,都存在数据复制和同步的复杂性,而Kudu的单一数据架构,规避了传统架构数据复制和同步的复杂性。更多详情请参见 Kudu官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、...

应用场景

数据同步服务可在增量数据同步开始之前,回拉历史全量数据,并写入数仓(如大数据计算服务 MaxCompute)。在增量实时同步过程中,记录数据位点信息用于将后续的数仓数据标记完成,下游可依据标记完成时间触发后续的数据分析任务。场景三:...

基础术语

OceanBase OceanBase 是阿里巴巴与蚂蚁科技独立自主研发的一款分布式关系数据库产品,融合传统关系数据库和分布式系统的优势,具备高可用、高性能、高可扩展性,在功能上兼容 MySQL 等特点,在通用硬件上提供金融级高可用的数据库服务。...

数据服务:低成本快速发布API

DataWorks的数据服务功能模块是灵活轻量、安全稳定的数据API构建平台,旨在为企业提供全面的数据共享能力,帮助用户从发布审批、授权管控、调用计量、资源隔离等方面实现数据价值输出及共享开放。功能概述 作为数据仓库与上层应用系统间的...

创建HBase数据

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加、配置及管理Dataphin成员。板块架构师配置请参见 创建数据板块。项目管理员配置请参见 添加...

功能架构

分布式链路 分布式链路帮助运维人员、开发人员和架构师看清楚复杂的规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志,从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、...

升级数据库版本

支持升级的数据版本 云数据库 MongoDB 版 控制台可以直接升级数据版本,但不同产品架构、不同版本的实例支持升级的版本不同,具体情况如下:产品架构 规格类型 实例的数据版本 可升级到的数据版本 单节点架构 通用型云盘版...

分布式链路概述

帮助运维人员、开发人员和架构师轻松应对复杂的规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志,从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、故障定责等运维开发工作...

集群架构

云原生内存数据库Tair 提供双副本集群架构实例,可轻松突破Redis自身单线程瓶颈,满足容量、高性能的业务需求。集群架构支持代理和直连两种连接模式,您可以根据本章节的说明,选择适合业务需求的连接模式。注意事项 云原生 版集群架构不...

创建MaxCompute数据

权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。使用限制 MaxCompute数据源不支持接入MaxCompute的外部项目。详情请参见 MaxCompute项目概述。操作步骤 在Dataphin首页,单击顶部菜单栏 管理...

最佳实践

数据库容灾最佳实践 数据库备份 阿里云数据库具备数据库的备份恢复能力,除了小部分海量数据产品需要手工开启备份恢复功能外(如ClickHouse、Lindorm),其余常见数据库产品已默认开启数据库的自动备份,在数据库进行备份后,可利用现有...

创建MaxCompute数据

权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。使用限制 MaxCompute数据源不支持接入MaxCompute的外部项目。详情请参见 MaxCompute项目概述。操作步骤 在Dataphin首页,单击顶部菜单栏 管理...

设计原则

数据容灾是指在数据中心或服务器发生故障、灾难或意外情况时,能够保证数据的安全性和可用性的一系列措施和策略。数据容灾的目标是确保在不可避免的情况下,数据的完整性、可恢复性和可用性不受到严重影响,以保障业务的持续运行和数据的...

产品架构

如下图所示,与传统方案相比,Lindorm系统极地简化数据存储技术架构设计,幅度提升系统稳定性,降低建设成本投入。总体架构 Lindorm创新性地使用存储计算分离、多模共享融合的云原生架构,以适应云计算时代资源解耦和弹性伸缩的诉求。...

产品架构

数据库分层架构数据库分层架构中,使用 Tablestore 配合MySQL来完成应用系统的业务需求,利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作,利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...

构建数据仓库

构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业适用。方案优势:阿里巴巴大数据最佳实践,高性能、低成本、Serverless服务,免运维、全托管模式,让企业的大数据研发人员更聚焦在业务数据的开发、生产、治理。产品组合:...

创建Sap Table数据

权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏 管理中心。按照下图操作指引,进入 新建数据源 对话框。在 新建数据源 对话框的 半结构化存储 区域...

MongoDB数据库版本升级说明

支持升级的数据版本 云数据库 MongoDB 版 控制台可以直接升级数据版本,但不同产品架构、不同版本的实例支持升级的版本不同,具体情况如下:产品架构 规格类型 实例的数据版本 可升级到的数据版本 单节点架构 通用型云盘版...

创建OpenGauss数据

使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏 管理中心。按照下图指引,进入 新建数据源 对话框。在新建数据源对话框的 关系型数据库 区域,选择 ...

创建SAP HANA数据

权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏 管理中心。按照下图操作指引,进入 新建数据源 对话框。在 新建数据源 对话框的 关系型数据库 区域...

应用场景

该方案优势如下:全托管免运维 弹性扩展能力 开放数据架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下,数据仓库工程师和数据分析通常面临两个不同的环境,甚至使用不同的引擎和语法,导致数据指标和算子行为存在差异...

创建Vertica数据

权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 新建数据源 对话框。在 新建数据源 对话框的 关系型数据库 ...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用