大数据技术框架图

_相关内容

使用curl命令导入数据文件

本文介绍使用curl命令将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例,创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建,请确保...

数据分析概述

DataWorks提供的数据分析平台,可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中,您不仅可以在线洞察数据,还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...

数据源管理概述

功能介绍 多数据源类型接入:Dataphin内置丰富的数据源类型,支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息,请参见 Dataphin支持的数据源。自定义数据源类型:在内置的...

数据集成

数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系型数据库、非结构化存储、大数据存储、消息队列等),通过定义来源与去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...

产品架构

EMR自研能力 为让开源大数据组件和服务更好的运行在阿里云技术设施上,EMR自研了如下组件:数据应用平台,提供交互式开发、作业提交、作业调试和工作流一站式数据开发体验,详情请参见 EMR Studio概述。Shuffle Service是EMR在优化计算引擎...

设置事务拆分

关闭自动提交),导致主实例负载过,如下所示。为了解决上述问题,可以使用数据库代理的事务拆分功能。您不需要改动应用的代码或配置就可以将事务中的读压力从主节点转移到只读节点,从而提高主节点的稳定性。开启事务拆分后,在默认的...

名词解释

下表列出了图数据库GDB所涉及到的基本概念。概念 说明 地域 地域(Region)是指您所购买的图数据库GDB实例的服务器所处的地理位置。需要在开通图数据库GDB实例时指定地域,购买实例后暂不支持更改。可用区 可用区是指在同一地域下具有独立...

查看集群日报与分析

Hive库冷热数据分布Top信息会展示如下:库极冷数据量分布Top 库冷数据量分布Top 库温数据量分布Top 库热数据量分布Top 说明 冷数据是长时间不访问的数据,推荐放到冷备存储,例如OSS冷备等。冷热数据分布可以帮助您了解集群使用情况,有...

全景视角

背景信息 为提高不同使用场景下的数据治理效率和质量,DataWorks为您提供以下视角:数据管理视角:在数据资产管理、数据安全加固、数据权限管理等数据管理场景下,建议您使用数据管理视角,关注查看数据管理过程中,表的统计数据、安全权限...

数据传输与迁移概述

MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表(湖仓一体)JDBC渠道 场景数据写入MaxCompute 离线数据批量写入(数据...

预览区块

如下所示,可以在右侧数据页签输入额外的数据,单击下方的 测试 按钮,即可查看对应组件中显示数据内容的变更。 1.输入不同数据 2.测试新增数据成果 测试事件 在事件页签中,单击某个事件对应区块中的组件,查看组件内部抛出的数据...

Doris概述

可以根据Runtime Statistics来动态调整执行计划,比如通过Runtime Filter技术能够在运行时生成Filter推到Probe侧,并且能够将Filter自动穿透到Probe侧最底层的Scan节点,从而大幅减少Probe的数据量,加速Join性能,流程如下所示。...

产品优势

让您可以在同一DAG中,构建异构计算引擎形成混编任务流(数据同步+SQL+MR+MaxCompute Spark+实时计算+ML),无需分别维护各技术栈,助您高效组合混编任务流。人效提升快 一键开通即可完成开箱即用的数仓技术架构搭建,告别繁重的自研、...

典型场景

ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势:支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器,复杂查询免调优。MPP多节点全并行计算,PB级数据...

配置区块接口

如果您需要与三维城市构建器项目外的其他可视化组件之间进行交互联动,则需要为项目配置数据接口、事件和动作设置。三维城市构建器项目场景编辑器中提供了区块接口设置的功能,可用于自定义设置项目的数据接口、事件和动作。本文介绍在项目...

配置区块接口

如果您需要与三维城市构建器项目外的其他可视化组件之间进行交互联动,则需要为项目配置数据接口、事件和动作设置。三维城市构建器项目场景编辑器中提供了区块接口设置的功能,可用于自定义设置项目的数据接口、事件和动作。本文介绍在项目...

RAM用户访问数据库GDB

图数据库GDB支持RAM用户访问。本文介绍从创建RAM用户到RAM用户登录图数据库GDB控制台的方法。操作步骤 创建RAM用户,具体请参见 创建RAM用户。授予RAM用户访问图数据库GDB控制台的权限,具体请参见 为RAM用户授权。说明 选择权限时,在搜索...

使用GdbLoader脚本导入数据文件

本文介绍使用GdbLoader脚本将数据文件从对象存储OSS的Bucket中导入至图数据库GDB实例、查看导入任务和取消导入任务的方法。前提条件 已创建目标图数据库GDB实例,创建方法请参见 创建主实例。说明 如果Bucket是在对象存储控制台创建,请...

设置白名单

图数据库GDB实例创建成功后,您需要为图数据库GDB实例设置白名单,以允许外部设备访问图数据库GDB实例。默认的白名单只包含默认的IP地址(127.0.0.1),表示任何设备均无法访问该实例。背景信息 在初次使用目标实例前,需要先设置实例的白...

设置白名单

您需要设置白名单后才能获取图数据库GDB的连接地址。本教程将指导您如何设置白名单。前提条件 已根据快速入门完成创建实例步骤,具体操作,请参见 创建实例。操作步骤 登录 图数据库GDB控制台。在页面左上角,选择实例所在地域。单击目标...

申请外网地址

图数据库GDB支持申请外网连接地址,用于通过外网连接实例的场景。背景信息 图数据库GDB实例支持的网络类型为专有网络和外网,关于连接地址的详细说明请参见下表。地址类型 说明 专有网络VPC(Virtual Private Cloud)专有网络是一种隔离的...

通过Cypher Shell连接实例

本章节介绍如何通过Cypher Shell连接和操作图数据库GDB。前提条件 进行实例连接操作前,请确保以下前提条件:如从外网连接,请确保已经申请外网地址;如使用ECS虚拟机连接,请确保您的ECS与图数据库GDB实例处于同一个VPC网络环境。请确保您...

修改实例描述

您可以将图数据库GDB的实例描述修改为便于记忆的名称,方便您在后续使用过程中进行识别。本文介绍修改图数据库GDB实例描述的方法。操作步骤 登录 图数据库控制台。在页面左上角,选择实例所在地域。通过以下任意一种方法修改图数据库GDB...

准备工作

可选:创建与图数据库GDB实例、ElasticSearch实例所属地域和可用区相同,网络类型相同且使用同一个网络的ECS实例,具体请参见 创建ECS实例。配置基本参数 开启ElasticSearch实例 自动创建索引 关闭 自动创建索引 将导致图数据库GDB的数据...

创建只读实例

本文介绍创建图数据库GDB只读实例的方法。前提条件 主实例为 高可用版,且已生成备份数据。只读实例目前仅支持内核版本为Gremlin和OpenCypher的主实例。如果当前实例规格为gdb.r5.*机型系列,请先进行一次升级操作,选择相同的规格与容量,...

专家服务

您可以通过图数据库GDB提供的专家服务功能了解在使用图数据库GDB过程中的疑问。关注数据库的 开发者社区。加入 阿里云开发者社区粉丝群,在群中可以探讨问题并获取专家服务(扫一扫以下钉钉群二维码)。

登录数据库

您需要登录图数据库GDB才能对数据库内的数据进行查询和分析,本教程以DMS为例介绍如何登录数据库。前提条件 已根据快速入门完成创建账号步骤,具体操作请参见 创建账号。操作步骤 登录 DMS数据管理服务控制台。单击页面左侧 数据库实例 旁...

推荐场景

个性化推荐基于用户的历史行为习惯,商品、电影本身的属性等数据集,这些数据之间相互关联,应用推荐策略时需要利用这些数据之间复杂的关联关系,因此使用图数据库来存储这些数据是非常合适的。建模 本文以书籍的个性化推荐举例,来说明...

备份数据

为防止系统故障等因素导致数据丢失或损坏,您可以通过图数据库GDB控制台提供的备份功能对数据进行备份。前提条件 已创建图数据库GDB实例。创建方法,请参见 创建主实例。备份说明 备份方案:自动备份。备份方法:快照备份(保留某一时间点...

概述

事实上,鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识,PolarDB for AI 可以为数据驱动的智能应用提供一站式的数据(包括:数据、特征和模型)服务来解决这种割裂状态,大大减少数据驱动的智能...

概述

数据备份物理空间大小如下所示:说明 PolarDB 集群 数据备份物理空间大小(上中①所示):指数据备份的收费对象,物理空间大小是指所有数据备份(快照)独占的物理空间大小之和,PolarDB集群的数据与多个数据备份(快照)会复用相同的...

点热力层(v3.x版本)

过滤器 打开 过滤器,选择已创建的数据过滤器或新建数据过滤器,并配置数据过滤器脚本,实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时,数据响应结果会对应展示最新的...

单节点版

图数据库GDB支持高可用版和单节点版两个系列。单节点版采用单节点模式架构,可用于测试环境的应用程序开发、调试,不能用于生产环境,并且无法升级至高可用版。优势 环境与企业级的生产图数据库完全一致,并且成本更低。适用场景 测试环境...

产品架构

计算资源包括云原生资源(灵骏计算资源和通用计算资源)和大数据引擎资源(MaxCompute和Flink)。平台工具层(灵骏智算服务&人工智能框架):人工智能框架:包括Alink、TensorFlow、PyTorch、Megatron、DeepSpeed及RLHF等智能框架,用于...

释放实例

图数据库GDB提供手动释放实例,您可以根据业务需求手动释放按量付费的实例,实例释放后数据将无法找回。前提条件 实例的运行状态为运行中。注意事项 实例释放后不可恢复,请谨慎操作。建议您在释放实例前先备份数据,并将备份数据恢复至...

产品功能

阿里云图数据库自动机器学习(Graph Database Auto Machine Learning,简称GDB Automl)支持数据处理、模型训练、数据预测和导出部署。本文为您详细介绍GDB Automl的产品功能。数据处理 数据导入 目前版本支持从图数据库GDB导入数据、从...

准备工作

将数据文件(点文件和边文件)导入至图数据库GDB实例前,您需要先准备好需要导入的数据文件、获取导入过程中使用到的实例信息等,使导入操作更加流畅。前提条件 已创建图数据库GDB实例,创建方法请参见 创建实例。已创建Bucket,创建方法请...

数据库系统权限策略参考

本文描述图数据库支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制(RAM)产品...

产品动态

2022年 功能名称 功能概述 发布时间 相关文档 GDB AutoML 阿里云图数据库自动机器学习(Graph Database Auto Machine Learning,简称GDB AutoML)是一个面向企业和个人开发者的机器学习集成开发环境,实现将机器学习应用于现实问题的端到端...

概述

数据备份物理空间大小如下所示:说明 PolarDB 集群 数据备份物理空间大小(上中①所示):指数据备份的收费对象,物理空间大小是指所有数据备份(快照)独占的物理空间大小之和,PolarDB集群的数据与多个数据备份(快照)会复用相同的...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用