大数据所需用到的工具有哪些

_相关内容

数据接口配置说明

视图模式配置面板示例 代码模式 在代码模式下,您可以根据示例接口代码,自定义编写所需数据接口的代码。实现新增或配置数据接口的内容。说明 配置数据接口代码规范,请参见 组件开发包文件概览。配置数据接口 在 数据接口设置 页签中,...

数据接口配置说明

视图模式配置面板示例 代码模式 在代码模式下,您可以根据示例接口代码,自定义编写所需数据接口的代码。实现新增或配置数据接口的内容。图 2.代码模式面板示例 说明 配置数据接口代码规范,请参见 组件开发规范。配置数据接口 在 数据接口...

数据分析及报告制作

您可按需创建SQL或Python分析单元,选择所需的原始数据集进行数据清洗、筛选、转换等预处理操作。在分析单元中使用原始数据集的操作详情,请参见 使用原始数据集。生成结果数据并构建联合查询。原始数据集经过SQL、Python预处理后,会生成...

恢复逻辑备份

规格越高恢复速度越快,数据量越恢复所需的时间也就越长。更多信息,请参见 备份恢复性能说明。若您选择恢复至新建实例中,系统大约需要5~10分钟创建一个按量付费的RDS新实例。恢复成功后,您可以在 RDS控制台 中找到新建的RDS实例。相关...

通过备份计划列表创建备份

规格越高恢复速度越快,数据量越恢复所需的时间也就越长。操作步骤 说明 本示例仅介绍通用配置流程,不同数据库引擎的恢复配置略有不同。基于Copy Data Management(CDM)技术提供沙箱功能,让您的数据库实现快速恢复(RTO秒级),您可以...

使用说明

当DBA或开发人员等高权限角色在维护数据库时,可能接触到生产环境中的敏感数据(如用户身份信息、交易记录),存在数据泄露风险。PolarDB MySQL版 的 全密态PolarMySQL 功能,能够在数据库代理(Proxy)层对查询结果进行实时加密,确保只有...

读写内表数据

云原生数据仓库 AnalyticDB MySQL 版 集群支持通过Spark SQL在线或离线读写C-Store表(即表引擎是XUANWU的表)数据。本文主要介绍通过Spark SQL在线或离线读写C-Store表数据的具体方法。前提条件 集群的产品系列为 企业版、基础版或湖仓版...

管理开放数据

进入Package页面,安装所需使用的Package。初次安装:单击Package页面右上角的 安装 按钮,进行安装。已存在安装记录:单击Package页面 安装记录 页签下方的 安装 按钮进行安装。在弹出的 安装DataWorks元数据 对话框中,选择目标工作空间...

准备用于数据订阅的数据库账号

源库的数据库账号所需权限 数据所需权限 创建及授权方法 RDS MySQL 只读账号,或具备REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW和SELECT权限的自定义账号。创建账号 和 修改账号权限。自建MySQL 待订阅对象的SELECT权限。...

准备用于数据同步的数据库账号

请参见 使用DMS管理MongoDB数据库用户。自建MongoDB 全量数据迁移:待迁移库的read权限。增量数据迁移:待迁移库、admin库和local库的read权限。请参见 MongoDB Create User说明。自建TiDB SHOW VIEW和待迁移对象的SELECT权限。权限管理 ...

准备用于数据迁移的数据库账号

请参见 使用DMS管理MongoDB数据库用户。自建MongoDB 全量数据迁移:待迁移库的read权限。增量数据迁移:待迁移库、admin库和local库的read权限。请参见 MongoDB Create User说明。云数据库 Tair(兼容 Redis)待迁移对象的读权限。创建与...

实例规格规划及建议

预估公式 所需的总存储空间=原始数据大小*数据副本数/数据压缩算法压缩比 涉及参数说明如下:原始数据大小:单行数据大小*总数据行数。数据副本数:在存算一体架构下,通常设置为3个副本。数据压缩算法压缩比:目前,StarRocks支持四种数据...

系统管理

上传数据至MaxCompute引擎:支持使用 Serverless资源组(推荐)、旧版资源组(独享调度资源组 或 独享数据集成资源组),且确保数据上传任务使用数据源与选资源组网络连通。选Serverless资源组和独享资源组绑定至待接收数据的表...

数据管理

前提条件 已将所需数据添加为DataV-Board 7.0的数据源,详情请参见 数据源分类。已创建数据看板并添加相应组件。详情请参见 使用模板创建PC端看板、配置组件。进入数据管理 登录 DataV控制台。在 全部应用 数据看板 区域,鼠标悬停至已创建...

通过HBase创建实时数据

参数 描述 数据源 选择所需加工的HBase数据源。若无可选HBase数据源,需要进行创建。具体操作,请参见 创建HBase数据源。来源表 选择HBase数据源中所需加工的来源表。RowKey配置规则 配置RowKey规则。RowKey表达式支持函数与变量:变量:...

申请、续期和交还数据源权限

参数 描述 数据源 选择所需申请的数据源。如需新建数据源,请参见 数据源管理。权限类型 选择需申请的权限类型,支持 同步读、同步写、执行。同步读:通过同步组件对来源存储中的数据进行读取的权限。同步写:通过同步组件对目标存储进行...

申请、续期和交还数据源权限

参数 描述 数据源 选择所需申请的数据源。如需新建数据源,请参见 数据源管理。权限类型 选择需申请的权限类型,支持 同步读、同步写、执行。同步读:通过同步组件对来源存储中的数据进行读取的权限。同步写:通过同步组件对目标存储进行...

数据服务入门

已创建目标数据源,本文示例创建MySQL类型的数据源,作为生成API所需的源端输入数据。详情请参见 配置数据源。已创建Serverless资源组并为数据服务进行了配额,详情请参见:Serverless资源组配置数据服务配额。背景信息 DataWorks数据服务...

AnalyticDB MySQL 3.0间的迁移

源库信息 选择已有连接信息 若您需要使用 已录入系统(新建或保存)的数据库实例,请在下拉列表中选择所需数据库实例,下方的数据库信息将自动进行配置。说明 DMS控制台的配置项为 选择DMS数据库实例。若您未将数据库实例录入到系统,或...

加速服务

说明 在加速服务的外部表方案中,所需的Hologres引擎由数据服务提供,因此,您无需单独购买Hologres引擎,只需专注于选择目标MaxCompute表。华东2(上海)、华北2(北京)、华东1(杭州)、华南1(深圳)地域。公共数据服务资源组将于2023...

大数据AI公共数据集分析

本教程通过DataWorks,联合云原生大数据计算服务MaxCompute,使用大数据AI公共数据集(淘宝、飞猪、阿里音乐、Github、TPC等公共数据),指导您如何快速进行大数据分析,快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...

External Catalog采集方式

数据地图针对External Catalog的元数据采集目前为间接关联形式,如果您在StarRocks类型数据库中已使用External Catalog能力,并期望在数据地图中通过StarRocks数据源类型作为来源,查看其External Catalog下的表及元数据详情,可通过本文...

DataV GeoAtlas地理小工具

数据编辑器 数据编辑器 是一款能够生成几何面边界数据并支持多种编辑功能的工具,同时提供AI智能助手辅助完成地图任务。如果您熟悉QGIS,可以快速掌握并上手使用该工具。层级生成器 层级生成器 是一款支持自定义下钻区域树形结构数据生成...

兼容性概览

为了帮助您更清晰地使用外部工具连接访问MaxCompute,本文将为您介绍MaxCompute支持连接的数据库管理工具,以及工具与MaxCompute在数据库连通性、列举数据库、查看表等方面的兼容性。数据库管理工具与MaxCompute的兼容性如下。工具 连接...

数据集成

您可以使用现有的应用程序客户端、数据处理工具大数据框架,无需修改代码即可无缝连接和操作PolarSearch中的数据。资源汇总 PolarSearch通过完全兼容OpenSearch/Elasticsearch的生态工具链,实现了与下述资源的无缝集成:大数据分析:...

关系图

使用关系图 构建数仓模型架构图 在新建的关系图页面,可根据业务需求执行如下模型构建操作:从待添加页签将模型列表中所需模型拖拽至右侧编辑画布,通过连线方式构建数据仓库模型架构图。如需在本地使用,也可以在完成关系图构建后,将该...

通过事件预加工创建实时数据

累积客体 请选择您需进行加工的客体表字段并选择所需的查询函数与时间窗口,系统将根据选择自动识别返回类型。查询函数根据客体字段类型支持不同的查询函数。长整型:计数(count)、取和(sum)、取最大值(max)、取最小值(min)。字符...

数据上云场景

数据数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据数据同步:可以选择DataWorks,支持的数据库种类丰富,包括MySQL、SQL Server、PostgreSQL等,详情请参见 通过向导模式配置...

审计日志设置

若无所需数据源,您可以单击 前往创建,跳转至 管理中心 数据源管理 的新建数据源对话框进行创建。说明 若选中的数据源未配置数据源编码,后续可能无法通过JDBC使用已采集的审计日志。如果需要配置数据源编码,详情请参见 Dataphin支持的...

数据开发流程引导

前提条件 已绑定所需数据源。详情请参见 开发前准备:绑定计算资源或集群。已拥有 开发 角色权限。授权详情请参见 添加空间成员并管理成员角色权限。进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运...

加载矢量数据

本文介绍如何将矢量数据加载到Ganos中,建议您使用的工具为shp2pgsql、ogr2ogr或QGIS。准备工作 在加载矢量数据之前,请确保在数据库中已输入如下命令,来创建ganos_geometry扩展:CREATE EXTENSION ganos_geometry CASCADE shp2pgsql命令...

加载矢量数据

本文介绍如何将矢量数据加载到 Ganos 中,建议您使用的工具为shp2pgsql、ogr2ogr或QGIS。准备工作 在加载矢量数据之前,请确保在数据库中已输入如下命令,来创建ganos_geometry扩展:CREATE EXTENSION ganos_geometry CASCADE;shp2pgsql...

加载矢量数据

本文介绍如何将矢量数据加载到 Ganos 中,建议您使用的工具为shp2pgsql、ogr2ogr或QGIS。准备工作 在加载矢量数据之前,请确保在数据库中已输入如下命令,来创建ganos_geometry扩展:CREATE EXTENSION ganos_geometry CASCADE;shp2pgsql...

加载矢量数据

本文介绍如何将矢量数据加载到 Ganos 中,建议您使用的工具为shp2pgsql、ogr2ogr或QGIS。准备工作 在加载矢量数据之前,请确保在数据库中已输入如下命令,来创建ganos_geometry扩展:CREATE EXTENSION ganos_geometry CASCADE;shp2pgsql...

添加MaxCompute数据

在DataV-Note(智能分析)中基于MaxCompute数据制作报告前,先将您的MaxCompute实例添加为DataV-Note的数据源。添加完成后,可在DataV-Note各项目中使用数据源,访问实例数据并进行相应的数据查询、分析、可视化展示等操作。本文为您...

添加Greenplum数据

在DataV-Note(智能分析)中基于Greenplum数据制作报告前,先将您的Greenplum实例添加为DataV-Note的数据源。添加完成后,可在DataV-Note各项目中使用数据源,访问实例数据并进行相应的数据查询、分析、可视化展示等操作。本文为您介绍...

BI工具集成

本章节展示如何将BI工具大数据平台集成,构建高效的数据可视化解决方案。使用Power BI连接EMR Serverless Spark并进行数据可视化

添加RDS MySQL数据

在DataV-Note(智能分析)中基于RDS MySQL数据制作报告前,先将您的RDS MySQL实例添加为DataV-Note的数据源。添加完成后,可在DataV-Note各项目中使用数据源,访问实例数据并进行相应的数据查询、分析、可视化展示等操作。本文为您介绍...

数据上云工具

您可以根据实际应用场景,选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端(Tunnel通道系列)客户端基于 批量数据通道 的SDK,实现了内置的Tunnel命令,可对数据进行上传和下载,Tunnel命令的使用请参见 Tunnel命令...

添加Hologres数据

在DataV-Note(智能分析)中基于Hologres数据制作报告,先将您的Hologres实例添加为DataV-Note的数据源。添加完成后,可在DataV-Note各项目中使用数据源,访问实例数据并进行相应的数据查询、分析、可视化展示等操作。本文为您介绍如何...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用