Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
相关概念 API（Application Programming Interface，应用程序编程接口）：API是让应用、软件、系统能够面向数据源进行数据交互的接口，数据服务API支持“读数据”的操作，可以从数据库、数据表中不断地进行数据查询。函数：作为API过滤器，...
相关概念 API（Application Programming Interface，应用程序编程接口）：API是让应用、软件、系统能够面向数据源进行数据交互的接口，数据服务API支持“读数据”的操作，可以从数据库、数据表中不断地进行数据查询。函数：作为API过滤器，...
当今社会数据收集的方式不断丰富，行业数据大量积累，导致数据规模已增长到传统软件行业无法承载的海量级别。MaxCompute服务于批量结构化数据的存储和计算，已经连续多年稳定支撑阿里巴巴全部的离线分析业务。过去，如果您想要通过DataV...
Dataphin高度重视数据安全和用户隐私，在提供安全可信的产品的同时，提供可配置的软件产品帮助客户保护其数据的机密性、完整性和可用性。瓴羊竭诚为客户提供稳定、可靠、安全、合规的数字化产品及数智服务，帮助客户保护其系统及数据的机密...
MVT的渲染通常是由前端软件来完成的，而 Ganos 的矢量金字塔技术既支持发送MVT交由前端软件渲染，也支持在数据库端将MVT渲染成图片后再交给前端软件直接给用户查看。流程 矢量金字塔的使用流程为创建矢量金字塔和查询矢量金字塔。如果创建...
功能说明 滤波组件支持8种方式进行数据滤波，包括限幅滤波，中值滤波，滑动平均滤波，一阶滞后滤波，FIR滤波，最大值滤波，最小值滤波以及趋势线拟合滤波。计算逻辑原理 以下计算公式涉及的参数定义：①t表示本次，t-1表示前一次。②X(t)...
RDS MySQL快速入门 RDS SQL Server快速入门 RDS PostgreSQL快速入门 RDS MariaDB快速入门 数据库引擎简介 RDS MySQL MySQL MySQL是全球受欢迎的开源数据库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中的重要一环，...
OSS结合 数据安全中心 DSC（Data Security Center）使用，不仅能通过DSC识别、分类和分级敏感数据，而且能构建一个多层次、动态的安全和监管机制，追踪敏感数据的使用情况，并根据预先定义的安全管理策略，对数据进行保护、审计和告警，...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
Prophet将时序数据分解为趋势项、周期项和假日项，分别进行拟合与预测，最终整合为未来数据的预测结果。其中Prophet使用linear function或者logistic function拟合趋势项，使用傅里叶函数拟合周期项，使用indicator function与高斯分布拟合...
数据上传后，将展示在左侧导航栏的 文件数据集 中，您可基于该数据，按照下文执行数据清洗、数据概览、数据分析操作。数据清洗：整合高校信息 由于获取到的三个原始文件数据（招生一段线、招生二段线、高校信息）均包含高校相关信息，且...
恢复数据 完成数据库备份之后，当由硬件故障、软件错误、人为误操作或者自然灾害等原因引起的数据丢失、损坏或被恶意篡改时，可通过数据恢复快速的将数据恢复到最近的一个可用状态。注意事项 恢复数据至已有实例时，请确保配置恢复任务时所...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
主要能力 数据采集：DataHub服务对各种移动设备、应用软件、网站服务及传感器等多种来源产生的大量流式数据，进行持续采集、存储和处理。实时处理：写入DataHub的流式数据（如Web访问日志、应用事件等）可通过流计算引擎（如StreamCompute...
支持丰富的数据源：Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构，具体如下：数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强，提供了多种扩展机制：扩展数据连接器 ...
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以通过 查看敏感数据识别结果并手动修正，并在 敏感数据概况 模块为您展示最近的通过数据识别规则...
本文介绍如何在云数据库ClickHouse中批量或异步插入数据。...手动批处理的优点是，如果相同的插入语句多次发送到云数据库ClickHouse企业版（例如，由于客户端软件中的自动重试导致了一些暂时的网络连接问题），它支持表数据的默认自动去重。
数据灾备中心提供了对您名下的 云服务器 ECS 资源 进行健康数据评分的功能，以帮助您了解整体云 资源 的数据保护情况。本文将介绍数据灾备中心针对 云服务器 ECS 资源 进行数据评分的检查项，并提供相应的修复指导。通过数据评分检查和修复...
LR适用于拟合趋势线，一条趋势线代表着时间序列数据的长期走势，它表示一组特定数据（如股票价格、GMV和销量）是否在一段时期内增长或下降。虽然可以根据肉眼观察数据点在坐标系的位置来画出趋势线，但是更恰当的方法是利用LR计算出趋势线...
其中：日志数据来源可以为ECS、容器、移动端、开源软件、网站服务或JavaScript。本文为您介绍如何通过Tunnel、DataHub、LogHub以及DataWorks数据集成将日志数据迁移至MaxCompute。方案 说明 适用场景 Tunnel 通过MaxCompute的Tunnel功能，...
操作步骤 本文以IntelliJ IDEA软件为例，介绍如何运行SDK示例代码来消费订阅数据。下载数据订阅 SDK示例代码文件，然后解压该文件。使用IntelliJ IDEA软件，以Maven工程打开解压后的SDK示例代码文件。在/subscribe-demo/src/main/java/...
阿里云提供了多种数据保护方案，帮助您 实现高效的数据备份和灾难恢复。但如果选择了不适合的数据保护方案，不仅可能无法满足业务需求或合规要求，还可能导致不必要的成本增加。本文从资源类型出发（云服务器ECS、对象存储OSS、文件存储NAS...
DataWorks是一站式智能大数据开发治理平台，适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行下载安装。OBClient 在运行时需要指定 OceanBase 数据库租户的连接信息...
客户端 在连接 OceanBase 数据库的 Oracle 租户时，支持的客户端如下：OceanBase 客户端（OBClient）OBClient 是一个交互式和批处理查询的命令行工具，支持 OceanBase 数据库的 MySQL 模式租户和 Oracle 模式租户，可以访问 软件中心 进行...
DataWorks的费用主要由三部分构成：一是购买功能权限的版本软件费；二是运行任务的资源组费用；三是数据质量、智能监控等服务的超额费用。此外，底层MaxCompute等引擎的计算与存储成本，将产生独立的账单。计费概览 一、软件费用 重要 购买...
参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征变量，用数据的特征变量去对目标变量进行预测。是 整数或浮点数 说明 若存在非数值数据，则会置为NaN。CSV组件。IGateOffline组件。平台上其他...
您可以在ECS实例中安装SSRS（SQL Server Reporting Services）报表服务器，然后基于RDS SQL Server的数据输出报表。本文介绍如何在ECS实例中安装并使用SSRS报表服务。背景信息 微软的SQL Server产品中包含SQL Server数据库引擎、Reporting ...
需要构造三类数据：训练数据：训练数据中根据数据用途分成两个类型，一个是模型直接用来训练的数据（Train），另一个是在训练过程中验证模型好坏，选择最佳参数的验证数据（Validation）。通常会按时间，前半段时间的数据用来训练，后半段...
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下三类场景：源端为DTS同步方案暂不...
方案背景 华宁环球（北京）减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发，面向保险等行业及各级政府提供技术服务，数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...
BST算法采用了强大的Transformer框架，用于捕获用户行为的数据中的长期时序信息。BST能够提取行为序列中的隐式特征，并对未来的目标结果进行预测，在与行为序列相关的业务场景中（例如推荐、用户生命周期价值挖掘等）发挥出明显的优势。...
随着业务发展，数据库系统中会积累大量访问频率很低甚至为0的数据，这些数据的积累容易导致如下问题：历史数据和最新数据存储在同一数据库系统中，导致磁盘空间不足。大量数据共享数据库系统的内存、缓存空间、磁盘IOPS等，导致性能问题。...
您可以通过DBeaver的图形界面查看数据库结构、执行SQL查询和脚本、浏览和导出数据、处理BLOB/CLOB数据以及修改数据库结构等。准备工作 开始使用DBeaver前，您需要完成以下准备工作。安装DBeaver软件。安装MySQL JDBC驱动。将安装了DBeaver...
该示例重点关注 NOAA_water_database 数据集的如下数据：SELECT"water_level"FROM"NOAA_water_database"."autogen"."h2o_feet"WHERE"location"='santa_monica' AND time='2015-08-22 22:12:00' AND time='2015-08-28 03:00:00' 步骤一：...
本文为您介绍 Designer 提供的卡方拟合性检验。卡方拟合性检验适用于变量为类别型变量的场景，旨在检验单个多项分类型变量在各分类间的实际观测次数与理论次数是否一致，其零假设为观测次数与理论次数无差异。组件配置 您可以使用以下任意...
Fluentd（DataHub通道系列）Fluentd是一个开源的软件，用来收集各种源头日志（包括Application Log、Sys Log及Access Log），允许您选择插件对日志数据进行过滤，并存储到不同的数据处理端（包括MySQL、Oracle、MongoDB、Hadoop、Treasure ...
2 种不同的介质上 1 表示：至少将 1 份备份保存在物理位置独立的异地 在公共云上，不管是传统备份软件，还是云原生的备份服务，都会使用性价比高、可靠性好的对象存储来存储备份数据。因此 3-2-1 中的“2”在公共云场景下，也可以解读为...