阿里云数据湖构建（Data Lake Formation，简称DLF）是一款全托管的统一元数据和数据存储及管理平台，为客户提供元数据管理、存储管理、权限管理、存储分析和存储优化等功能。DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助...
支持用户通过SQL、PyODPS、Python等进行数据分析、探索，挖掘数据的价值，完成大数据与AI的融合应用开发。Notebook 近实时数仓 DeltaTable增量表格式 Delta Table 存储 表是MaxCompute的数据存储单元，MaxCompute中不同类型作业的操作对象...
若您的业务需集成特定组合的组件，您可创建自定义集群，灵活组合EMR提供的组件，打造适配业务特性的大数据平台。本文将为您介绍这些集群的区别，帮助您快速选型。业务场景选型 业务场景（集群类型）支持的组件 核心能力 适用场景 数据湖...
数据报告自动化 企业经常需要基于最新数据生成动态的数据分析报告，以监控业务的关键指标（KPI）。DataV-Note通过自然语言交互自动报告生成功能，能够自动将数据汇总并提取关键信息，将其转换为易于理解的图表和报告。这一过程大大减轻了...
DataWorks及MaxCompute：DataWorks 基于 MaxCompute 等大数据引擎，支持在线 SQL查询与分析、数据洞察、数据编辑与分享，以及将查询结果保存为可视化图表卡片，快速生成数据报告。订阅账单数据后，费用与成本会将相关账单数据同步至指定...
本文介绍基因分析平台中的应用定义，如何在工作空间中创建、编辑和运行...借助统一的流程语言标准，用户可以导入研究社区里公开的WDL流程，也能够使用平台开发者提供的公共应用，极大降低生信分析的门槛，简单高效地完成基因数据分析任务。
本文简单介绍分析前的准备工作 第一步：生成数据源 应用诊断分析平台（ATP）只提供 诊断分析 能力，需要您准备数据源以供分析。1.什么是数据源？取决于您想分析的应用问题，数据源有所不同。Q：发现GC频率过快？GC回收效率低下？应用出现...
DataV-Note（智能分析）DataV-Note是一款以Notebook文档为核心、基于大模型驱动的智能分析平台。它支持多用户协作进行数据可视化分析，旨在为您提供一款易于上手、可视化表达准确、能轻松产出数据分析报告的产品，为数据分析工作带来全新...
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。前置概念 阅读本文前，您可能需要了解如下概念：什么是边缘计算？什么是人工智能（AI）？什么是SQL？Cloudera CDP企业数据云...
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
任务调度属性配置概述 任务调试流程 发布任务 批量操作 开发流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务...
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
假设您是一家大型互联网新零售企业的数据分析师，您的经理刚刚拿到2019年8月份的月度运营分析数据，他发现近期企业运营状况不佳，8月份毛利额环比前几个月下滑较大，三季度毛利额存在不达标风险。因此，需要您根据 订单信息 和 流量渠道...
应用场景 实时数据分析是Apache Druid最典型的使用场景。该场景涵盖的面很广，例如：实时指标监控 推荐模型 广告平台 搜索模型 Apache Druid架构 Apache Druid拥有优秀的架构设计，多个组件协同工作，共同完成数据从摄取到索引、存储和查询...
案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见 空间级模块权限管控。导入ETL工作模板时选择的资源组若是Serverless资源组，...
基因分析平台通过 基因实体表格 来管理基因数据文件，举例来说，某个生物样本（S001），其拥有多个属性值。FASTQ1单元格里的值，即为该样本存在对象存储OSS的原始序列文件。同时表格之间通过引用关系，来定义生物样本所从属的病人（NO...
Quick BI是一个基于云计算致力于大数据高效分析与展现的轻量级自助BI工具服务平台。通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在...
仅支持使用 Serverless资源组（推荐）、独享调度资源组 和 独享数据集成资源组，必须在 数据分析 更多 系统管理 中为相应引擎配置调度资源组和数据集成资源组。所选资源组需绑定至待接收数据的表所在的DataWorks工作空间，且需确保数据上传...
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供CDH Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。本文为您介绍...
产品生态丰富：MaxCompute深度融合阿里云 DataWorks、实时数仓Hologres、人工智能平台PAI、Quick BI 等产品，满足数据分析场景下的不同需求。MaxCompute融合的更多阿里云产品信息，请参见 支持的云服务。基于 DataWorks 实现一站式的数据...
基因分析平台广泛用于基因数据从样本到报告的分析过程。典型应用场景包括基因数据分析、测序生产自动化和基因云平台开发等。...基因分析平台强大的计算引擎可以保证企业云平台安全可靠，稳定高性能，满足大规模生产和应用要求。
DataWorks数据治理中心 已根据元数据信息，通过自带的治理经验知识库，对数据分析团队工作空间下的表、任务等资产，按治理维度进行自动化、多维度的统计分析。系统将根据知识库中包含的治理项规则，生成潜在治理问题列表。治理负责人可查看...
访客 安全管理员 模型设计师 数据治理管理员 查看数据分析产品页面 使用数据分析产品 说明 自定义角色 默认无 数据分析师 角色权限，该类角色如果需要使用数据分析产品，请联系 空间管理员 授权 数据分析师 角色权限，授权详情请参见 空间...
本文通过“分析某服装企业销售数据，根据分析结果制定下一个财年的经营方式”示例，为您展示如何使用 DataV-Note（智能分析）平台进行数据分析及可视化展示，并将分析结果生成报告进行导出或分享。准备工作 开始本示例前，您需完成以下准备...
场景二：供应链管理 场景说明：AI+BI提升运营分析效率、洞察供应链提效机会 方案对比：传统的数据分析方式与小Q问数在当前场景中的使用对比如下。传统方式（Before）智能化方式（After）繁琐的人工分析讨论。供应链百余维组合分析：靠人工...
客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，依托于阿里...
数据安全最佳实践（3）：数据集成加解密 数据安全最佳实践（4）：数据脱敏场景如何进行where、join关联 数据安全最佳实践（5）：手动指定敏感数据 数据安全最佳实践（6）：敏感数据实时识别与批量保护 分析平台 Dataphin上线全新模块-分析...
2024-11-21 所有地域 使用新版数据开发（Data Studio）的用户 元数据采集 数据地图 支持在数据地图的MaxCompute表详情页创建数据洞察，通过深度数据分析和解读来获取数据统计及分布情况。2024-11-21 华东1（杭州）、华东2（上海）、华北2...
调度日历 数据治理中心 资产标签管理-治理问题识别与优化 事前检查项的预防拦截 资源统计分析 治理成效评估 数据质量-动态阈值、质量报告、自定义规则模板库 数据地图 表血缘、字段血缘 数据专辑-数据分析 数据分享、SQL查询下载、代码搜索...
可视化：基于大数据与机器学习技术，智能识别高风险行为（如访问异常、AK泄露），并通过动态可视化界面全景展示数据资产分布与安全状态，一键检索海量数据中的配置风险并提供修复建议。功能特性 分类分级 DSC为金融、能源、汽车等行业提供...
背景信息 Quick BI中的组织用户类型及角色如下：用户类型 在组织层面，有三种用户类型：开发者：企业IT人员、数据分析师和数据运营人员等。分析师：需要进行业务分析、且对技术能力要求不高的业务人员。分析师通过创建仪表板、电子表格等...
大数据计算引擎与存储费用（独立计费）：DataWorks是一个大数据开发与调度平台，它本身不执行核心的计算和存储。当您通过DataWorks提交一个SQL任务时，实际执行该任务的是底层的计算引擎（如MaxCompute、Hologres、E-MapReduce等），产生的...
典型应用场景 以一个典型数仓架构为例，通过ETL将在线数据（关系数据库或者应用服务日志）导入离线分析平台做计算分析，分析的结果（如数仓模型的数据集市层ADS）再导入关系数据库中，用于对接BI报告、监控和广告计算等应用。该架构有几个...
本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本教程使用 数据开发（DataStudio）（旧版）进行数据加工。MaxCompute环境准备 一、开通MaxCompute产品 本教程基于MaxCompute实现，请...
数据分析 仪表板 可视化图表 新增旭日图，适合于展示复杂的层次数据，例如公司的组织结构、各部门的预算分配等。水波图、进度条、子弹图新增支持条件格式，可为不同数值阶段设置不同的展示颜色。指标趋势图新增辅助趋势图功能，支持为主...
查询时报错，提示 scanRows exceed limit 分析型数据库MySQL版查询时报错，错误信息为：ErrMsg:ErrCode:2001 ErrType:QUERY_EXCEED_LIMIT ErrMsg:scanRows exceed limit:xxx 为避免用户输入的SQL误写或性能较差，从而导致扫描表的大量数据...
作为数据开发的智能引擎，能够根据上下文快速理解业务需求，在企业专属领域知识库的加持下，DataWorks Copilot让开发者能够轻松、高效、便捷地完成数据ETL及数据分析工作，节省时间和精力。DataWorks Copilot 包含 Agent智能体、代码编程...
基因分析平台的 应用仓库 提供了不同研究领域和分类的公共应用，这些都是权威的、经过验证的行业最佳实践，并且提供了常见的运行参数，真正的帮助用户实现开箱即用的基因数据分析。浏览公共应用 用户可以通过关键字搜索、按照研究领域和...
DataWorks支持多种数据源类型，覆盖了主流数据库、大数据存储及消息队列等。为保障数据安全，标准模式的工作空间支持数据源环境隔离功能。您可以为开发环境和生产环境分别配置独立的数据源。开发环境数据源仅用于节点的开发与调试，而生产...