本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
事件 事件 说明 当下钻或选中变动时 当下钻或选中变动事件触发时，抛出object类型的数据项，自动化控制数据分析的展示，需要包含如下字段：{"id":"",/进行下钻或选中的分析器id"drillStack":[/记录下钻路径 {"comId":"",/发起下钻的组件id...
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
缺少公共可用资源，需要自己下载、安装和购买众多数据和软件。普通用户通常遇到众多使用困难。数据安全 完全基于阿里云的基础设施和成熟的产品技术开发，数据传输存储加密，提供细粒度的权限管理，能满足生物医学数据的隐私安全保护需求。...
单击 发送 或者回车，系统将根据语音转文本的内容查询后返回数据分析结果。在查看数据的同时，支持以下功能。图表切换（①）查看AI取数过程（②）全屏查看（③）重命名（④）分享（⑤）您可复制链接进行分析或分享到IM软件。说明 若需在IM...
调度日历 数据治理中心 资产标签管理-治理问题识别与优化 事前检查项的预防拦截 资源统计分析 治理成效评估 数据质量-动态阈值、质量报告、自定义规则模板库 数据地图 表血缘、字段血缘 数据专辑-数据分析 数据分享、SQL查询下载、代码搜索...
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本实验使用 数据开发（DataStudio）（旧版）进行数据加工。EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群，用于集成到...
本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本案例使用 数据开发（DataStudio）（旧版）进行数据加工。EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群，用于集成到...
大数据计算引擎与存储费用（独立计费）：DataWorks是一个大数据开发与调度平台，它本身不执行核心的计算和存储。当您通过DataWorks提交一个SQL任务时，实际执行该任务的是底层的计算引擎（如MaxCompute、Hologres、E-MapReduce等），产生的...
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级，因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展，用户使用其存储了大量的数据，并且运行着关键...
MaxCompute支持您将MaxCompute项目数据接入FineReport，您通过简单拖拽式操作便可制作中国式复杂报表。...可视化分析数据 创建数据库查询后，您可以在右侧单击 图标，插入元素并配置元素属性，即可根据实际业务诉求开展数据分析。
由于公开数据集项目支持按Schema存储，未开启租户级别Schema语法的用户无法在DataWorks数据分析提供的公开数据集中直接查看，但您依旧可以通过我们提供的SQL语句进行查询。详细表信息 公开项目BIGDATA_PUBLIC_DATASET各Schema中的表详细...
在 数据集 管理页面，找到需要使用的目标数据集，并根据后续业务需要，创建对应的数据分析方式，支持选择仪表板、数据大屏、电子表格、即席分析、自助取数及数据准备。在 申请权限 弹窗中，选择审批人 并填写 申请理由 后，单击 提交申请。...
基因实体表格介绍 基因数据除测序文件（如FASTQ，BAM等）外，还需要包括临床、样本、实验等相关元数据信息，这些组合在一起，才能形成生物医学多组学的大数据。除使用阿里云对象存储OSS为基因数据文件提供安全、可靠、无限的存储空间外，...
随着项目演进中，人员权限会更新，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点及调整建议。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。但是当项目进入稳定发展的...
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
统一数仓构建：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。基于Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、Hbase、Phoenix组成的旧架构，架构大大简化。数据湖联邦查询：通过外表的方式联邦分析位于Hive、...
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
直接输入问题提问 例如输入“各个订单等级的订单数量的比例是多少”，发送后，系统将返回数据分析结果，并在右侧显示分析过程。若您无需查看分析过程，您可以单击 分析过程已展开 来隐藏分析过程。隐藏后，返回结果仅显示图表。此时，您...
数据存储在对象存储有更低的成本，存算分离更为彻底，按需弹性扩展计算资源，在计算资源组中通过大吞吐量读对象存储数据来满足大数据量的分析需求。此外，还可额外通过加速器来提升性能。在离线混合分析 在离线混合分析将在线和离线分析的...
应用场景 场景描述 预期效果 场景一：授予数据大屏编辑权限 让分析师A（分析师A与资源在同一空间）可以在工作空间下编辑数据大屏。场景二：授予数据大屏的查看权限 让访问者B（访问者B与资源不在同一空间）可以在工作空间下查看数据大屏。...
兼顾性能与可靠性 Delta Table适合TB到PB级别的海量数据管理，即使在极大数据规模下，元数据操作依然快速响应，查询支持分区裁剪、列裁剪、谓词下推，可避免不必要的数据扫描。ACID事务管理：采用乐观并发控制，支持多写入方并发操作，冲突...
功能介绍 随着实时、近实时数据分析需求的持续增长，查询响应时间在现代数据分析和业务应用中变得越来越重要。MaxQA（Max Compute Q uery A ccelerator 2.0，原MCQA2.0）是阿里云MaxCompute为更好地服务这些需求而推出的查询加速解决方案。...
越来越多的企业大数据分析已不再局限于传统的T+1场景，对数据的实时性分析和处理提出了更高要求。传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大数据...
使用数据集市 完成数据集市的创建后，后续您可以在以下模块引用数据集市：在 维度建模 面向具体业务数据分析创建应用表时，关联该数据集市。在 数据指标 中，为每个数据集市创建用于衡量业务属性的 派生指标 和 复合指标。主题域 主题域...
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin共享模式（全托管版）全托管又称公共云多租户...
分布式数据库是发展方向 近年来，随着互联网、大数据的飞速发展，特别是“双十一”指数型的成交总额发展曲线，让世界看到了中国电子商务业务的火箭式发展势头。而同时，对于背后的业务支撑系统来说，同样经历了火箭式的系统压力增长。以...
安全性 OceanBase 数据库在调研了大量企业对于数据库软件的安全需求，并参考了各种安全标准之后，实现了企业需要的绝大部分安全功能，支持完备的权限与角色体系，支持 SSL、数据透明加密、审计、Label Security、IP 白名单等功能，并通过了...
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
智能商业分析 Quick BI是一个专为云上用户量身打造的新一代智能BI服务平台。Quick BI可以提供海量数据实时在线分析服务，支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。
您可以在数据集列表中选择特定数据集进行数据预览，从而更加精准地定位所需的数据集。本文为您介绍如何查看数据集预览页并进行相关操作。使用限制 最多支持预览前100行数据集。数据集预览页不支持查询数据的导出，如需导出查询结果，可以...
DataV-Note的智能分析功能，可根据您输入的自然语言匹配相应算法，一键分析数据、输出分析思路、分析过程，并生成分析报告，大幅缩短数据分析的时间，节省人力资源。本文为您介绍智能分析的相关功能及操作。注意事项 智能分析是系统根据您...
结合阿里云海量的存储计算资源、连通测序上下游的用户网络、以及数据和应用的生态合作伙伴，基因分析平台广泛用于基因组学数据从样本到报告的分析全过程，可以作为不同应用系统计算底座，全方位满足基因组学科学研究和临床应用的需要。...
ACU时包 2023年2月 V3.1.6.4 类别 名称 说明 相关文档 新增 ROARING BITMAP函数 ROARING BITMAP是一种高效的BITMAP压缩算法，被广泛应用在各种语言和各种大数据平台，常用于去重、标签筛选、时间序列等计算中。圈人函数（Roaring Bitmap）...
背景信息 随着大数据时代的到来，数据分析已成为企业决策不可或缺的一环。然而，传统的数据分析一般需要专业的技术人员使用复杂的工具进行操作，这使得非技术人员难以直接参与。阿里云百炼+DMS MCP 构建的ChatBI数据助手可以解决上述问题。...
本文介绍DMS数据分析的基本概念、设计理念和主要应用场景。背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘...
在线用户基数大，日志数据规模大，需要高吞吐低成本的处理平台。GM需要对原始数据进行核对，另外还有一些即时数据分析需求。需要同时支持在线型和离线型业务场景。解决方案 云数据库Lindorm能适应业务的快速变化，支持灵活的Schema，动态列...
案例四：自动驾驶企业 用户为自动驾驶领域企业，需要基于车采数据进行地理位置和时序的采集数据分析，要求对JSON格式的友好兼容和时空数据的分析能力，构建业务看板并支持特征工程。建议：使用 AnalyticDB PostgreSQL版 存储弹性模式，实例...
DataWorks的数据血缘功能支持可视化展示敏感数据的血缘关系，自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段，帮助您梳理敏感数据的扩散情况及影响面，提高数据识别效率。本文为您介绍如何查看血缘关系图。背景信息 数据血缘...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...