本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务，加工后用于报表分析...
当您需要将某个Prometheus实例的数据导出，进行自定义业务处理时，可以使用Prometheus数据投递功能，将Prometheus实例数据投递至大数据计算服务MaxCompute处理。MaxCompute能帮助您结合其他的数据源执行大数据计算服务，加工后用于报表分析...
开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，...
数据业务属性及重要程度如何？是否做了相应的分级分类？说明 此处的资产不单单局限于结构化、非结构化数据资产，还包括硬件资产、IAAS/PAAS/SAAS、甚至人员资产，因为任意一个资产被攻破，都会导致企业关键信息被侵害。这些资产存在哪些...
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
大数据仓库功能特点：高效整合金融企业内外部数据，对数据进行多维加工和深度分析。赋能金融企业挖掘数据背后的业务价值并进行数据驱动的业务创新。采用逻辑分层的方式加工和重构数据，有针对性地进行数据输出。大数据仓库充分利用了阿里云...
本文介绍如何通过编写代码的方式，离线导入大数据量到 PolarDB-X 1.0 数据库。背景信息 假设当前数据库有一个表需要导入到 PolarDB-X 1.0 数据库中，数据量大致为814万，表结构如下。CREATE TABLE `post`(`postingType` int NOT NULL,`id` ...
本文介绍如何在不同大数据分析平台中接入 云原生内存数据库Tair。常见大数据分析平台集成 Tair 的方法如下：大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair 完全兼容Redis，您可以参考该文档配置 Tair 实例信息，但...
用户画像数据具有如下特征：数据量大、高并发读写、明细数据需要归档、大数据量回流、有动态列需求、查询种类多而且复杂。方案总览 作为面向大数据场景的半结构化、结构化存储系统，Lindorm可以很好的满足用户画像：没有强事务要求，大数据...
方案介绍 基于MaxCompute进行大数据BI分析的流程如下：通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB MySQL。通过Quick BI可视化建立用户画像。方案...
——亿海蓝CTO 客户简介 亿海蓝是中国的航运大数据公司，做为中国最大的AIS数据服务运营商，发展目标是通过大数据技术推动全球航运物流与互联网的融合，加速航运产业转型升级。亿海蓝目前已为全球上百万行业用户提供数据服务，客户涵盖港口...
在左侧导航栏，单击 数据大盘>数据概览。您可以在 数据概览 页面查看集群数、分组数等基本信息，以及使用率汇总、集群磁盘信息、集群网络带宽使用等趋势图。查看操作日志 在左侧导航栏，单击 数据大盘>操作日志。您可以在 事件查询 页签，...
权限管理员可以为数据大屏资源授予编辑和查看数据大屏的权限。背景信息 权限管理员授予用户权限时，在协同状态和私密状态下的权限属性有所不同，见下图。其中，协同权限之间存在以下关系：编辑权限：当用户拥有 编辑 权限时，支持编辑和...
问题描述 Quick BI的数据集是否会区分数据的大小写？解决方案 数据集默认不区分数据大小写。当数据集开启Quick引擎后是区分大小写的。适用于 Quick BI 公共云专业版4.4.1版本
本文主要为您介绍如何选择大屏的主题模板，并进行数据大屏的基础操作。前提条件 已登录Quick BI控制台，进入数据大屏页面。调整页面样式 调整大屏尺寸 设置全局样式 设置全局滤镜 设置页面轮播 配置图层组 画布中的1个元素为1个图层，本节...
大盘数据页面用于方便用户查看版本发布数的统计和设备活跃情况的图表。版本发布数统计 按照周为单位进行统计 可联网设备活跃情况 支持按照系统版本号和机型查看，支持查看日活、月活和40天不活跃的设备数变化情况。注意：起止时间最多支持...
问题描述 Quick BI新建的数据大屏无法发布，找不到发布按钮。问题原因 试用用户不支持发布数据大屏。解决方案 需要购买产品后才可以看到发布按钮，才可以发布创建的数据大屏。适用于 Quick BI 公共云4.4.2版本验证
概述 Quick BI数据大屏加载慢的优化方法。详细信息 对大屏进行分页，每个大屏不要放过多的图表，使用类似幻灯片的展示形式。使用轮播组或者弹窗，对首屏不需要展示的图表进行滞后展示。如果有很多图片视频素材，对图片和视频进行压缩，...
执行以下命令，查询一张表的总大小（单位为MB，包含表的索引和
数据）：select pg_size_pretty(pg_total_relation_size('<schemaname>.<tablename>'));执行以下命令，查询表的
数据大小（单位MB，不包括索引）：select pg_size_pretty(pg_...
KingbaseES数据源为您提供读取和写入KingbaseES双向通道...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与数据源的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1024
概述 本文档提供数据库数据量很大超过千万日增数据量的场景下，Quick BI报表加载很慢，超过十几分钟都加载不出来的问题的解决方案和思路。问题描述 客户的数据分析基本都是基于上千万条的数据量，有的可能过亿，日增也是百万以上。对于这样...
将数据同步节点和ODPS SQL节点连线配置成依赖关系，ODPS SQL节点作为数据的产出节点，数据同步节点作为数据的导出节点。工作流调度配置完成后（可以直接使用默认配置），单击 运行。数据同步的运行日志，如下所示。2016-12-17 23:43:46.394...
本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点，并进行大数据基准性能测试。应用范围 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...
随着人工智能的发展，许多业务和数据分析可以基于大语言模型（LLM）进行广泛的应用，而数据处理是LLM开发尤为重要的一环，数据质量的好坏直接影响大模型训练、推理的最终效果。相较于昂贵的GPU资源，MaxCompute的海量弹性CPU资源能够成为...
背景信息 大型活动期间，公司业务量可能出现大幅度上涨，数据库的使用与数据安全管理将面临巨大挑战。例如如下场景：临近双十一，数据库即将面临一次访问流量上的大考。筹备业务大促期间，您可评估您现有数据库的使用情况，预估活动期间的...
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
MAS SDK log数据包大小 最大 6KB 最小 550B
概述 本文主要介绍不显示数据值，以图形大小来表示数据的大小的方法。详细信息 如何实现不显示数据值，以图形大小来表示数据的大小呢？此处以交叉表为例，方法如下：点击交叉表，在样式-功能型配置中选则需要修改的度量，并勾选自定义样式...
每个searcher是这样的，拿到结果后取100万进行粗排计算，然后排序再取200个结果进行精排计算，然后再...数据量大的情况下会随机抽取部分进行排序，根据统计排序情况进行预估，所以统计值不是一个精确值。如问题还未解决,请联系 售后技术支持。
通过DTS迁移MongoDB数据后，您可能会发现目标实例与源实例上的数据量有所变化。本文将介绍排查数据量不一致的方法。排查思路与方法 迁移完成后，如发现源实例和目标实例的数据量存在差异，您可以依次排查以下项：表内文档条数是否一致。...
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
每个searcher是这样的，拿到结果后取100万进行粗排计算，然后排序再取200个结果进行精排计算，然后再...数据量大的情况下会随机抽取部分进行排序，根据统计排序情况进行预估，所以统计值不是一个精确值。如问题还未解决,请联系 售后技术支持。
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...