DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
DataWorks可以基于用户访问数据的行为进行安全风险检测，您可以根据业务场景的安全需求启用相应的检测项。您也可以在 安全态势 安全风险 中自定义安全风险检测项，完成风险监测规则配置后，即可单击 提交 正式开启并初始化 数据识别任务。...
MaxCompute提供了数据保护机制，支持对数据流出行为进行控制，为项目数据的安全性提供保障。本文为您介绍MaxCompute的数据保护机制以及开启数据保护机制后数据的流出策略。背景信息 部分公司对数据安全非常敏感，例如，只允许员工在公司...
掌握数据资产中的敏感数据能够帮助正确管理相应资产的访问权限、数据脱敏和数据访问行为审计等，从而提升数据安全性。功能介绍 数据分类分级是DataWorks安全中心所有数据保护能力的 基础和起点。它的核心目标是帮助您 自动发现和标记 散落...
行为关系通过具体的行为定义实体之间的关系，如 用户购买商品 通过 购买 这个行为描述了 用户 主体和 商品 对象这两个实体之间的关系，定义好的行为关系可以用于开发行为统计、行为偏好以及规则组合类型的标签。本文将指导您如何新增行为...
行为关系通过具体的行为定义实体之间的关系，如 用户购买商品 通过 购买 这个行为描述了 用户 主体和 商品 对象这两个实体之间的关系，定义好的行为关系可以用于开发行为统计、行为偏好以及规则组合类型的标签，或者直接用于圈选群组。...
审批下载：支持您通过设置 风险识别规则 来识别下载数据操作行为中的风险。下载数据时，需提交下载审批申请，以确保数据使用的合规性和安全性。说明 仅DataWorks 企业版 支持设置并开启风险识别规则。免审批下载：默认为免审批下载，在下载...
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
具体的业务场景如下所示：OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的...
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
当您需要将Kafka数据写入 云原生数据仓库AnalyticDB PostgreSQL版，且不希望使用其他数据集成工具时，可以通过实时数据消费功能直接消费Kafka数据，减少实时处理组件依赖，提升写入吞吐。Apache Kafka是一个容错、低延迟、分布式的发布-...
审批下载：支持您通过设置 风险识别规则 来识别下载数据操作行为中的风险。下载数据时，需提交下载审批申请，以确保数据使用的合规性和安全性。说明 仅DataWorks 企业版 支持设置并开启风险识别规则。免审批下载：默认为免审批下载，在下载...
数据访问行为说明 MaxCompute支持跨项目查询表，因此，在数据开发（DataStudio）界面可通过指定项目名称的方式，跨项目查询DataWorks工作空间中的生产数据。跨项目访问表的方式及各界面执行所使用的账号说明，请见下表。说明 不同环境创建...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至StarRocks的 ods_user_info_d_starrocks、ods_raw_log_d_starrocks 表。旨在介绍如何通过...
gender 性别 age_range 年龄分段 zodiac 星座 dt 分区字段 HttpFile 文件：user_log.txt 用户网站访问日志数据 一行为一条用户访问记录$remote_addr-$remote_user[$time_local]"$request"$status$body_bytes_sent"$http_referer" "$...
gender 性别 age_range 年龄分段 zodiac 星座 dt 分区字段 HttpFile 文件：user_log.txt 用户网站访问日志数据 一行为一条用户访问记录$remote_addr-$remote_user[$time_local]"$request"$status$body_bytes_sent"$http_referer" "$...
场景介绍 本教程通过买卖双方的交易行为，介绍电商下单业务流程的完整生命周期。①买家选择商品规格，与卖家约定销售商品的价格、支付方式、等待买家支付定金。②买家支付定金后，即创建了一个订单。③卖家根据买家的所需商品安排物流进行...
场景介绍 本教程通过买卖双方的交易行为，介绍电商下单业务流程的完整生命周期。①买家选择商品规格，与卖家约定销售商品的价格、支付方式、等待买家支付定金。②买家支付定金后，即创建了一个订单。③卖家根据买家的所需商品安排物流进行...
数据集 本数据源由天池大赛提供，根据时间将其分为4月份和5月份的购买行为数据和6月份的购买行为数据，具体字段如下。字段名 含义 类型 描述 user_id 用户编号 STRING 购物的用户ID。item_id 物品编号 STRING 被购买物品的编号。active_...
场景实践：批量处理多业务线分区表数据 本示例展示如何使用 赋值节点 和 for-each 节点 批量处理多个业务线的用户行为数据，实现一套处理逻辑服务多条产品线的自动化数据处理。业务背景 假设您是一家综合性互联网公司的数据开发工程师，...
download 下载-read 阅读-tip 打赏 behaviorEnabled Boolean 是否使用行为数据默认 true，部分模型支持不使用行为数据 behaviorFromGroupName String 使用另一个应用的行为数据源默认使用当前应用的行为数据 cron String 定时训练的cron...
behaviorEnabled Boolean 是否使用行为数据默认 true，部分模型支持不使用行为数据。behaviorFromGroupName String 使用另一个应用的行为数据源默认使用当前应用的行为数据。cron String 定时训练的cron表达式参考：Linux crontab定时规则...
以新闻行业为例，oss下载链接：行为数据，item数据，user数据 安装MaxCompute客户端 1、后面建表，上传数据都需要使用客户端。2、MaxCompute客户端官网文档介绍：使用客户端（odpscmd）连接。3、智能推荐帮助文档，MaxCompute授权子账户的...
场景实践：批量处理多业务线分区表数据 本示例展示如何使用 赋值节点 和 for-each 节点 批量处理多个业务线的用户行为数据，实现一套处理逻辑服务多条产品线的自动化数据处理。业务背景 假设您是一家综合性互联网公司的数据开发工程师，...
静态数据 飞猪推荐数据集 本数据集是飞猪平台用户脱敏行为数据，其中包括用户的基本属性和商品基本属性的脱敏信息。可以从用户和用户群体的行为数据中对当前用户的兴趣进行分析、预测、推荐。静态数据 亚运会奖牌数据集 本数据集包含了从...
零售电子商务行业模型模板已经导入业务过程，如下图所示，以“订单支付”为例，英文缩写为“order_pay，归属于交易域，包含了消费者和商家之间的订单支付相关行为数据。我们再查看数据域“交易域”，可以看到已关联的业务过程“加购、订单...
数据查询体验 本教程中使用 阿里电商数据集（bigdata_public_dataset.commerce.commerce_ali_e_commerce），该数据集来源于 天池阿里移动推荐算法挑战赛，拥有100万条脱敏后的行为数据（包括点击、购买、加购、喜欢）。说明 DataWorks为您...
教程（点击链接快速体验）涉及产品 涉及模块 DataWorks版本要求 教程描述 网站用户行为分析 DataWorks MaxCompute MYSQL（无须开通）OSS（无须开通）数据集成 数据开发 基础版（0元开通即可体验）揭秘用户行为，驱动业务增长！该案例将通过...
一、完成行为数据采集 搭建推荐服务，一方面依赖用户、物料（待推荐内容）特征的丰富，另一方面依赖用户的行为。我们建议您在对接推荐服务之前，检查是否已经具备最基础的埋点数据，埋点数据至少需包括发生在推荐页的曝光、点击、消费（加...
说明 在V3中，不导入数据表，而是直接从数据表创建用户标签数据集、RFM模型、AIPL模型、行为数据集等。模型管理：支持标签模型、RFM模型（从订单明细表或订单汇总表创建）、AIPL模型（从用户行为表创建）。用户分析：支持通过标签透视分析...
主题域：将数据集市按照分析视角进行主题划分，如商品分析域、用户行为域等，一个数据集市下可以有多个主题域。技术视角规划 DataWorks默认预置业界通用的五层数仓（ODS、DIM、DWD、DWS、ADS）分层，基本满足数仓开发需求，您也可以结合...
背景信息 事件（Event）代表了用户的某个或一系列有意义的行为，比如游戏App的下载、注册、登录等，通过分析用户的各项行为数据还原用户真实的使用过程，从而提升产品转化率，助力业务增长。常见的用户行为分析包括事件分析、漏斗分析、...
MaxCompute 数据分析 Github实时数据同步与分析 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从...
MaxCompute 数据分析 Github实时数据同步与分析 本教程基于GitHub Archive公开数据集，通过DataWorks将GitHub中的项目、行为等20多种事件类型数据实时采集至Hologres进行分析，同时使用DataV内置模板，快速搭建实时可视化数据大屏，从...
根据用户的行为数据进行画像分析，推出千人千面精准营销方案，需要对海量数据进行存储与分析，成本问题日益突出。大Key和热Key带来稳定性隐患 在使用Redis的过程中，由于业务规划不足、无效数据堆积，或者访问量突增均有可能会带来令人头疼...
新增支持瓴羊One·分析数据源，帮助商家在Quick BI上接入各电商平台的数据，以进行专题分析。ClickHouse企业版集群支持VPC数据源。MaxCompute支持MaxQA，提升查询性能。数据集 数据集新增预览页，支持在数据集列表中选择数据集进行数据预览...
如您的应用埋点逻辑暂时不支持获取到曝光数据或无法回传traceinfo数据，我们也提供了可由AIRec自行处理，不需要您来上传数据的功能，曝光数据与trace_info数据可分别进行设置：对曝光行为数据特殊处理：曝光行为数据是指：“推荐的商品在...
如何使用 您可以通过如下步骤进行使用，具体如何操作可以参考最佳实践：快速启动AIRec冷启动版 步骤 说明 参考文档 1 历史数据准备 圈选20活跃用户，上传过去6个月行为数据 以及自有用户特征，关联的物品特征 数据规范：冷启动版数据规范 ...
业务分类、数据域与数据集市构成业务驱动的管理框架，通过划分数据归属领域（业务分类）、定义核心业务活动（数据域）、组织场景化数据服务（数据集市），实现从数据生产到消费的价值闭环。本文介绍 业务分类、数据域、业务过程、数据集市 ...
互动课堂在集成电商的情况下，增加了以下互动行为：角色 互动行为 商品运营 直播前，在后台设置商品信息 直播时，在教师需要上链接时，商品运营可在后台请求下发商品卡片，AppServer 通过 IMServer 向学员下发信令，信令的数据部分包含商品...