X-数据标准：AI驱动自动提取数据标准与码表定义、智能识别标准与字段的映射关系，助力低成本快速开启数据标准建设以提升数据规范化程度，实现精准治理省时省力。X-数据安全：结合数据资产语义与样例数据，智能推荐分类分级；依据特征名称...
加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护敏感数据。Dataphin的敏感数据保护，主要有以下两种方案：脱敏方案 针对敏感数据进行遮盖脱敏和哈希脱敏保护，如将“张三”展示为“张*”，或者通过md5脱敏手机号，可以...
加密后的数据只有拥有密钥权限的用户才能够进行查看，从而更好地保护敏感数据。Dataphin的敏感数据保护，主要有以下两种方案：脱敏方案 针对敏感数据进行遮盖脱敏和哈希脱敏保护，如将“张三”展示为“张*”，或者通过md5脱敏手机号，可以...
本教程中，以A电商公司的营销业务板块为例，在交易主题域中，我们重点分析确认收货（交易成功）的业务过程。在确认收货的业务过程中，维度所依赖的业务角度主要有两个，即商品和收货地点（地域）。本教程中，假设收货和购买是同一个地点。...
表名 且不区分大小写，以标识本节点产出的表，同时其他节点更好地选择调度依赖关系。例如，开发项目名称为 onedata_dev，建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order，则仅限代码 select*from ...
数据服务（OneService）是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛的同时保障了数据开放安全。5分钟快速了解 前提条件 已购买 数据服务 增值服务并且...
表名 且不区分大小写，以标识本节点产出的表，同时其他节点更好地选择调度依赖关系。例如，开发项目名称为 onedata_dev，建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order，则仅限代码 select*from ...
您可以通过Dataphin标签沉淀易开发、好找好用、高价值的核心标签资产。流程引导 使用标签工厂进行离线标签开发及应用的基本使用流程如下。标签规划。在进行标签开发前，您需要完成标签项目和标签架构的规划工作。创建标签项目：标签项目为...
自定义资源组可以设置应用场景，以便更好的管控资源使用范围。应用场景包括 任务日常调度 和 批量运维操作。任务日常调度：任务日常调度的自定义资源组可用于即席查询、临时运行、周期调度等场景，需要配置可使用该资源组的关联项目。批量...
本文将为您介绍API服务、分组、服务单元和应用等基本概念。...网络配置 应用能够成功调用AP的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用调用AP的调用说明。
在公共云SaaS下，Dataphin支持了沙箱...安全沙箱提供以下能力：限制网络请求：禁止用户任务请求敏感服务，如Dataphin内部服务等。限制文件读取：禁止用户任务读写敏感文件，如/etc/hosts等文件等。限制系统命令：禁止如创建用户等敏感命令。
本文将为您介绍API服务、分组、服务单元和应用等基本概念。...网络配置 应用能够成功调用AP的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用调用AP的调用说明。
VPC网络连接：VPC网络是一种虚拟化的私有网络环境，您可以在阿里云VPC私有网络环境中创建虚拟网络、子网、路由表等网络设备，并且可以通过VPN或专线等方式将VPC连接到阿里云的VPC中，构建私有网络环境。适用于对网络安全有较高要求的场景，...
行业场景 面向零售店铺的模型构建与管理 功能场景 数据引入：自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 规范建模：规范定义最佳实践 数据源云网络方案：网络方案概述 公网直连方案 VPN网关ECS反向代理方案 数据开发：...
VPC网络连接：VPC网络是一种虚拟化的私有网络环境，您可以在阿里云VPC私有网络环境中创建虚拟网络、子网、路由表等网络设备，并且可以通过VPN或专线等方式将VPC连接到阿里云的VPC中，构建私有网络环境。适用于对网络安全有较高要求的场景，...
内置的镜像源已添加到网络白名单，无需进行网络白名单设置。单击 连通性测试，测试填写URL地址与Dataphin的连通性。测试成功后，单击 确定，完成镜像源添加。后续步骤 完成镜像源添加后，您可以在Python三方包的Python Module页面进行...
也有可能是Dataphin集群与客户第三方审批系统地址之间的网络不通，此时需解决相关的网络问题。2、对接第三⽅审批系统接⼝相关⽂档 相关文档：自定义审批系统对接接口、审批系统对接第三方审批支持的元数据 在第三方审批系统处理异常场景中...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
渗透性测试 经Dataphin授权，绿盟科技渗透测试小组对产品进行了渗透性测试，通过各种主流的攻击技术对网络、系统做模拟攻击测试，以发现网络、系统中存在的安全漏洞和风险点。渗透测试流程定义为信息收集、渗透测试、本地信息收集、权限...
例如，计算设置中网络连接方式为公网，则此处仅支持选择阿里云VPC网络。连接Endpoint 当 集群所属地域 选择为 其他 时，默认与 管理中心 计算设置 Endpoint 的地址相同，您 需要自行修改。当 集群所属地域 选择为 北京、上海、深圳 或 杭州...
在连通业务数据库与Dataphin间的网络时，您需要将不同网络环境下Dataphin的出网IP地址添加至业务数据库的白名单中。本文为您介绍不同网络环境下Dataphin的出网IP地址。VPC网络下Dataphin的出网IP地址 地域（推荐）通用IP地址 华东2（上海）...
若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP已添加至数据库白名单（或安全组）中，使数据源与Dataphin网络互通。下表为阿里云数据库IP白名单设置的操作指引，您可根据阿里云的产品名称查看对应操作...
客户安全责任 客户应维护基础设置的安全，如物理、硬件、虚拟化、网络、操作系统的安全，当系统内核出现重大安全漏洞时客户需要及时升级系统内核修复漏洞，Datpahin发布新版本修复安全漏洞时，需及时升级Dataphin的安全版本。客户基于...
网络架构 数据库公网直连Dataphin的网络架构如下：操作步骤 步骤一：添加数据源 沙箱 白名单 登录 Dataphin管理控制台。在Dataphin管理控制台，选择工作区地域并单击 进入Dataphin。在Dataphin首页，单击顶部菜单栏 规划。按照以下操作指引...
超级管理员创建了服务项目后，可以添加成员协助开发，您可以将 管理中心 成员管理 的...后续步骤 完成服务项目成员添加并设置成员后，您就可以配置应用访问数据服务的网络，以实现应用与数据服务之间的网络互通。具体操作，请参见 配置网络。
如果网络连通性正常，但仍然无法发送消息，日志中会出现*is invalid,please check it 的提示，这表明消息被nightwatch异常拦截，建议您将Dataphin升级至V5.1.2.04或以上版本。2、版本升级后，所有离线任务监控记录为空。建议您先联系...
使用限制 当网络配置为内置网关、阿里云API网关（开启专享实例+SLS模式）时，支持查看 应用调用情况 信息。应用调用的访问趋势分析若选择5分汇总，那么系统会每5分钟进行一次统计，因此会有5分钟的延迟。查看应用调用情况 在Dataphin首页的...
表来源的数据源所在集群需和Dataphin集群网络互通才能在BI渠道消费对应的表。当Hive数据源为CDH5.x Hive 1.1.0版本、MySQL数据源为MySQL 5.1.43版本时不支持创建Quick BI分析任务。权限说明 超级管理员、运营管理员和拥有 消费-消费渠道...
视频将在您的浏览器中播放，请确保网络畅通。上传视频：单击 上传 按钮，从本地选择需上传的视频。视频支持MP4、AVI、MOV、WMV格式且大小在200M以内。单击 确定，完成视频添加。单击 预览，可在预览页面检查视频是否正常播放，确认无误后，...
使用限制 当网络配置为内置网关、阿里云API网关（开启专享实例+SLS模式）时，您可查看 异常影响APP数、异常影响应用（APP）Top 10、影响APP数 信息。权限说明 超级管理员 支持查看及管理所有数据服务项目的API调用情况。运维用户 支持查看...
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
使用限制 当网络配置为 阿里云API网关 或内置网关 时，日志的requestBody、requestHeader字段最长不超过10240个字符。若调用的API不存在或API的版本不存在，则默认使用同步调用。权限说明 服务项目管理员和运维用户支持查看调用日志。API...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
使用限制 当网络配置为 阿里云API网关 时，日志的requestBody、requestHeader字段最长不超过10240个字符。若调用的API不存在或API的版本不存在，则默认使用同步调用。应用调用日志查询 在Dataphin首页的顶部菜单栏，选择 服务 应用运维。...
使用限制 当网络配置为 阿里云API网关 或内置网关 时，日志的requestBody、requestHeader字段最长不超过10240个字符。若调用的API不存在或API的版本不存在，则默认使用同步调用。应用调用日志查询 在Dataphin首页的顶部菜单栏，选择 服务 ...
网络架构 数据库公网直连Dataphin的网络架构如下：操作步骤 步骤一：添加数据源 沙箱 白名单 登录 Dataphin管理控制台。在Dataphin管理控制台，选择工作区地域并单击 进入Dataphin。在Dataphin首页，单击顶部菜单栏 规划。按照以下操作指引...
使用限制 当网络配置为内置网关、阿里云API网关（开启专享实例+SLS模式）时，您可查看 异常影响APP数、异常影响应用（APP）Top 10、影响APP数 信息。权限说明 超级管理员 支持查看及管理所有数据服务项目的API调用情况。运维用户 支持查看...
超级管理员创建了服务项目后，可以添加成员协助开发，您可以将 管理中心 成员管理 的...后续步骤 完成服务项目成员添加并设置成员后，您就可以配置应用访问数据服务的网络，以实现应用与数据服务之间的网络互通。具体操作，请参见 网络配置。
使用限制 当网络配置为内置网关、阿里云API网关（开启专享实例+SLS模式）时，支持查看 应用调用情况 信息。应用调用的访问趋势分析若选择5分汇总，那么系统会每5分钟进行一次统计，因此会有5分钟的延迟。查看应用调用情况 在Dataphin首页的...
访问方式 支持选择 公网IP 或 VPC网络。公网IP：本地自建数据库授权，需要开放访问，并授权权限。VPC网络：区域：数据库 所在Region。仅支持Dataphin实例相同区域的数据库。如您的Dataphin实例位于华东2（上海），仅支持选择华东2（上海）...