您可根据业务场景为实时任务的离线模式配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置实时模式的运行配置。操作步骤 在Dataphin...
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
安全设置是您可以对数据安全及访问进行精细化控制、对SPARK Batch任务（Spark Jar、PySpark）的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和SPARK Batch任务（Spark Jar、PySpark）。前提条件 需购买...
版本升级说明 Dataphin版本升级分为停机升级（即老版本的停机升级流程）、半停机升级（即新版本的停机升级流程）和不停机升级，不同升级模式的差异点如下。详细升级步骤及说明请参见 停机升级Dataphin、不停机升级Dataphin。差异点 半停机...
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
安全设置是您可以对数据安全及访问进行精细化控制、对SPARK Batch任务（Spark Jar、PySpark）的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和SPARK Batch任务（Spark Jar、PySpark）。前提条件 需购买...
本文为您介绍如何配置流批一体任务的离线模式依赖关系。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务节点运行完成且运行成功，下游任务节点才会开始运行。配置调度依赖后，可以保障调度任务在运行时能取到正确的...
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
Fusioninsight Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本信息。本文为您介绍如何配置流批一体任务实时模式的资源配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 ...
Fusioninsight Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本信息。本文为您如何配置流批一体任务离线模式的资源配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面...
在 配置 面板中单击 离线模式 页签，在 调度配置 区域配置相关参数信息。参数 描述 时间属性 选择 时间属性。时间属性 包括：正常调度：按照调度周期的时间配置调度，并正常执行，通常任务默认选中该项。空跑调度：按照调度周期的时间配置...
功能概述 为了更好地满足业务诉求，Dataphin支持创建Dev-Prod模式或Basic模式的数据板块。Dev-Prod模式：生成相互隔离的Dev环境和Prod环境，加强保障Prod环境的数据安全。如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算...
功能概述 为了更好地满足业务诉求，Dataphin支持创建Dev-Prod模式或Basic模式的数据板块。Dev-Prod模式：生成相互隔离的Dev环境和Prod环境，加强保障Prod环境的数据安全。如果您管理诉求较强，数据研发人员较多且能力及分工明确，数据计算...
在 配置 面板中单击 离线模式 页签，在 调度配置 区域配置相关参数信息。参数 描述 时间属性 选择 时间属性。时间属性 包括：正常调度：按照调度周期的时间配置调度，并正常执行，通常任务默认选中该项。空跑调度：按照调度周期的时间配置...
开源Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager Slots、Job Manager Memory、Task Manager Memory等。本文为您介绍如何配置流批一体任务离线模式的资源配置。...
资源统计 当前售卖资源的使用情况及购买的售卖规格说明，便于您根据业务情况及时做出业务决策，详情请参见 查看资源使用情况-半托管。已购规格 单击跳转至控制台主页查看当前实例所购买地域已开通的产品功能及可分配资源说明。到期时间 可...
开源Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager Slots、Job Manager Momory、Task Manager Momory等。本文为您介绍如何配置流批一体任务实时模式的资源配置。...
重要 Basic模式不支持升级为Dev-Prod模式，且Basic模式存在直接变更生产风险，请您谨慎选择。如果选择了Basic模式，请您谨慎管理项目成员，以控制数据生产的稳定性。在 新建项目 对话框中，配置参数。Dev-Prod模式 和 Basic模式 需要配置的...
脚本模式组件用于配置系统组件不支持的配置项，以满足业务场景。操作步骤 在Dataphin首页顶部菜单栏，选择 研发 数据集成。在集成页面顶部菜单栏选择 项目（Dev-Prod模式需要选择环境）。在左侧导航栏中单击 离线集成，在 离线集成 列表中...
权限说明 Dataphin半托管实例涉及的资源均通过ROS自动初始化，操作者需具备ROS升级操作权限。Kubernetes集群的日常运维需要只读权限，升级时需要变更权限。若RDS实例涉及数据库变更的场景（如升级、数据订正）时，需要执行数据库备份的权限...
重要 Basic模式不支持升级为Dev-Prod模式，且Basic模式存在直接变更生产风险，请您谨慎选择。如果选择了Basic模式，请您谨慎管理项目成员，以控制数据生产的稳定性。在 新建项目 对话框中，配置参数。Dev-Prod模式 和 Basic模式 需要配置的...
在调用API时，需申请代理模式权限，应用才能代理用户调用关联了行级权限的API，更多API调用的直连模式和代理模式说明，请参见 API调用/测试直连模式和代理模式说明。有效期 系统支持选择 30天，90天，180天 和 长期，您也可以选中自定义后...
在 调用日志 页面，您可查看Request ID/Job ID、API名称、调用模式、应用名称、运行环境、所属服务项目、调用结果、请求开始时间、请求结束时间、调用时长、执行时长（仅异步调用模式展示此数据）、访问来源IP信息。Request ID/Job ID：当...
Dataphin支持通过直连数据源模式、逻辑表API-SQL模式、逻辑表API-向导模式、注册API和组合API五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连...
脚本模式组件用于配置系统组件不支持的配置项，以满足业务场景。操作步骤 在Dataphin首页顶部菜单栏，选择 研发 数据集成。在集成页面顶部菜单栏选择 项目（Dev-Prod模式需要选择环境）。在左侧导航栏中单击 离线集成，在 离线集成 列表中...
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 运行参数 区域，配置任务实时模式的 运行参数 信息。不同计算引擎的实时模式运行参数操作路径相同，下图以配置Ververica Flink计算引擎的实时任务运行...
Dataphin支持通过直连数据源模式、服务单元API（SQL模式、向导模式）、逻辑表API（SQL模式、向导模式）、注册API和组合API五种方式创建API，不同任务对应不同的用途，本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过...
本文为您介绍如何查看项目的资产详情。项目详情入口 在Dataphin首页，单击顶部菜单栏的 治理 资产清单。单击 项目 页签，选择目标项目，单击项目的名称或 操作 列下的 图标，进入...项目模式：当前项目的模式，包括Basic模式、Dev-Prod模式。
背景信息 阿里云实时计算Blink版独享/共享集群（原产品线）支持共享模式和独享模式两种产品模式。独享模式是基于共享模式的补充，具备更加丰富的功能。更多关于Blink的内容请参见 实时计算Blink产品公告。操作步骤 在Dataphin首页，单击...
本文为您介绍如何查看项目的资产详情。项目详情入口 在Dataphin首页，单击顶部菜单栏的 治理 资产清单。单击 项目 页签，选择目标项目，单击项目的名称或 操作 列下的 图标，进入...项目模式：当前项目的模式，包括Basic模式、Dev-Prod模式。
本文将为您介绍如何配置任务实时模式的依赖文件。前提条件 任务所依赖的资源文件已上传到Dataphin资源中。具体操作，请参见见 上传资源及引用。操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 依赖...
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认...
Dataphin产品提供了操作的审计日志输出，根据不同的部署模式提供不同的审计日志导出方式。阿里云公共云独立部署模式下，容器服务集成对接了阿里云日志服务（LogService），可通过LogService自动采集和可视化过滤、检索。其他云平台的部署...
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中State 配置 区域，配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时，可选择天、小时、分钟、秒为单位进行设置。若未填写，将默认...
操作步骤 请参见 实时模式配置入口，进入实时任务的 实时模式 配置页面。在配置面板中 Checkpoint配置 区域，配置任务实时模式的 Checkpoint配置 信息。重要 在该处配置Checkpoint并在 运行参数 中填写Checkpoint配置时，将以下逻辑进行...
调用模式：当前API的调用模式，包括同步调用和异步调用。使用信息：包括应用数、调用次数。应用数：当前API已授权的总应用数。调用次数：当前API被调用的次数。变更信息：包括数据更新频率、数据更新时间、最新发布时间。数据更新频率：...
如果您的开发模式是 Dev-Prod模式，任务提交成功后还需前往发布列表，将 任务发布至生产环境。更多信息，请参见 管理发布任务。如果您的开发模式是 Basic模式，则提交成功后的任务，即可参与生产环境的调度。您可以前往运维中心查看您发布...
在 服务单元 页面，您可以查看服务单元的名称、服务单元类型、服务单元分组、数据来源、负责人、模式、运行环境（API个数）、发布信息、权限信息。您可以根据服务单元名称的关键字搜索服务单元，也可快捷筛选 我的服务单元（包括我负责的和...
使用限制 当网络配置为内置网关、阿里云API网关（开启专享实例+SLS模式）时，支持查看 应用调用情况 信息。应用调用的访问趋势分析若选择5分汇总，那么系统会每5分钟进行一次统计，因此会有5分钟的延迟。查看应用调用情况 在Dataphin首页的...
本文为您介绍如何配置实时任务实时模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置变量参数的任务，进入 配置 面板。在配置面板...