基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里云最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本：20210207 文档版本：20150122（发布日期）II...
大数据workshop
大数据workshop
详见 https://www.aliyun.com/product/ram ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处理能力 可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低 IT成本，使您更专注于核心业务创新。详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详见https://www.aliyun.com/product/ram ECS：云服务器ECS（ElasticComputeService）是一种简单高效、处理能力可 弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低IT 成本，使您更专注于核心业务创新。详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
首选在云服务器执行命令获取 IP地址 cat/usr/local/ilogtail/app_info.json 配置项 说明 机器组名称 demo-log-group 机器组标识 IP地址*IP地址 在云服务器执行命令 cat/usr/local/ilogtail/app_info.json 获取 IP地址 文档版本：20211203 15 SLS多云日志采集、处理及分析 Logtail日志采集处理分析*注：1.由于本实践仅有一台...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
应用场景 跨境对象存储数据传输需求 对跨境传输成本控制严苛 能接受一定程度网络抖动带来的文件同 步延迟 系统需要有足够的弹性和扩展性应对大 产品列表 规模文件的写入 云服务器 ECS 对象存储 OSS 专有网络 VPC 函数工作流 Serverless Workflow 日志服务 SLS 函数计算 FC 阿里云最佳实践分享群 最佳实践频道 如二维码过期...
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展，更多的企业会使用云计算，且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构（RI）和存储容量单位包（SCU）可以帮助客户灵活的节省成本。 本文提供全链路使用实践，帮助客户快速验证云上服务，更合理 的使用RI/SCU。借助覆盖率指标和智能推荐，有效管理云上资 源成本。 用户价值 使用RI 和SCU，可以灵活抵扣相关资源。随时创建释放， 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务，跨服务高 度灵活，无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘，简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
最佳实践频道 阿里云最佳实践分享群 产品列表 专有网络 VPC、容器服务 Kubernetes版 ACK、云服务器 ECS、预留实例券 RI、存储容量单位包 SCU 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 RI和SCU全链路使用实践 文档版本：20200608（发布日期）文档版本：...
企业应用（酒店PMS）混合云组网最佳实践
酒店上云是分阶段实施，线下和云上的混合云是长期 状态，需要保证线下多地域多分支、云上多地域之间 互相访问，且需要满足不同类型的企业节点的服务要 求，比如总部 IDC 要求带宽大，对安全可靠性要求 高等。
部署架构 产品列表 智能接入网关 SAG 负载均衡 CLB 云服务器 ECS 云企业网 CEN 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业应用（酒店 PMS）混合云组网最佳实践 文档版本：20220520（发布日期）文档版本：20220520 2 企业应用（酒店 PMS）...
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例，介绍阿里云EHPC分子动力学最佳实践。
使用 ECS弹性伸缩组构建集群弹性 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 云速搭 CADT 云服务器 ECS GPU云服务器 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 EHPC分子动力学 最佳实践 文档版本：20211115（发布日期）文档版本：20150122（发布日期）II...
组建多可用区多地域的混合云
场景描述 无特定行业属性，对云下有IDC的用户，上云建 立多地域多可用区高稳定性的业务架构，组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式，但成本 较高，交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC，CEN，高速通道（专线），SLB，ECS
云服务器 ECS上的应用服务部署.7 2.SLB负载均衡配置.10 2.1.配置SLB监听与健康检查(可选).10 3.创建北京地域专线 VBR并配置BGP路由.14 3.1.物理专线配置前的线下施工环节.14 3.2.创建第一条专线接口的 VBR-1.15 3.3.配置第一条专线与 IDC互联的 BGP组.16 3.4.创建第一条专线的 BGP邻居.17 3.5.创建第二条专线的 VBR-2,BGP组...
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控，自动化操作，自修复等特点充分满足了企业的需求，越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代，自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力，所以上云成了一些企业的选择，将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理，企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK；本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
4 文档版本：20200525 自建 K8S迁移镜像、应用至阿里云 ACK 左侧菜单选择>弹性计算>云服务器 ECS；存储服务>对象存储 OSS 拖拽至右 侧面版，后双击 ECS和 OSS图标进行资源配置 5 文档版本：20200525 自建 K8S迁移镜像、应用至阿里云 ACK 完成所有资源的配置后，点击右上角“保存”按钮，然后选择部署>“部署验证”。6 文档...
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 虚拟桌面架构的高性能体验云上部署 产品版本：V1.1.0（软件版本）文档版本：20191224（发布日期）企业上云实践 虚拟桌面架构的高性能体验云上部署|文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 虚拟桌面架构的高性能体验云上...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
改进已经错误使用 AK的方法 demo架构图：产品列表 访问控制 RAM 云服务器 ECS 操作审计 Action Trail 云安全中心 最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 AK防泄漏 最佳实践 文档版本：20220211 文档版本：...
EHPC混合云渲染
介绍在混合云环境下，利用E-HPC及其文件缓存机制，无缝读取线下存储中的项目资产，免去复杂繁琐的文件同步问题；充分利用云上资源弹性、按使用付费的优势，构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
最佳实践频道 产品列表 云服务器 ECS GPU云服务器 GPU 高性能计算 EHPC 专有网络 VPC 云企业网 CEN 弹性公网 IP EIP 访问控制 RAM 阿里云最佳实践分享群 文件存储 NAS 如二维码过期，请搜索群号：31852400 文档版本：20191129 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 E-HPC混合云...
云速搭部署SLS实现日志采集处理分析
通过云速搭部署ECS+SLS，在ECS上安装logtail收集Nginx应用日志写入SLS。通过日志生成器模拟Nginx日志生成，并通过SLS进行日志分析。
首选在云服务器执行命令获取 IP地址 cat/usr/local/ilogtail/app_info.json 配置项 说明 机器组名称 demo-log-group 机器组标识 IP地址*IP地址 在云服务器执行命令 cat/usr/local/ilogtail/app_info.json 获取 IP地址 文档版本：20211203 20 云速搭部署 SLS实现日志采集处理分析 Logtail日志采集处理分析*注：1.由于本实践...
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构，某可用区挂掉后，不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB，RDS，Redis等产品，实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB，RDS，REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
解决问题 利用容器服务 ACK搭建跨可用区高可用 产品列表 的应用 容器服务 ACK 容器服务 ACK结合 SLB，RDS，REDIS构 RDS for Mysql版 建高可用应用 云数据库 Redis 版 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 容器跨...
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
负载均衡SLB 文档版本：20191122 云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 弹性计算OOS审批流程自动化运维 最佳实践 文档版本：20150122（发布日期）2 弹性计算OOS审批流程自动化运维 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 弹性计算OOS审批流程自动化运维最佳实践...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 数据库快速搭建疫情分析系统 最佳实践 文档版本：20210725 文档版本：20150122（发布日期）II 阿里云数据库快速搭建疫情分析系统最佳实践 文档版本信息 文档版本信息 文本信息 ...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
同时支持 AI计算与图形图像计算 产品列表 部署架构 云服务器 ECS 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 轻量级GPU部署云游戏 最佳实践 文档版本：20220211 文档版本：20220211 II 轻量级 GPU部署云游戏 文档版本信息 文档版本信息 文本信息 ...
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
产品列表 云服务器 ECS 专有网络 VPC 云监控 阿里云最佳实践分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 Z'z 文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 云服务器基准性能测试 最佳实践 文档版本：20220218 文档版本：20150122（发布日期）II 云服务器基准性能测试 文档版本信息 文档版本信息 ...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/developerservices/cadt ECS：云服务器ECS（ElasticComputeService）是一种简单高效、处理能力可 弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低IT 成本，使您更专注于核心业务创新。详见：https://www.aliyun.com/product/ecs 云数据库RDSMySQL版：云...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
- 产品推荐
- 这些文档可能帮助您