基于DataWorks的大数据一站式开发及数据治理
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发,包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS,使用Hive进行数据分析。通过Dataworks进行数据治理,数据地图查看数据信息和血缘关系,数据质量监控异常和报警。 适用场景  日志采集、处理及分析  日志使用Flink实时写入HDFS  日志数据实时ETL  日志HIVE分析  基于dataworks一站式开发  数据治理 方案优势  大数据一站式开发,完善的数据治理能力。  性能优越:高吞吐,高扩展性。  安全稳定:Exactly-Once,故障自动恢复,资源隔离。  简单易用:SQL语言,在线开发,全面支持UDX。  功能强大:支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ,以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里云最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本:20210207 文档版本:20150122(发布日期)II...
来自: 最佳实践 相关产品:块存储,云服务器ECS,E-MapReduce,DataWorks,实时计算,云速搭
大数据workshop
大数据workshop
大数据workshop
详见 https://www.aliyun.com/product/ram ECS云服务器 ECS(Elastic Compute Service)是一种简单高效、处理能力 可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用,提升运维效率,降低 IT成本,使您更专注于核心业务创新。详见:https://www.aliyun.com/product/ecs DataHub:数据总线(DataHub)服务是阿里云提供的...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
RAM用户集成企业AD FS身份认证
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS,使用企 业AD对员工的身份认证及管理功能,配置RAM 用户与AD用户的映射关系,实现企业员工使用企 业AD域账号以单点登录(SSO)的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
产品列表  访问控制 RAM  专有网络 VPC  云服务器 ECS 文档版本:20190828RAM用户集成企业ADFS身份认证 文档版本信息 阿里云 企业上云实践 RAM用户集成企业AD FS身份认证 文档版本:20150122(发布日期)2RAM用户集成企业ADFS身份认证 文档版本信息 文档版本信息 文本信息:属性 内容 文档名称 企业上云实践RAM用户...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,访问控制,云速搭CADT
基于转发路由器构建企业级组网
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控(如Palo Alto) 3. 统一多 VPC 的互联网访问出口,提高业务安全性
统一多 VPC的互联网访问出口,提高业务 场景二:部分 VPC隔离 安全性 产品列表 专有网络 VPC 云企业网 CEN 云服务器 ECS 场景四:统一互联网出口(南北向安全)场景三:服务链(东西向安全)云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 基于转发路由器构建企业级组网 最佳实践 文档版本:20210218 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云企业网
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详见https://www.aliyun.com/product/ram  ECS云服务器ECS(ElasticComputeService)是一种简单高效、处理能力可 弹性伸缩的计算服务。帮助您构建更稳定、安全的应用,提升运维效率,降低IT 成本,使您更专注于核心业务创新。详见:https://www.aliyun.com/product/ecs  DataHub:数据总线(DataHub)服务是阿里云提供...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
上持续审计合规最佳实践
<em>云</em>上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
产品列表 最佳实践频道 阿里云最佳实践技术分享群 操作审计(ActionTrail)配置审计(Config)函数计算(FC)日志服务(SLS)对象存储(OSS)云服务器ECS)数据库(RDS)专有网络(VPC)云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 云上持续审计合规 最佳实践 文档版本:V1.3(2021-07-26)文档...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
上日志集中审计
<em>云</em>上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志,企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志;目前各云产品日志大部分 都进了sls,但都是产品独立的project,不方便集中 审计;客户的业务系统日志各种形态都有;多云和混 合云的场景,日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
产品列表 日志服务 SLS 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 负载均衡 SLB 云服务器 ECS 云数据库 RDS 云防火墙 CFW 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 云上日志集中审计 最佳实践 文档版本:20200630(发布日期)文档版本:20150122(发布日期...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,弹性公网IP,日志服务(SLS)
企业多账号环境下的安全资源统一管控最佳实践
企业多账号环境下的安全资源统一管控最佳实践
某地产公司在上海、杭州设有两个分公司,公司使用阿里云支撑各分公司的 IT 业务系统,这些系统由各分公司独立负责,包括独立负责云上业务账号的创建、员工权限的分配管理、资源的购买、IT 风险的管控、安全管理等。由于公司业务发展较快,各分公司创建了非常多的业务账号来承载新的业务,每个业务账号独立管理,带来了非常大的管理问题。人员权限管理混乱,离职员工在云上的身份梳理不清难以及时清理造成极大的安全隐患;账号权限过大、使用弱密码可能造成账号被盗数据泄露;公司内部缺乏统一的合规基线和安全管控,各业务系统各自为政,数据泄露、业务中断、安全入侵风险升级。 为了提升云上的管控效率和安全性,总公司成立新的信息安全中心和阿里云对接。信息安全中心的定位是统一采购安全产品,集中保障云上资源的安全性。
CFW:阿里云云防火墙(Cloud Firewall)是业界首款公共云环境下的 SaaS化 火墙,可统一管理南北向和东西向的流量,提供流量监控、精准访问控制、实时入 侵防御等功能,全面保护您的网络安全。详见:https://www.aliyun.com/product/cfw 云安全中心:云安全中心是一个实时识别、分析、预警安全威胁的统一安全管理系 统,通过...
来自: 最佳实践 | 相关产品:云安全中心,云防火墙,资源管理,云速搭CADT,云SSO
云速搭部署安全组最佳实践
云速搭部署安全组最佳实践
本实践通过云速搭实现安全组和企业安全组的部署。
已开通以下服务 ᅳ 专有网络 VPC ᅳ 云服务器 ECS 文档版本:20211117 2 云速搭部署安全组 产品介绍 产品介绍 云速搭 CADT:是一款为上云应用提供自助式云架构管理的产品,显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板,同时也支 持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭CADT
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
产品列表 云服务器 ECS GPU云服务器 GPU 批量计算 BCS 专有网络 VPC 弹性公网 IP EIP VPN网关 VPN 文件存储 NAS 阿里云最佳实践技术分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 云端影视渲染 最佳实践 文档版本:20200220 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
有效降低企业上云的整体拥有成本(TCO)产品列表 专用网络 VPC 最佳实践频道 阿里云最佳实践分享群 负载均衡 SLB 弹性公网 IP 专有宿主机 DDH 云数据库专属集群 MyBase 云数据库 MySQL 云数据库 Redis 云服务器 ECS 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 基于DDH+MyBase降本合规 最佳实践 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
容器Swarm集群向ACK集群灰度迁移
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善,越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
迁移进度可把控 产品列表 专有网络 VPC 云数据库 RDS MySQL 容器服务 ACK 云服务器 ECS 文档版本:V1.0 发布日期:20190401 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 容器 Swarm集群 向ACK集群灰度迁移 最佳实践 文档版本:20150122(发布日期)II 容器 Swarm集群向 ACK集群灰度迁移最佳实践 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,容器服务 ACK
利用低成本链路完成业务数据迁移上云
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受,除业务系 统上云外,很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大,迁移上云需要大量的 网络带宽,BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限(移 动/联通/电信均可),可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
业务数据上云网络成本高 产品列表  专有网络VPC  云服务器ECS  网络存储NAS  共享带宽包 文档版本:20191010(发布日期)云服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 利用低成本链路 完成业务数据迁移上云 最佳实践 文档版本:20150122(发布日期)2 利用低成本链路完成业务数据迁移上云 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS
私网CLB监听端口自转发
私网CLB监听端口自转发
通过云速搭实现一个 EIP-CLB->ECS 的简单架构,实现其中 CLB 前端在监听到http 80 端口的请求时,基于一个配置的自转发规则会把请求转发到自己监听的 https 443端口,以确保请求拥有可信的证书,然后转发给后端的 80 或其他端口,后端应用则无需校验证书就能确定收到的请求是可信的。
详见:https://www.aliyun.com/product/vpc 云服务器 ECS云服务器 ECS(Elastic Compute Service)是一种简单高效、处 理能力可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用,提升运维效率,降低 IT 成 本,使 您 更 专 注 于 核 心 业 务 创 新。详见 https://www.aliyun.com/product/ecs 私网 CLB:传统型负载...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云速搭CADT
云速搭CADT部署VMware服务
云速搭CADT部署VMware服务
本方案适用客户云下使用VMware环境,在云上希望继续使用VMware环境,包括业务维护和扩容等,不希望改变云上使用环境。
专用网络 VPC 上云迁移场景:客户不想继续维护本地 云服务器 ECS VMware数据中心,实现整体 VMware数据 云速搭 CADT 中心迁移上云。弹性公网 IP VMware服务 ACVS 云企业网 CEN 最佳实践频道 阿里云最佳实践技术分享群 阿里云 云速搭CADT部署VMware服务 最佳实践 文档版本:20220520(发布日期)云速搭CADT部署VMware服务 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云企业网,云速搭
组建多可用区多地域的混合
组建多可用区多地域的混合<em>云</em>
场景描述 无特定行业属性,对云下有IDC的用户,上云建 立多地域多可用区高稳定性的业务架构,组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式,但成本 较高,交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC,CEN,高速通道(专线),SLB,ECS
云服务器 ECS上的应用服务部署.7 2.SLB负载均衡配置.10 2.1.配置SLB监听与健康检查(可选).10 3.创建北京地域专线 VBR并配置BGP路由.14 3.1.物理专线配置前的线下施工环节.14 3.2.创建第一条专线接口的 VBR-1.15 3.3.配置第一条专线与 IDC互联的 BGP组.16 3.4.创建第一条专线的 BGP邻居.17 3.5.创建第二条专线的 VBR-2,BGP组...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,云企业网,高速通道,云速搭
EHPC混合渲染
EHPC混合<em>云</em>渲染
介绍在混合云环境下,利用E-HPC及其文件缓存机制,无缝读取线下存储中的项目资产,免去复杂繁琐的文件同步问题;充分利用云上资源弹性、按使用付费的优势,构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
最佳实践频道 产品列表 云服务器 ECS GPU云服务器 GPU 高性能计算 EHPC 专有网络 VPC 云企业网 CEN 弹性公网 IP EIP 访问控制 RAM 阿里云最佳实践分享群 文件存储 NAS 如二维码过期,请搜索群号:31852400 文档版本:20191129 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 E-HPC混合云...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网,GPU云服务器,弹性高性能计算E-HPC
企业应用(酒店PMS)混合组网最佳实践
企业应用(酒店PMS)混合<em>云</em>组网最佳实践
酒店上云是分阶段实施,线下和云上的混合云是长期 状态,需要保证线下多地域多分支、云上多地域之间 互相访问,且需要满足不同类型的企业节点的服务要 求,比如总部 IDC 要求带宽大,对安全可靠性要求 高等。
部署架构 产品列表 智能接入网关 SAG 负载均衡 CLB 云服务器 ECS 云企业网 CEN 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业应用(酒店 PMS)混合云组网最佳实践 文档版本:20220520(发布日期)文档版本:20220520 2 企业应用(酒店 PMS)...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,智能接入网关,云速搭
RI和SCU全链路使用实践
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展,更多的企业会使用云计算,且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。 本文提供全链路使用实践,帮助客户快速验证云上服务,更合理 的使用RI/SCU。借助覆盖率指标和智能推荐,有效管理云上资 源成本。 用户价值 使用RI 和SCU,可以灵活抵扣相关资源。随时创建释放, 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务,跨服务高 度灵活,无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘,简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
最佳实践频道 阿里云最佳实践分享群 产品列表 专有网络 VPC、容器服务 Kubernetes版 ACK、云服务器 ECS、预留实例券 RI、存储容量单位包 SCU 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 RI和SCU全链路使用实践 文档版本:20200608(发布日期)文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,存储容量单位包,预留实例券
PolarDB 应对大并发复杂查询实践
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL,遇到大并发复杂查询时,需要排队长时间等待,容易形成慢查询,影响业务。PolarDB并发查询能力可以很好解决此问题。
相同资源可以承载更大规模的业务 量,节省成本 产品列表 最佳实践频道 阿里云最佳实践分享群 访问控制 RAM 专有网络 VPC 云服务器 ECS 云数据库 PolarDB 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 PolarDB如何应对 大并发复杂查询 最佳实践 文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库PolarDB,云速搭CADT
< 1 2 3 4 ... 8 >
共有8页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用