基于DataWorks的大数据一站式开发及数据治理
<em>基于</em>DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发,包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS,使用Hive进行数据分析。通过Dataworks进行数据治理,数据地图查看数据信息和血缘关系,数据质量监控异常和报警。 适用场景  日志采集、处理及分析  日志使用Flink实时写入HDFS  日志数据实时ETL  日志HIVE分析  基于dataworks一站式开发  数据治理 方案优势  大数据一站式开发,完善的数据治理能力。  性能优越:高吞吐,高扩展性。  安全稳定:Exactly-Once,故障自动恢复,资源隔离。  简单易用:SQL语言,在线开发,全面支持UDX。  功能强大:支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ,以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本:20210207 文档版本:20150122(发布日期)II...
来自: 最佳实践 相关产品:块存储,云服务器ECS,E-MapReduce,DataWorks,实时计算,云速搭
远程办公-AD管控下的弹性桌面
远程办公-AD管控下的弹性<em>云</em>桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
远程办公-AD管控下的弹性桌面 最佳实践 桌面接入方式:弹性桌面客户端 桌面和企业 IDC互联:IPSec或者物理专线 员工通过弹性桌面客户端,可从任何网络安全地登录 通过 IPSec VPN或物理专线将桌面 VPC网络和企 桌面实例进行远程办公。业 IDC网络连通,员工在桌面中可以使用公司内 部应用和资源。集成现有 ...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
通过云速搭创建具有IPv6地址的ECS
通过云速搭创建具有IPv6地址的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实,以及工业互联网、物联网、5G 等前沿技术的快速发展,各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业,提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景,提供一键部署模版,进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
无需 提前采购硬件设备,根据业务需要,随时创建所需数量的服务器 ECS实例。在使用过程 中,随着业务的扩展,可以随时扩容磁盘、增加带宽。也能随时释放资源,节省费用。弹性公网 IP:弹性公网 IP是独立的公网 IP资源,可与阿里专有网络 VPC类型的云服 务器ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定,并可以动态...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关
密评咨询服务
密评咨询服务是阿里云依托云平台密评经验和云密码产品优势,提供全流程密评咨询服务,助力企业快速完成密评合规
返回数字证书管理服务....加密服务基于国家密码局认证的硬件密码机,提供上数据加解密和签名验签等服务.运维安全中心(堡垒机).堡垒机是上统一的安全运维通道,用于集中管理资产权限,全程监控操作行为,实时还原运维场景.数字证书管理服务具备签发、管理服务器证书和各类终端证书的能力,实现数据传输加密和信源加密.
来自: 云产品
飞天企业版
阿里云飞天企业版是基于阿里云飞天云计算操作系统,为政企客户专属构建的资源和云管完全独立的企业级云平台,阿里云专有云与公共云同根同源,支持私有化部署。
从传统 IT 容灾转向全栈云容灾容灾演练一次“实景”容灾演练 —— 以某新闻客户端为例合作伙伴专有云软件兼容认证专有云硬件兼容性认证阿里云专有云软件兼容性认证是面向合作伙伴软件产品、解决方案与阿里云专有云的兼容性、可用性的技术能力认证。通过认证的软件产品表示该合作伙伴软件产品,已满足专有云的适配性要求,与...
来自: 云产品
混合HBR上备份VMware虚拟机
混合<em>云</em>HBR<em>云</em>上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
混合HBR上备份VMware虚拟机 最佳实践 业务架构图 场景描述 本文主要介绍一种简单且具备成本效益的混合下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到上,本文重点介绍 混合下...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙),混合云备份
混合数据库统一管理
混合<em>云</em>数据库统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
DBS支持 MySQL、SQLServer、Oracle等近 10种数据库,支持文 、日志、数据库等全站备份,支持本地数据中心、其他厂商、ECS数据库及 RDS 数据库等环境,是客户首选的企业级混合统一备份平台。本节通过数据库网关和数据库备份服务将上一章产生的数据备份到上。6.2.备份数据 步骤1 授权 DBS服务。步骤2 添加数据源。本...
来自: 最佳实践 | 相关产品:数据传输,数据管理
企业应用(酒店PMS)混合组网最佳实践
企业应用(酒店PMS)混合<em>云</em>组网最佳实践
酒店上云是分阶段实施,线下和云上的混合云是长期 状态,需要保证线下多地域多分支、云上多地域之间 互相访问,且需要满足不同类型的企业节点的服务要 求,比如总部 IDC 要求带宽大,对安全可靠性要求 高等。
步骤3 在页面右侧,通过搜索关键字找到“企业应用酒店 PMS混合组网”模板,单击 应用新建。步骤4 进入如下页面:文档版本:20220520 6 企业应用(酒店 PMS)混合组网最佳实践 搭建基础环境 在部署应用前,需要双击两个 ecs图标,分别修改其密码,其他配置可根据实际需求 修改,作为演示,本实践使用默认配置。步骤5...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,智能接入网关,云速搭
平台内部操作透明化
<em>云</em>平台内部操作透明化
场景描述 云平台基于用户的请求或监管要求等,进行的内 部操作对用户如果不可见,用户可能会担心自己 的数据是否收到了影响或者是否被触碰了,影响 用户对平台的信任。 解决问题 1.内部操作对用户可见 2.增强用户对平台的可信度 产品列表 操作审计Actiontrail 对象存储OSS 日志服务SLS
平台内部操作透明化 最佳实践 业务逻辑图 场景描述 平台基于用户的请求或监管要求等,进行 的内部操作对用户如果不可见,用户可能会 担心自己的数据是否收到了影响或者是否被 触碰了,影响用户对平台的信任。解决问题 1.内部操作对用户可见 2.增强用户对平台的可信度 产品列表  操作审计Actiontrail  对象存储OSS ...
来自: 最佳实践 | 相关产品:对象存储 OSS,日志服务(SLS),操作审计
混合存储构建VMware虚拟化平台
混合<em>云</em>存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
方案优势  混合云架构,将传统的VMware虚拟化平台架构延伸到公有云,有利和公有云 产品结合,充分利用公有云的规模和弹性优势。 兼容性强,存储阵列/网关提供OSS,iSCSI,FCSAN,NAS,FTP等多种常用 存储协议兼容各类上层业务应用。 快照云备份,将重要系统的快照备份上云,实现了多数据中心备份,提高了容灾 能力...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
专有云盾
专有云云盾是阿里云面向大中型私有云企业用户,提供的一揽子云原生安全产品系列,覆盖主机安全、应用安全、网络安全、数据安全、运维审计等租户级和平台级安全,构建专有云纵深防御安全体系,全力保障您专有云业务的安全平稳运行,并满足合规要求。
系统可信为用户提供了针对环境启动阶段和运行阶段的全方位可信保障,构建了基于硬件的完善安全体系.集中管理资产权限,全程记录操作数据,实时还原运维场景,助力企业用户构建上统一、安全、高效运维通道.内置高效、丰富的脱敏算法,提供全方位的敏感数据管理能力,可自动发现系统中的敏感数据.为用户提供敏感数据识别、...
来自: 云产品
全包式混合解决方案
全包式混合云解决方案基于阿里巴巴支撑百万级服务器云平台的先进基础设施能力和智能运维运营技术,通过标准化和产品化的建设,为政府、金融、能源、交通、大型企业等行业客户提供软硬协同的全栈能力;在阿里云数据中心内部构建合规的业务独享专区,为企业级客户构建类似公共云的全包式专属云服务。
传统基于客户自有数据中心部署私有云的方式,涉及机房规划采购、软硬件采购、网络规划、部署交付、运维运营等多个环节,流程冗长、容易职责不清。在混合云成为未来主流趋势的背景下,自有机房的私有云部署将带来混合云网络连通周期长、混合云管理难度大等一系列问题。本方案基于阿里云数据中心部署阿里云专有云,帮助客户...
来自: 解决方案
FPGA服务器
FPGA云服务器是提供现场可编程门阵列(FPGA)的计算实例,基于阿里云弹性计算框架,用户可以在几分钟内轻松创建并自定义的专用硬件加速器。
FPGA服务器是一款提供现场可编程门阵列(FPGA)的计算实例,基于阿里弹性计算框架,用户可以几分钟内轻松创建FPGA实例,创建自定义的专用硬件加速器。由于FPGA硬件的可重配特性,用户可以对已创建的FPGA硬件加速应用,进行快速擦写和重配,达到低时延硬件与弹性伸缩最好的结合.谢赟辉,靖鑫,也树.35A_【标题】产品售卖-...
来自: 云产品
存储解决方案
云存储解决方案面向大数据存储、多媒体存储(视频存储)、视频监控、基因生命科学、数据迁移、自动驾驶、在线教育、混合云存储、数据迁移、数据容灾备份等多个行业用户的多元化场景,提供更安全稳定、更优化、无缝上云的智能数据存储服务,为企业上云、实现数字化转型奠定数据基础。
应用和数据迁移方案是阿里云在多种应用场景下,方便客户对已有应用系统和数据快速地迁移到阿里云的解决方案.迁移速度慢:生产中心应用向云端迁移速度慢.数据丢失:数据迁移上云过程中增量数据有丢失的风险.业务中断:数据切换过程中业务中断时间过长.应用迁移方案:提供从线下传统机房往公共云服务器的简单、高效、平滑的...
来自: 解决方案
基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案,满足从海量数据采集到清洗、标注、训练到归档的数据自动化,提供了自动驾驶研发云的统一数据平台,极大提升了研发效率.网络安全升级支持IPV6.文件存储 CPFS.对象存储 OSS.杭州悦数科技有限公司与阿里云计算巢达成合作,NebulaGraph 作为首款图数据库...
来自: 云产品
服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
—— 新开普“基于阿里云的弹性伸缩能力共同推出弹性集群管理方案SpotMax,保证弹性资源可用性下实现了更低成本。—— 汇量科技常见问题选型相关计费相关操作相关Q:阿里云服务器实例规格是什么?怎么选?A:我们提供了上百种实例规格族,您可以综合考虑计算需求、业务场景、可用性需求、成本和工作负载等要素,选择适合的...
来自: 云产品
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心<em>基于</em>SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以 于云存储网关搭建一个海量文件系统的文件存 储服务,实现多个数据中心互相之间高效的同步 和共享数据。存储网关以对象存储 OSS为后 端存储,为上和下应用提供业界标准的文件 服务(NFS和 SMB)和块...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库,100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍,TCO低于自建数据库50%。
云数据库 PolarDB MySQL 版原理架构 基于云原生架构、计算存储分离、软硬件一体化设计,为用户提供具备超高弹性和性能、高可用和高可靠保障、高性价比的数据库服务。了解阿里云瑶池DB+AI精选解决方案及特惠权益云原生数据库 PolarDB MySQL 版是阿里云完全自主研发的产品,100%兼容 MySQL。产品具有多主多写、多活容灾、HTAP...
来自: 云产品
GPU服务器
阿里云GPU云服务器(GPU Cloud Computing,GPU)是提供 GPU 算力的弹性计算服务,具有超强的计算能力,服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。阿里云作为亚洲第一的云服务提供商,随时为您提供触手可得的算力,有效缓解计算压力,提升您的业务效率,助您提高企业竞争力。
基于阿里云的弹性供应方案结合抢占式GPU实例,能够快速低成本地获取所需的算力资源.云上GPU按需购买,同时可以以比较低成本进行硬件升级。丰富的云上生态也减轻系统搭建和运维成本.GPU弹性使用方案,提供灵活充足的GPU运算资源,随时用随时申请.05A_文档与工具标题.唐家哲,靖鑫,也树.查看GPU云服务器相关文档.关于驱动安装...
来自: 云产品
< 1 2 3 4 ... 11 >
共有11页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用