数据湖构建 Data Lake Formation
数据湖构建服务是阿里云上数据湖架构中的核心部分,助力用户构建数据湖系统。支持多数据源实时入湖,实现湖上元数据统一管理,提供企业级权限控制,无缝对接多种计算引擎,打破孤岛,洞察业务价值
数据湖构建提供湖上元数据统一管理、企业级权限控制,并无缝对接多种计算引擎,打破数据孤岛,洞察业务价值.数据湖构建 Data Lake Formation.用户过亿的某在线教育平台.用户希望课件素材、应用日志、学习采样等数据能够集中存储,统一管理。用户也希望能够对不同类型数据提供课件播放、离线分析、机器学习,实现在线教育...
来自: 云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准<em>控制</em>Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步,跨帐号阿里云Kafka实例 之间消息、元数据同步,阿里云Kafka实例和IDC 自Kafka(其他云Kafka)之间消息、元数据同步。应用场景 在大数据场景,企业的Kafka实例...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容<em>控制</em>MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断,然后对 MongoDB 做增,删,改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景,将 Kafka 中的消息流转到其 他下游服务...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
控制API
云控制API(CloudControl API)是基于阿里云API的一款免费开发者工具,能够让开发者以面向对象的云API开发方式集成阿里云,通过免费的5个资源化API和一套SDK完成持续集成。
控制 API 是一款免费的OpenAPI开发者工具套件。让开发者能够使用一致的OpenAPI和一个开发者工具包来管理和集成阿里云上百款产品.云控制 API.更多产品与服务.提供稳定、高效、一致的OpenAPI开发者集成体验。针对云服务OpenAPI数量多、业务关系复杂、上下游集成学习成本高进行专项优化,解决开发者集成阿里云过程中维护多个...
来自: 云产品
访问控制
阿里云访问控制(RAM)服务可以帮您安全地集中管理对阿里云资源的访问。您可以控制哪些用户以何种方式进行身份验证后有权限访问哪些资源。
亿滋通过为不同的供应商创建不同RAM用户,使用Policy进行差异化授权,实现了供应商访问管理和统一合规审计,帮助亿滋构建了一个安全可和易于管理的云环境,为全面实现数字化转型提供坚实的基础.查看RAM产品介绍文档.RAM产品文档.查看云SSO产品介绍文档.云SSO产品文档.查看RAM的API&SDK.查看常见问题的处理方法.
来自: 云产品
工业控制性能优化解决方案
工业控制性能优化是基于对控制器的参数实时评估与监控,通过阿里云大数据处理和计算的能力,结合人工智能算法,机器学习的能力,为企业提供高效的性能评估与整定,更方便、快捷地完成回路控制性能的批量评估和整定优化工作,为企业提供最佳的控制性能优化解决方案。
工业控制性能优化是利用阿里云平台强大的计算能力,结合人工智能算法和对行业背景的理解,对工业生产过程中的大数据进行挖掘和分析,通过对全厂级/装置级的大量控制回路的控制性能进行实时监控和评估,迅速定位生产过程中的问题,并对进一步维护整改决策提出有效的辅助建议,从而使企业生产运行保持优状态.数字技术,PID...
来自: 解决方案
终端访问控制系统UEM
阿里云终端访问控制系统UEM是以网络安全准入、终端安全管理、应用管理为基础的远程办公零信任解决方案产品,帮助用户构建安全、高效、易用的远程办公能力,支持基于多因素动态安全分析及准入,支持全终端类型全生命周期的管理能力
多维环境因子动态评估员工及设备可信等级,企业核心资源访问安全可.全场景办公安全可.可信设备快速连接企业内部网络、资产,远程办公一键入网.触手可及的办公体验.智能准入AP集群,云端统一管控,企业终端安全策略动态下发.云端高效IT运营管理.阿里巴巴经济体全球协同办公最佳实践的一次整合输出.上云数字办公最佳实践....
来自: 云产品
ACK容器平台集群安全控制
ACK容器平台集群安全<em>控制</em>
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 产品列表 容器集群 API Server的安全访问控制 容器服务 Kubernetes版 容器服务多租户场景下的授权管理 负载均衡 SLB 容器中的敏感信息数据的存储 专有网络 VPC 容器服务集群安全策略配置管理 访问控制 RAM 最佳实践频道 阿里云最佳实践...
来自: 最佳实践 | 相关产品:专有网络 VPC,负载均衡 SLB,容器服务 ACK,访问控制,云速搭
仓一体架构EMR元数据迁移DLF
<em>湖</em>仓一体架构EMR元<em>数据</em>迁移DLF
通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。
数据湖构建提供湖上元数据统一管理、企业级权限 ,并无缝对接多种计算引擎,打破数据孤岛,洞察业务价值。(https://www.aliyun.com/product/bigdata/dlf)云速搭 CADT:是一款为上云应用提供自助式云架构管理的产品,显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板,同时也支 持自助拖拽...
来自: 最佳实践 | 相关产品:E-MapReduce,数据湖构建
基于仓一体架构使用MaxCompute对OSS湖数据分析预测
基于<em>湖</em>仓一体架构使用MaxCompute对OSS<em>湖数据</em>分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
步骤2使用数据湖构建之前,还需要在对应地域开通OSS服务和启用数据湖构建服务访问 部数据源的权限,未开通按照提示开通即可。说明:1.阿里云数据湖构建采用OSS作为统一数据湖位置,所以需要开通OSS服务。2.用户从数据源抽取数据到注册的数据湖位置,数据湖构建支持多种形式的数据源,目前RDSMySQL已对外开放。本例中EMR将...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
数据湖-在线学习场景数据分析
<em>数据湖</em>-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
通过Nginx和Pythonflask搭建WebServer,模拟应用中的关 键页面,比如登录、课程内容等,之后构造若干用户使用的模拟日志数据,投递到 据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。方案优势  支持超过10亿条元数据规模的数据管理,同时支持高可靠和高可用。 支持元数据实时备份和重建集群快速恢复...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
官网最佳实践频道浏览
官网最佳实践频道浏览
介绍如何使用RAM子用户登录阿里云官网全文浏览最佳实践频道内容。
操作步骤 使用云账号登录阿里云官网(www.aliyun.com )访问 访问控制(RAM)控制台 官网首页导航进入控制台 文档版本:20200630 III 官网最佳实践频道浏览最佳实践 产品与服务 搜索 访问控制 进入访问控制控制台 人员管理>用户页面,单击新建用户。在新建用户页面,完成以下配置,并单击确定。配置项 说明 文档版本:...
来自: 最佳实践 | 相关产品:访问控制
云上IT治理workshop
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施,集团 旗下有多个分公司(如制造分公司和销售分公 司),各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴,拟达到以下 业务目标: 1. 各个分公司拥有独立的账号,可以购买云资 源,由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建,分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
文档版本:20210909(发布日期)74 云上 IT治理 Workshop 权限验证 步骤8 跳转到 ECS 台,可 以 看 到 2 台 ECS 已 创 成 功。(https://ecs.console.aliyun.com/#/server/region/cn-hangzhou )8.2.使用开发组 RAM用户使用云资源 使用开发组 RAM用户 dev001登录阿里云,校验账号只能查看开发资源组下的资源,且...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,访问控制,操作审计,资源管理,配置审计
DDH集群运维管理
DDH集群运维管理
场景描述 当前许多企业的IDC业务场景,资源管理 等使用习惯与公共云不同,使用DDH集群 管理,继承IDC虚拟化使用习惯,比如自 定义ECS规格。同时针对CPU负载较低 的场景,通过CPU超分,可以有效提高资 源利用率,节省整体成本。并且可以通过账 号授权业务团队,结合云监控资源使用率, 方便业务使用的同时又能有效遏制资源浪 费。 方案优势 1.使用专有宿主机集群构建云上环境,通 过超分提高资源利用率,降低企业成 本。 2.通过访问控制授权,云监控资源,完成 专有宿主机集群运维管理使用闭环。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 云监控CloudMonitor
适用场景  针对CPU负载较低的场景,尤其是传统IDC企业客户有降本诉求,使用专有宿 主机集群构建云上环境,通过超分提高资源利用率, 需要沿用传统IDC资源管理方式,通过访问控制授权,云监控资源,完成专有宿 主机集群运维管理使用闭环。技术架构 本实践方案主要操作步骤:1.根据规划创建VPC网络环境,根据规划创建DDH...
来自: 最佳实践 | 相关产品:专有网络 VPC,访问控制,云监控,专有宿主机
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
2.简化 GIS数据 SQL查询语法,通熟易 访问控制 RAM 懂。专有网络 VPC 3.支持海量 GIS数据查询,性能有保 云服务器 ECS 障。云数据库 polardb for postgresql 4.支持比 postgresql更丰富的时空模 对象存储 OSS 型。数据库可视化分析 Quick BI 5.简单便捷构建完整的数据集成链路。最佳实践频道 阿里云最佳实践分享群 如二维码...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
阿里云最佳实践容器workshop
阿里云最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
最大实例的设置也是避免扩 容的节点超出预期不可。文档版本:20220301(发布日期)57 阿里云ACK容器服务workshop 弹性伸缩 步骤7 为了方便使用,选择密码登录方式,单击确认配置。步骤8 通过依赖检查,单击提交。伸缩状态已启用,节点池也已激活。文档版本:20220301(发布日期)58 阿里云ACK容器服务workshop 弹性...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
云数据库RDS MySQL版备份恢复
云数据库RDS MySQL版备份恢复
场景描述 用户数据库数据, 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求, 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复, 快速应对误操作误删除等逻辑错误, 降低业务损失。 2. 可以方便实现异地备份, 实现数据级容灾, 满足合规要求。 3. 可以方便将数据进行归档, 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率, 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
备份默认开启且无法关闭,您可以根据需要设置数据备份的周期、时间及保留天数。在需要恢复数据,比如需要使用真实数据进行业务测试时,可以使用数据备份恢复出 一个新的数据库实例来满足需求,同时避免污染线上数据库。2.1.备份设置 步骤1 实例页面左侧导航栏选择备份恢复,在备份设置中单击数据备份设置右边的编辑。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,访问控制
影视数据分发汇集与传输加速
影视<em>数据</em>分发汇集与传输加速
场景描述 使用阿里云对象存储服务OSS及OSSBrowser 工具,实现影视数据多用户多地域分发、汇集, 以及传输加速的最佳实践。 解决问题 1.跨地域、多角色、分权限文件上传、下载。 2.基于OSS及其客户端实现Serverless文件 分发服务(可替换传统FTP服务)。 3.OSS文件传输全球加速。 产品列表 lOSS lRAM
影视数据分发汇集与传输加速 场景描述 业务架构 使用阿里云对象存储服务 OSS及 OSSBrowser 工具,实现影视数据多用户多地域分发、汇集,以及传输加速的最佳实践。解决问题 1.跨地域、多角色、分权限文件上传、下载。2.基于 OSS及其客户端实现 Serverless文件 分发服务(可替换传统 FTP服务)。3.OSS文件传输全球加速。产品...
来自: 最佳实践 | 相关产品:对象存储 OSS,访问控制
混合云存储构建VMware虚拟化平台
混合云存储<em>构建</em>VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
 高效:自动云分层,热数据存放在本地存储空间,确保了数据的高速访问,冷 放在云端,充分利用公共云存储的海量空间。云缓存功能确保当数据存放在云 端的时候,也能利用本地存储空间的缓存功能,为应用提供快速响应。 可靠:阿里云混合云存储阵列采用了全冗余的硬件设计,支持数据加密,集成 AD/LDAP,支持ACL,...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
AK防泄漏
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据,AK是软件程序访问阿里云资源的凭据。 如果AK被泄露,那么会造成非常严重的后果, 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿,等等。采用合适的方式来使用、 保护AK,是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
App需要直连 OSS上传或下载数据,但是 App运行在用户自己的移动设备上,这些设备不受企业 A 的控制。企业 A有如下要求:1.直传数据:企业 A不希望所有 App都通过企业的服务端应用服务器(Application Server)来进行数据中转,而希望能够直连 OSS上传或下载数据。2.安全管控:企业 A不希望将访问密钥(AccessKey)保存到...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云安全中心,操作审计,云速搭CADT
< 1 2 >
共有2页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用