阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有 效 降 低 企 业 成 本,并 保 障 安 全。详 见:https://help.aliyun.com/product/27797.html  Dataworks:DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本:20210802(发布...
来自: 最佳实践 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
密钥管理服务KMS
阿里云密钥管理服务KMS使用国家密码管理局检测认证的硬件加密机,提供安全合规的密钥托管和云数据加密服务,助您全面升级云数据安全防护能力。产品为蚂蚁金服提供安全合规的密钥管理服务,保障全球金融交易安全。
云服务器ECS.MySQL 是全球最受欢迎的开源数据库之一,作为开源软件组合 LAMP中的重要一环,广泛应用于各类应用场景.云数据库RDS MySQL版.面向OSS存储提供默认的加密服务能力,支持服务端与客户端加密能力.对象存储 OSS.<查看全部产品.密钥管理服务(Key Management Service,简称KMS)是阿里云针对云上数据加密需求精心设计...
来自: 云产品
保险上云解决方案
保险上云解决方案解决保险基础设施上云底层设计,核心系统分布式架构,业务数据化,运营数字化的全方位解决方案。支撑保险行业数据智能、业务敏捷、数据安全,和人工智能技术服务能力。
对象存储 OSS.MySQL 是全球最受欢迎的开源数据库之一,作为开源软件组合 LAMP 中的重要一环,广泛应用于各类应用场景.RDS 数据库.是一个真正具备低延迟、高并发、高可用、高可靠,可支撑万亿级数据洪峰的分布式消息中间件.消息队列 RocketMQ.通过互联网就可以完成金融级的身份认证,保险公司核对投保人、被保险人、继承人等...
来自: 解决方案
大数据workshop
大数据workshop
大数据workshop
详见:https://www.aliyun.com/product/bigdata/hologram 文档版本:20210628(发布日期)III 阿里云最佳实践大数据 WorkShop 产品介绍 云数据库 RDS MySQL版:云数据库 RDS MySQL 版是全球最受欢迎的开源 据库之一,作为开源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一环,广泛应用于各类应用场景。...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
在HoloWeb控制台,选择SQL编辑器,然后点击新增SQL窗口,选择对应的 据库,编辑填写相应的DDL建表语句(默认数据表的属性是列存模式,列存模式更 适合OLAP数据分析,数据表的行存模式更适合高QPS点查询场景)。1.首先创建ads_province_info表。文档版本:20210803(发布日期)39阿里云最佳实践金融大数据WorkShop 最佳...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
跨云迁移单写双读过渡架构
跨云迁移单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
通过数据库网关,用户可以使用应用程序或云服务访问并管理本地 IDC或 其他云厂商的数据库。详见:https://www.aliyun.com/product/dg 云数据库 RDS MySQL版:MySQL 是全球最受欢迎的开源数据库之一,作为开 源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一 环,广泛应用于各类应用场景。文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
RDS:Relational Database Service,简称 RDS,是一种稳定可靠、可弹性伸缩 的在线数据库服务。基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。云速搭 CADT:是一款为上云...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
文档版本:20210617 14 企业上云 workshop-IDC业务迁移上云 RDS实例配置 2.RDS实例配置 使用云架构设计工具 CADT完成资源环境部署后进入资源配置阶段,首先登录阿里云 官网,对 RDS资源实例进行初始化配置,确认 Wordpress应用数据库用户、创建 据库以及配置数据库集群访问白名单,并记录数据库集群访问地址。2.1.确认...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
它使用一个简单 的可扩展数据模型,允许在线分析应用程序。文档版本:20210723 IV 自建Hadoop迁移MaxCompute 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置条件.3 资源规划说明.4 1.自建 Hadoop集群环境搭建.5 1.1.Hadoop集群安装规划.5 1.1.1.组件安装规划.5 1.1.2.组件运行规划.5 1.2.使用...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
AK防泄漏
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据,AK是软件程序访问阿里云资源的凭据。 如果AK被泄露,那么会造成非常严重的后果, 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿,等等。采用合适的方式来使用、 保护AK,是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
ECS结合身份管理与访问控制 RAM服务提供的访问控制能力,允许给每一个 ECS示 例(即用户应用程序的运行环境)配置一个拥有合适权限的 RAM角色身份,应用程序 通过获取该角色身份的动态令牌来访问云服务 API。具体流程如下图所示:文档版本:20220211 31 AK防泄漏 使用 ECS部署应用的动态身份 详细内容请参见:...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云安全中心,操作审计,云速搭CADT
云速搭部署混合云备份HBR
云速搭部署混合云备份HBR
本实践以ECS文件备份为例,通过CADT设计备份架构,一键部署演示环境。
20211023 3 云速搭部署混合云备份HBR 云速搭架构设计入门 云速搭架构设计入门 方案架构 混合云备份 HBR(Hybrid Backup Recovery)作为阿里云统一灾备平台,是一种简单 易用、敏捷高效、安全可靠的公共云数据管理服务,可以为阿里云 ECS整机、ECS 据库、文件系统、NAS、OSS以及自建机房内的文件、数据库、虚拟机、大规模 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,混合云备份,云速搭CADT
云原生
阿里云拥有丰富的云原生产品家族,全面的云原生开源贡献,大规模的云原生应用实践,以及广泛的云原生客户群体,为企业数字创新提供全方位能力支撑。
专注于提高应用及业务的高可能力,主要提供流量防护、故障演练、多活容灾、开关预案四大核心能力.应用高可用服务 AHAS.前身为淘宝内部配置中心 Diamond,是一款应用配置中心产品.应用配置管理 ACM.为微服务建设降本增效,为微服务落地保驾护航.微服务工具与平台.阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可用...
来自: 云产品
多账号下企业分账
多账号下企业分账
场景描述 财务分账,是根据企业的成本中心,将云上资源的成本划分到给各个项目组/业务部门;助力企业快速梳理云上成本结构,搭建复杂组织架构下的成本关系,便捷地进行财务和云上成本的管理。 大型企业或集团公司,由于组织架构复杂,业务复杂等原因,通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源,如何建立有效的分账方案,是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理,IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况,清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
云账号及资源管理结构规划 考虑到不同企业(从创业型团队到跨国企业)的 IT规模以及软件研发模式存在较大的 差异,云资源管理模型设计需要足够灵活,以支持从传统 IT业务到敏捷 IT业务的不 同要求。一个企业通常拥有一个或多个云账号。云账号是最基本的资源管理单元,它是云资源 的计量、计费及资源归属的基本主体。云账号...
来自: 最佳实践 | 相关产品:资源管理,配置审计,云速搭CADT
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
 RDS云数据库实例:Agent程序需要部署在对应的应用服务器上,通常为访问RDS 数据库应用系统所在应用服务器(ECS)。7.1.开通数据库审计 步骤1 登录阿里云管理控制台。(https://home.console.aliyun.com)步骤2 通过产品与服务导航,定位到数据库审计(数据安全),单击进入数据库审计管理控制 台。文档版本:20220210 ...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
物联网平台
物联网平台提供全托管的企业级实例服务,具有低成本、高可靠、高性能、高安全的优势,无需自建物联网基础设施即可接入各种主流协议设备,管理运维亿级规模设备,存储备份和处理分析EB量级的设备数据,帮助企业快速实现设备数据和应用数据的融合,实现设备智能化升级。
稳定支撑每天亿条消息通信,助力业务覆盖34个省,4000万用户.云摄像机的在线率提升近5.2%,运维成本降低近11%,实现降本增效.搭建两轮车和汽车充电桩解决方案,满足集中充电和安全用电场景需求.性能极佳的物联网平台,提高广告屏安全保障,缩短了设备通讯时间.完善的平台功能,实现低代码开发,显著节约开发时间及成本.表...
来自: 云产品
日志服务sls
日志服务(Log Service,简称Log)是针对实时数据一站式服务,在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,帮助提升运维、运营效率,建立DT时代海量日志处理能力。
企业级设计,多租户隔离,PB级容量设计万企业用户选择.经过阿里经济体实践的AIOps能力,支持智能异常巡检与根因分析.具备丰富的可视化组件,可创建所见即所得的交互式分析大盘。同时支持实时可编排的告警功能,可随时随地掌握业务动向.丰富的可视化组件,可交互式分析报表,灵活告警与多样的通知能力.支持灵活监控规则...
来自: 云产品
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
同时, 中台的快速推进,使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。Hologres致力于低成本和高性能地大规模计算型存储和 强大的查询能力,为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
电商网站数据埋点及分析
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师,基于业务需求(例如:CPC点击付费广 告中统计每一个广告位的点击次数),产品需求 (例如:推荐系统中推荐商品的曝光次数以及点 击的人数)对用户行为的每一个事件对应的位置 进行开发埋点,并通过SDK上报埋点的数据结 果,记录数据汇总后进行分析,推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
文档版本:20220127 III 电商网站数据埋点及分析 资源环境部署 步骤3 在官方模板内找到 电商网站数据埋点及分析 模版,选择基于应用新建。步骤4 可根据实际业务需求配置各资源参数,或使用默认参数;需要根据模板说明双击 ECS 与 RDS之间的连线,设置数据库账号密码。文档版本:20220127 IV 电商网站数据埋点及分析 资源...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),DataWorks,云速搭CADT
RAM角色集成企业OpenLDAP身份认证
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP, 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系,实现企业员工使用企业OpenLDAP账 号以单点登录(SSO)的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak,并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
KeyCloak:是一个开源软件产品,旨在为现代的应用程序和服务,提供包含身份 管理和访问管理功能的单点登录(SSO)工具。文档版本:20210616 IV RAM角色以 KeyCloak集成企业 OpenLDAP身份认证 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置条件.3 演示环境说明.4 1.创建基础资源.6 2.确认并...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,容器镜像服务 ACR,云速搭
数据迁移上云
数据迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
广泛应用于容器存储、大数据分析、Web 服务和内容管 理、应用程序开发和测试、媒体和娱乐工作流程、数据库备份。支持冷热数据分级 存储。详见:https://www.aliyun.com/product/nas 云服务器 ECS:云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的 计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用