金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/sls CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管 理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支持自助拖 拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可以方便的 对云上架构方案的成本、部署、运维、回收进行...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
它使用一个简单 的可扩展数据模型，允许在线分析应用程序。文档版本：20200330 IV 自建Hadoop数据迁移到阿里云 EMR 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置条件.2 资源规划说明.3 1.自建 Hadoop集群环境搭建.4 1.1.使用云速搭 CADT快速创建资源.4 1.2.安装日志发生器.14 1.3.安装 ...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
选择导入，将本地数据导入对应开发表，本示例为：push_data 文件格式：自定义文本文件 选择文件：选择已经解压的push_354.log文件 选择分隔符：自定义输入“\u0001”步骤7 创建表log_push_raw。同样，按照上一节介绍的方法创建表log_push_raw选择DDL模式，并填入创建表的sql语句（code6）：提交到生产环境：步骤8 创建表log...
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机（DDH）的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池，同时配合 ECS成熟稳定的虚拟化技术体系，充分利用云上资源 弹性、按使用付费的优势，快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统，满足安全、合规、 自定义部署、自带许可证（BYOL）等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系，支持ECS自定义部 署，可在DDH环境和多租户环境间迁移。 l支持自带许可证（BYOL）。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
格式的转换配置 及脚本在模板一创建出的 ECS中已经配置完成，上传完格式为.vdmk 的镜像后进入该 ECS的根目 录下，运行 convert.sh文件即可完成:cd/./convert.sh 操作步骤 登录阿里云管理控制台。（https://home.console.aliyun.com）通过产品与服务导航，定位到资源编排，单击进入资源编排管理控制台。进入资源编排控制台>...
大数据workshop
大数据workshop
2.增加对于DIM维表存储引擎 的选择说明 V1.3 2021-05-19 弦望、敬海 文档细节优化 V1.4 2021-05-21 明誉 文档细节优化 V1.5 2021-06-01 明誉 文档细节优化 V1.6 2021-06-18 明誉 增加对一些异常错误问题处 理的说明及注意事项 V1.7 2021-06-25 毕役 文档细节优化 V1.8 2021-06-28 明誉、衾影 1.方案架构更新 2.增加 Flink ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
内网访问外网 EIP(1M，按带宽计费)业务系统 操作系统 CentOS 7.6 64位-软件程序 WordPress 硬件配置：存储 40G 高效云盘（系统盘）安全组 sg-bptest 初始 root用户密码*网络 BP-VPC(MyBase-VSW)可用区/数量/实例 建议实例名和主机名一致，便于管 H/1/bp-test-1，2 名(主机名)理 自定义镜像 bptest-image-可用区 杭州，可用...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
游士 创建 V1.1 2021-08-02 敬海 更新细节 文档版本：20210802（发布日期）I离线大数据分析WorkShop 产品介绍 产品介绍 云速搭CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持，广泛应用于新零售、医疗、房地产等行业。
云原生数据库 PolarDB 是阿里云自研产品，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务.云原生数据库 PolarDB.RDS SQL Server 发布基础系列共享规格，价格最多降低81%！RDS SQL Server 全新推出 Web 版独享入门规格，价格最多降低40%.RDS SQL Server 产品新...
来自：
云产品
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求，统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问，数据统一需求。 3.系统架构及资源成本优化需求，多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
广泛应用于企业级应用数据共享、容器、AI机器学习、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工 作流、数据库备份等场景。详见 https://www.aliyun.com/product/nas 数据迁移服务：阿里云数据迁移服务是阿里云提供的存储产品数据通道。使用数 据迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储 OSS，也...
智能媒体服务 IMS
智能媒体服务IMS（Intelligent Media Services），是围绕直播和点播场景下的媒体采集、媒资管理、内容生产、制作和分发能力的一站式服务集，提供广播级、全智能、灵活多样、可多云接入的专业能力，并面向多云复杂业务流场景提供成熟的低代码终端SDK集成方案。
开放数字人及人声克隆训练及应用，满足在金融、教育及融媒场景的自动化播报视频制作.数字人及人声克隆.一体集成直播/点播/美颜/RTC/播放器等客户端SDK，提供场景化低代码集成方案.音视频终端SDK.融合直播、点播多节点能力，复用核心组件，缩小SDK包体积.一次性批量接入多个功能模块，提升集成效率，节省研发对接成本.按照...
来自：
云产品
云监控
云监控（CloudMonitor）是阿里云提供的一款一站式、全链路、开箱即用的监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，帮助客户第一时间发现和定位问题构建完善的监控运维体系。
弹性伸缩不仅适合业务量不断波动的应用程序，同时也适合业务量稳定的应用程序.日志服务（SLS）是云原生观测分析平台，为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力.阿里云消息服务 MNS 是一种高效...
来自：
云产品
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
企业办公安全访问一体化最佳实践 业务架构 场景描述 本场景模拟企业办公环境，基于CSAS服务构建 企业办公安全一体化方案，将“安全+网络”能力 无缝融合，实现了对云下办公终端安全的统一管 理，企业无需在投资复杂且昂贵的传统硬件安全 设备，即可快速构建安全、可靠、低成本的办公 安全防护体系。解决问题 1.企业办公环境...
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
用户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管 理。详见 https://www.aliyun.com/product/developerservices/cadt 文档版本：20210301 III 大数据系统基准性能测试最佳实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.IV 最佳实践概述.1 前置条件.4 1.测试说明.5 1.1.Teragen&...
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
“终端”是各类实现数据采集、输入和使用的用户交互用设备，如APP、网页、应用程序等.数据安全中的“云管端”.安全能力“云、管、端”.数据采集阶段是组织内部系统中新产生数据，以及从外部系统收集数据的阶段。如何保证海量数据的安全可治理，是这一阶段的重点.数据采集阶段.数据安全中心服务.数据传输阶段是数据从一个...
来自：
解决方案
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
Server Auth Kubernetes集群中最重要的两个组件 etcd和 API server,etcd为 Kubernetes集群 中对象的配置信息库，API server提供所有组件的 API访问接口，因此在证书体 系中 etcd与 API server各需要一套 CA证书链。Client Auth 对于访问 API server的组件，除需要确认 API server是可信（Server Auth）,还需 要向 API ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
应用程序的分布度、可扩展性和容错能力越高，越 适合使用抢占式实例节省成本和提升吞吐量。有状态应用不宜使用抢占式实例，例如 数据库。因为竞价失败等原因导致抢占式实例被释放时，应用状态难以保存。文档版本：20210329 21 云上成本优化 workshop 计费优化 在使用抢占式实例时，要重点注意以下两点 保护期：抢占式实例...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
移动研发平台EMAS
阿里云移动研发平台EMAS是国内领先的云原生应用研发平台（移动App、H5应用、小程序、Web应用等），基于广泛的云原生技术，为企业、开发者提供一站式的应用研发管理服务，涵盖应用开发、测试、运维、运营等应用全生命周期。
移动DevOps.多端低代码开发平台魔笔.移动用户反馈.超级App解决方案.低代码音视频工厂.一站式短视频制作播放解决方案.移动研发平台EMAS.超级App解决方案.钉钉交流：35248489....测试+监控+日志+热修复闭环体系，帮助用户发现、定位和解决问题，全面保障应用交付质量.阿里巴巴最佳商业实践之一，弹性伸缩，稳定支撑尖峰流量.
来自：
云产品
资源管理
阿里云资源管理，企业级资源管理服务，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。资源管理（Resource Management）包括资源组（Resource Group）和资源目录（Resource Directory）。资源组是在阿里云账号下进行资源分组管理的一种机制，资源组能够帮助您解决单个云账号内的资源分组和授权管理的复杂性问题。资源目录（Resource Directory）是阿里云面向企业客户提供的一套多级资源(账号)关系管理服务。
阿里云资源管理服务包含一系列支持企业IT治理的资源管理产品集合。其中主要产品为资源组和资源目录。资源管理服务支持您按照业务需要搭建适合的资源组织关系，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。
- 产品推荐
- 这些文档可能帮助您