基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
基于 Flink的资讯场景实时数仓 最佳实践 业务架构 场景描述 产品列表 本实践针对资讯聚合类业务场景，Step by Step介绍 实时计算 如何搭建实时数仓。专有网络 VPC 云数据库 RDS MySQL版 分析型数据库 MySQL版 解决问题 消息队列 Kafka 对象存储 OSS 1.如何搭建实时数仓。NAT网关 2.通过实时计算 Flink实现实时 ETL和数据流...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详情请参见：https://www.aliyun.com/product/vpc 云速搭 CADT：是一款为上云应用提供自助式云架构管理的...
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
阿里云开源大数据产品矩阵再升级.2022云栖大会上，阿里云资深产品专家分享基于强大的大数据AI一体化的平台能力，从工具层面介绍DataWorks端到端的全链路数据开发治理平台新能力，回归工具为人服务的本质，全方位地提升一线数据开发人员/业务人员的工作效率.DataWorks全链路数据治理年度发布.伴随着用户业务的快速增长，数据...
来自：
云产品
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
详见：https://www.aliyun.com/product/pvtz 私网连接 PrivateLink：私网连接（PrivateLink）能够帮助您在阿里云 VPC中通 过私有网络安全稳定的访问部署在其它 VPC中的服务，大幅简化网络架构，同 时 避 免 通 过 公 网 访 问 服 务 的 带 来 的 安 全 风 险。详见：https://www.aliyun.com/product/network/privatelink ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
迁移到 CDP 后，您必须使用 Cloudera Manager 高级配置片段（安 全阀）手动配置这些属性。使用 fs2cs 转换实用程序生成 输出文件 capacity-scheduler.xml 和 yarn-site.xml。完成迁移过程。确定需要手动配置且队列管理器 UI 不支持的调度程序属性。1.在 Cloudera Manager 中，选择 YARN服务。2.单击配置选项卡。3.搜索...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
整合了阿里云虚拟化、存储、网络和安全能力，助力企业高效运行云端 Kubernetes容器化应用。详见：https://www.aliyun.com/product/kubernetes 容器镜像服务 ACR：阿里云容器镜像服务（简称 ACR）是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台。ACR 支持全 球同步加速、大规模/大镜像分发...
AHAS多活容灾MSHA
多活容灾MSHA是在阿里电商业务环境演进出来的多活容灾商业化产品，是应用高可用服务AHAS的核心模块，为客户提供容灾架构建设能力。横向支持容灾架构的上线、运维、演练、切流，升级到下线。纵向支持业务流量的全链路管理，从流量接入到服务化调用再到异步化消息，最终完成数据落库。
基于 MSHA 构建的 同城多活、异构应用双活、异地多活等架构，本质上是提供了自上而下的一种流量隔离能力，基于这种能力，我们完全可以做到单元之间的隔离，进而完成一个技术上需要的场景：基础设施的升级（数据库升级、网络升级、应用变更、配置变更等）大的技术架构升级 新技术验证 阿里巴巴每年大促的技术大步演进但又...
来自：
云产品
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
步骤13 查看 GPU节点的私网 IP，并在 CPFS管理节点上使用 cpfs add 192.168.x.x添加节 点 IP。27 FastGPU极速 AI推理 运行 GTC Demo 步骤14 使用 mmlscluster可以查看节点已经添加成功。步骤15 使用 mmlsfs 03dd2792794bf67a-000001-T查看 CPFS默认路径（其中 03ddxxxxx 参考图示的内容获取）。步骤16 在 GPU服务器上使用 ...
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
场景描述 随着容器服务的普及，用户在使用容器服务 Kubernetes时难免会遇到对于容器平台安 全管控的需求，例如如何对权限和资源的管控，如何存储私密数据的信息，如何安全 地访问容器集群的 API Server等，因此结合阿里云容器服务 Kubernetes版（ACK）提供的能力进行相应的容器平台的安全管控实践就比较重要。遇到的痛点：...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
弹性容器实例 ECI：阿里云弹性容器实例(ECI)是免运维的 IaaS层容器组资源交付，提供安全的 Serverless容器运行服务，用户无需管理底层服务器，只需要提供打 包好的 Docker镜像即可运行容器并只为容器实际运行消耗的资源付费。ECI可以 与阿里云容器服务产品(ACK/ASK)无缝兼容，并且跟 Kubernetes的 Pod概念完 全兼容。文档...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
其本 质是建立一套与您的企业相关的，基于资源使用的关系结构。详见：https://www.aliyun.com/product/entconsole 资源组：阿里云账号下进行资源分组管理的一种机制，资源组能够帮助您解决单 个云账号内的资源分组和授权管理的复杂性问题。详见：https://www.aliyun.com/product/entconsole 访问控制：（Resource Access ...
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
SMB/NFS协议访问对象存储 名词解释 名词解释 VPC：专有网络（Virtual Private Cloud），是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和 管理云产品实例，比如 ECS、负载均衡、RDS 等。详见：https://www.aliyun.com/product/vpc 云存储网关：云存储网关...
业务多活容灾解决方案
业务多活，英文Multi-Site High Availability，顾名思义就是业务分布在多个站点且同时对外提供 服务。与传统的灾备的最主要区别就是"多活 "里的所有站点同时在对外提供服务，不仅解决了容灾本身问题，提升了业务连续性，并且实现了容量的异地扩展。
对象存储 OSS 是海量、安全、低成本、高可靠的云存储服务，具有与平台无关 RESTful API，能从互联网任何位置访问.PolarDB 是阿里巴巴自主研发的下一代云原生关系型数据库，让用户既享受到开源的灵活性与价格，又享受到商业数据库的高性能和安全性.容器服务 Kubernetes 版（简称 ACK）提供高性能可伸缩的容器应用管理能力，...
来自：
解决方案
网络安全升级支持IPv6
场景描述 关键信息基础设施支持IPv6已经上升到国家战 略，公共云基础设施为云上客户系统支持IPv6 提供了完整的解决方案及产品。本最佳实践是在 现有WAF和高防IP作为网络安全架构基础上， 如何升级支持IPv6，同时满足云上和线下IDC 需求，满足合规要求。 解决问题 1.网络支持IPv6 2.支持V4和V6双栈 3.满足监管合规要求 产品列表 Web应用防火墙WAF DDoS高防IP DDoS防护包
文章最后一节，也介绍了之前没有网络安全的情况下，然后同时进行网 络安全防护及支持 IPv6；以及之前的网络安全方案中没使用 WAF的情况（比如只用 了高防 IP或 DDoS防护包的情况），如何升级以支持 IPv6。架构图：文档版本：20210830 III 网络安全升级支持 IPv6 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.III 1....
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
阿里云 EMR集群的用户认证和访问授权 本最佳实践重点围绕用户认证和访问授权两方面内容，以 Step by Step的方式构建安 全的业务演示环境。更多的安全主题内容，将在后续进行补充和迭代，敬请关注。1.1.认证（Authentication）身份认证是任何计算环境的基本安全要求，简单来说，用户和服务必须先向系统证明 其身份（身份验证...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
通常会将密钥以环境变量的形式放在服务器上，也是不安全的做法，如果网 站在被拖库的情况下同时被拿到服务器权限，手机号明文最终也会被泄露出去。阿里云提供密钥托管服务 KMS，密钥和加解密动作都在 KMS中进行，这样密钥不会 被泄露；如果数据库被拖库，敏感信息（如手机号）也是密文的。本实践中使用基础环境章节中创建的...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
企业办公安全访问一体化最佳实践 业务架构 场景描述 本场景模拟企业办公环境，基于CSAS服务构建 企业办公安全一体化方案，将“安全+网络”能力 无缝融合，实现了对云下办公终端安全的统一管 理，企业无需在投资复杂且昂贵的传统硬件安全 设备，即可快速构建安全、可靠、低成本的办公 安全防护体系。解决问题 1.企业办公环境...
云速搭部署安全组最佳实践
本实践通过云速搭实现安全组和企业安全组的部署。
帮助您构建更稳定、安全的应用，提升运维效率，降低 IT 成 本，使 您 更 专 注 于 核 心 业 务 创 新。详 见 https://www.aliyun.com/product/ecs 安全组：安全组是一种虚拟防火墙，用于控制安全组内 ECS实例的入流量和出流 量，从而提高 ECS实例的安全性。安全组具备状态检测和数据包过滤能力，您可 以基于安全组的特性和...
- 产品推荐
- 这些文档可能帮助您