SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
配置VPC 对等连接.19 3.SLS中配置Kafka数据入湖.21 3.1.SLS中配置Kafka数据导入.21 3.2.SLS中配置Kafka入湖的高级配置（公网访问）.24 3.3.SLS中验证Kafka入湖.28 4.ECS中应用数据投递到Kafka.30 4.1.ECS中压测数据投递到Kafka.30 4.2.Kafka中查看ECS脚本的数据投递.33 4.3.SLS中查看ECS-Kafka-SLS 的数据入湖.34 5.SAE容器...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
步骤4 在创建 SSL客户端证书侧边页，完成以下配置，并单击确定。名称：自定义，本实践设置为 r_vpn_client。SSL服务端：选择在 2.3.创建 SSL服务端中创建的 r_vpn_srv。步骤5 SSL客户端证书创建成功，单击操作列下的下载，SSL客户端证书下载后保存为文件 certs.zip。文档版本：20200220 13 云端影视渲染 通过 VPN建立网络...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
通过本地 hosts，将 proxy EIP解析为 Wordpress应用域名 ws001.lustre.site，配置方 法：MacOS系统直接修改/etc/hosts文件 Windows系统设置方法参见 https://developer.aliyun.com/article/430078 浏览器直接访问 http://ws001.lustre.site/ 应能正常返回 nginx 默认 web主页信息。刷新页面，确认页面内容由 web_1、web_2...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
按照本节操作，成功配 置白名单后，就只能被WAF的IP地址访问。创建访问控制策略组 步骤1 登录Web应用防火墙管理控制台。（https://yundun.console.aliyun.com/?p=wafnext#/waf/cn/manage/domain/list）步骤2 网站接入页面，单击Web应用防火墙回源IP网段列表。文档版本：20220210 8传统企业业务上云基础安全防护 Web应用...
负载均衡
阿里云负载均衡（Server Load Balancer，简称SLB）是云原生时代应用高可用的基本要素。通过对多台云服务器进行均衡的流量分发调度，消除单点故障提升应用系统的可靠性与吞吐力。阿里云SLB包含面向4层（TCP/UDP）的传统型负载均衡CLB和面向7层（HTTP/HTTPS/QUIC）的应用型负载均衡ALB，是阿里云官方云原生网关。
超强的4层处理能力与大规模SSL卸载功能 聚焦TCP、UDP和TCPSSL协议 面向网络层交付.基于NFV虚拟化平台，支持弹性伸缩 单实例最大支持1亿并发连接.丰富4层特性，千万级TCP SSL卸载、基于监听限速支持连接风暴抑制、全端口监听、安全组等.支持云原生业务场景，与阿里云ACK/SAE/K8S等容器服务结合使用.场景1:四层大流量高并发...
来自：
云产品
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
高级的文件服务器配 置，请在 服务器管理器 的 文件和存储服务 中配置。文档版本：20201210 74 远程办公-AD管控下的弹性云桌面最佳实践 场景 3：云下 IDC中的 AD与弹性云桌面集成 文档版本：20201210 75 远程办公-AD管控下的弹性云桌面最佳实践 场景 3：云下 IDC中的 AD与弹性云桌面集成 4.2.使用 IPSec-VPN将杭州和上海的...
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
SSL 根据实际业务情况配置。本实践不需要 SSL加密，选择无。服务器私有 IP地址查看方法：41 企业上云实践 虚拟化远程桌面架构的云上部署|创建并部署文件服务器 在身份验证和授权信息向导页，根据下表说明进行配置，并单击完成。类别 配置项 说明 身份验证 匿名 勾选 基本 勾选 授权 允许访问 选择指定角色或用户组。ftptest...
云数据库 RDS MySQL版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
解决问题：依赖第三方同步工具为了解决MySQL到ClickHouse数据同步配置复杂、维护复杂的问题，往往会引入第三方同步工具，但也带来较高的同步成本以及工具维护成本。相关产品云数据库 RDS MySQL 版本产品云数据库 ClickHouse专有网络 VPC一键部署实时同步RDS与Redis构建缓存一致性通过RDS MySQL+DTS+Redis的架构，实现RDS ...
来自：
云产品
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
本最佳实践中以 Apache 2.EMR服务的 Kafka和 Hadoop集群中 Web服务器日志为例，演示基于 Kafka和 Hadoop Kerberos相关配置和使用方法。的生态组件构建日志大数据仓库，并介绍在整个数 3.Ranger中添加 Kafka、HDFS、Hive和 据流程中，如何通过 Kerberos和 Ranger进行认证 Hbase服务和访问策略。和授权的相关配置。4.Flume...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
普通安全组 规则 ingress 允许 全部 ICMP/-1/-1 目标 IP 0.0.0.0/0 规则 ingress 允许 自定义 TCP/SSH（22）目标 IP 0.0.0.0/0 EMR 类别 配置项 说明 集群 集群名称 EMR-cluster-hangzhou 集群类型 HADOOP 产品版本 EMR-3.22.4 付费类型 后付费 实例选型配 实例数量 1 置 Master 当前机型 ecs.hfg6.xLarge 实例 系统盘配置 ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
EMR-security-group 类型 普通安全组 规则 ingress 允许 全部 ICMP/-1/-1 目标 IP 0.0.0.0/0 规则 ingress 允许 自定义 TCP/SSH（22）目标 IP 0.0.0.0/0 EMR 类别 配置项 说明 集群 集群名称 EMR-cluster-hangzhou 集群类型 HADOOP 产品版本 EMR-3.22.4 付费类型 后付费 实例选型配 实例数量 1 置 Master 当前机型 ecs.hfg6...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
ssh root@{utility节点公网 ip} 由于 replication manager部署在工具节点上，需要添加 CDH和 CDP的 host解析配 置。Host信息可以在 CDH和 CDP的控制台查看(CDP同时配置长域名和短域名)。chattr-i/etc/hosts echo"192.168.10.205 master">>/etc/hosts echo"192.168.10.207 slave1">>/etc/hosts echo"192.168.10.208 slave2">...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK部署，通 过 ARMS监控发现微服务应用的容错能力是否 健壮，容器编排配置是否合理，以及节点故障引 发的问题等，方案通过 AHAS故障注入模拟生 产环境产生的故障，通过 ARMS及时发现问题、定位问题，并结合 ARMS的告警功能快速...
智能标签
智能标签，是通过对视频中视觉、文字、语音、行为等信息进行分析，结合多模态信息融合及对齐技术，实现高准确率内容识别，自动输出视频的多维度内容标签，将非结构化信息转化为结构化信息。可应用于视频智能分析、视频审核、视频搜索、视频个性化推荐，助力视频智能生产。
同时支持通过VPC来获取更高程度的网络访问控制.SQL Server实例访问链路支持SSL加密，杜绝中间人攻击行为；支持开启透明数据加密（TDE)，数据落盘自动加密，远离拖库风险.SQL Server支持SQL审计功能，记录所有访问源和访问行为信息。对所有安全及故障事件做到有据可查.根据视频多模态融合理解结果，结合媒体标签体系，对视...
来自：
云产品
企业多账号配置统一合规审计
面向企业的各中心管理团队提供一种面向多账号的合规管理方案。从上而下的实施统一的合规基线并强制管理，可中心化的持续监测所有业务的合规状态。提升中心管理团队工作的可见性可控性，切实起到监管效力，规避潜在风险。
立即部署 55分钟 免费（资源目录、配置审计均为免费产品）资源管理 配置审计 云服务器 ECS 云企业网 Web应用防火墙 对象存储 应用场景 技术方案的广泛应用场景 高效实施企业内控基线 企业为保证经营活动的有序运行，保障IT服务的稳定性和合规性，通常会对IT服务制定相关管控措施，来进行监督和审计。法规及行业标准预检 ...
来自：
技术解决方案
灵活配置，高效执行，快速集成分布式任务调度
企业级应用中经常会遇到数据定时处理、文件处理、报表生成等定时处理的任务，对于任务配置和执行率有较高要求，本文介绍如何利用SchedulerX来实施企业级定时任务的调度与管理，为定时任务提供高效、稳定和灵活的解决方案。
企业级应用中经常会遇到数据定时处理、文件处理、报表生成等定时处理的任务，对于任务配置和执行率有较高要求，本文介绍如何利用SchedulerX来实施企业级定时任务的调度与管理，为定时任务提供高效、稳定和灵活的解决方案。灵活配置，高效执行，快速集成分布式任务调度 企业级应用中经常会遇到数据定时处理、文件处理、报表...
来自：
技术解决方案
- 产品推荐
- 这些文档可能帮助您