SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
文档版本:20240428 11SLS数据入湖Kafka最佳实践 部署基础环境 应用计价成功后,CADT实时生成一个应用架构成本分析报告,可以单击查看报告。步骤13 如果确认价格符合预期,可以单击下一步:确认订单。确认订单阶段会列出架构中所有的产品及其价格,需要用户确认无误后勾选接受《云 速搭服务条款》,此时下一步:支付并创建...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
文档版本:20240418 11通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 部署基础环境 应用计价成功后,CADT会实时生成一个应用架构成本分析报告,可以单击查看报告。步骤13如果确认价格符合预期,可以单击下一步:确认订单。确认订单阶段会列出架构中所有的产品及其价格,需要用户确认无误后勾选接受《云 速搭服务条款》...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
新版技术解决方案聚合页
在客户上云过程中,针对通用技术问题,提供一系列阿里云产品组合的解决方法、实施方案,且可实践、可一键部署。
创意加速:AI 绘画创作展示如何利用通义万相 AIGC 技术提高创意效率、实现图像生成,包括文本到图像、人物写真创建。从 HTTP 到 HTTPS 让网站更安全在 ECS 部署 SSL 证书开启 HTTPS 安全访问,实现防篡改、服务端身份验证等,保证请求全链路的数据访问安全。技术解决方案热门搜索:AI 数据库 数据分析 最佳实践 容灾 安全...
来自: 解决方案
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
解决问题 IDC业务系统搬迁上云 云上构建业务系统 部署安全系统 产品列表 最佳实践频道 阿里云最佳实践生态群 弹性公网 IP 负载均衡 SLB 专有网络 VPC 云服务器 ECS 对象存储 OSS 文件服务 NAS 云数据库 RDS 云数据库 PolarDB 云架构设计工具 CADT Web应用防火墙 SSL证书 云防火墙 云服务器 ECS(产品名称)文档模板(手册...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
根据客 户业务,可以选择不能规格 。云防火墙 高级版;包年 边界防护、网络层访问控制、IPS、网络流量审计。云安全中心 高级版;包年 入侵防范、主机侧恶意代码防 范,应用层安全审计。堡垒机 20实例版本,包月 运维授权及审计、双因子认证。数据库审计 专业版3实例;包月 数据库审计,特别是自建数据库 的审计。文档...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
数据安全数字证书管理服务(原SSL证书)免费试用为网站和移动应用(APP)及小程序提供数据 HTTPS 加密协议访问,保障数据的安全。加密服务基于硬件加密机提供云上数据加解密服务,满足国内监管要求,提供国密算法能力,并且满足国际FIPS 140-2/3的安全合规监管要求。密钥管理服务一站式密钥管理和数据加密服务平台、一站式...
来自: 云产品
混合云多云统一安全
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云,但想使用阿里云公共云的安全服务;或 者业务系统部署在多个云平台上,想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务,统一管理阿 里云、IDC和它云的资产; 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
产品列表 云安全中心 堡垒机 数据库审计 高防 IP Web应用防火墙 证书服务 日志服务 VPN网关 阿里云最佳实践分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 阿里云 混合云多云统一安全 最佳实践 文档版本:20200630 文档版本:20150122(发布日期)II 混合云多云统一安全 文档版本信息 文档版本信息 文本信息 属性...
来自: 最佳实践 | 相关产品:日志服务(SLS),Web应用防火墙,数据库审计,堡垒机,SSL证书
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
说明:Apache 日志发生器生成日志信息的速度可以通过修改 app.rb 文件中的 conf[:rate]实现,默认的配置为 99或者 100之间的随机整数,该值只在程序启动时 读取一次,之后程序运行过程中保持不变。如果修改了该值,则需要修改后先停止、然后再启动日志发生使之生效。文档版本:20210714 15 自建Hadoop数据迁移到阿里云 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
步骤3 Apache日志生成器产生的日志如下所示,共有 9个字段:58.60.168.164-[07/Jan/2016:09:09:43+0800]"GET/HTTP/1.1" 200 11250 "-" "Mozilla/5.0 (Windows NT 6.1;Win64;x64)AppleWebKit/537.36(KHTML,like Gecko)Chrome/47.0.2526.106 Safari/537.36"文档版本:20210721 16 自建Hive数据仓库跨版本迁移到阿里云 EMR ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
迁移完成后,使用队列管理 UI 和 Cloudera Manager Advanced 配置片段(安全 阀)手动调整 fs2cs转换实用程序生成的配置。3.3.5.1.fs2cs 转换工具的 CLI 选项 fs2cs 转换工具的 CLI 选项列表:文档版本:20211029 113 CDH迁移升级 CDP最佳实践 组件迁移 选项 描述-d,-dry-run 执行转换的试运行。输出是否可以转换。f,-...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK部署,通 过 ARMS监控发现微服务应用的容错能力是否 健壮,容器编排配置是否合理,以及节点故障引 发的问题等,方案通过 AHAS故障注入模拟 产环境产生的故障,通过 ARMS及时发现问题、定位问题,并结合 ARMS的告警功能快速...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
验证无密钥登录并设置 hadoop各节点的主机名 ssh master2 exit ssh slave1 exit ssh slave2 exit ssh slave3 exit 1.5.loggen操作 步骤1 通过 SSH登录 ECS,启动日志发生 cd/opt/bigdata/loggen./start_log_generator.sh 步骤2 验证日志生成情况:./view_access_log_records.sh Ctrl+C退出 步骤3 添加定时任务:定时重启...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
4.2.2.创建企业 IDC的 VPN网关和隧道 企业 IDC中通常在防火墙或路由上开启 IPSec VPN功能,具体操作请参阅设备说 明。本最佳实践中仅以 FlexGW IPSec VPN为例进行演示。步骤1 通过 https://ecs.console.aliyun.com/?#/server/region/cn-hangzhou 登录杭州区域的 ECS实例控制台,记录 FlexGW服务器的公网地址:步骤2 在...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
说明:由于 Kerberos成名已久,在本最佳实践方案中对其的描述,是作者综合并理解 了互联网上多处公开信息汇总而,旨在使用者更好的理解 Kerberos相关概念和工作 方式。1.3.1.Kerberos基本术语 首先提供一张相关术语表:术语 描述 Key Distribution Center,密钥分发中心,启用 Kerberos的环境中身份验证的可信 KDC 来源。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
(2)在环境搭建过程中分配公网 IP地址仅 用于 SSH登录和必要的软件包下载,在环境搭建完 之后,建议释放部分公网 IP地址。安全组 使用默认安全组,并勾选 80,443,22,3306,9200,5601端口 系统配置 登录凭证 自定义密码 登录密码 按要求设置登录密码。说明:记录下设置的登录密码,后续登录要用到。确认密码 再次输入...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
数字证书管理服务(原SSL证书
阿里云为您提供证书服务,在云上签发DigiCert、GlobalSign、GeoTrust、CFCA、WoSign证书,实现网站HTTPS化,使网站可信,防劫持、防篡改、防监听。并对云上证书进行统一生命周期管理,简化证书部署,一键分发到云上产品。
数字证书管理服务(原SSL证书).数字证书管理服务集云上SSL证书生命周期管理和数字证书应用为一体的SAAS服务。该服务具备签发、管理服务器证书和各类终端证书的能力,同时提供云上证书自动化应用部署的解决方案,便于客户轻松实现数据传输加密和信源加密,保障数据安全.多云部署能力发布:支持腾讯云 及 AWS多款云产品部署...
来自: 云产品
Exchange Server云上部署最佳实践
Exchange Server云上部署最佳实践
阿里云提供基础设施服务,能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署,可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
阿里云提供 SSL证 (服务端和客户端),且均支持 ECC、RSA 或 SM(国密)三种加密方式。详 情请参见:https://www.aliyun.com/product/cas 文档版本:20220119 IV Exchange Server云上部署最佳实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置条件.4 1.资源环境部署.5 2.部署域控制和 ...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,NAT网关,SSL证书,云速搭CADT
< 1 >
共有1页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用