通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口，支 持客户将日志采集到日志服务后，仍可以继续沿 用Elasticsearch的查询方案，即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口，实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
如果想要查看代码的详细运行日志，需要在 TAB 页 中切换到“调用日志”并点击“一键启用”，后续新的请求就能看到代码的详细运行日志，感兴趣的可以开启体验，会涉及一部分日志费用（集成的阿里云日志服务 SLS），本次实 操略过该步骤。文档版本：20240422 27 基于函数计算实现自定义直播-拉流-录制-存储-通知 环境搭建 ...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
选择我的阿里云镜像->镜像服务个人版，选择上述2.1中创建的命名空间 sae-ack-doublerun，找到java-sc-consumer-sae镜像，选择对应的v1版本。然后点击确 文档版本：20240311 30SAE-ACK应用双跑 场景验证 定。步骤3 下滑找到发布策略设置，发布策略选择分批发布。步骤4 下滑找到服务注册发现配置，选择基于Nacos注册中心服务...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
SAE能够让您免运维 IaaS和 K8s，秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用（例如 Web、微服务、Job任务）到 SAE，并自动伸缩实例按使用量计费，开箱即用日志、监控、负载 均衡等配套能力。云速搭 CADT（Cloud Architect Design Tools）：是一款为上云应用提供自助式云 架构管理的产品，显著地降低应用...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
多活验证 云原生网关可根据后端集群的工作负载数及健康状态动态的调整流量，下文简单演示 两个集群工作负载数量对等部署情况下集群出现异常时云原生网关自动切流效果。步骤1 通过 CADT跳转云原生网关控制台获取云原生网关对外的入口地址 在网关入口地址可以获得公网 IP地址，请记录地址。步骤2 在笔记本电脑上准备验证脚本 ...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
按照 2.5节的方式分别在日志机器组的两台 ECS实例开启日志发生器，等待数分钟 后停止 文档版本：20211203 76 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤15 查看日志库日志 回到日志服务控制台，选择创建的日志库 test20191009，可以看到日志机器组的日 志已经传递到日志服务：文档版本：...
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
文档版本：20210915 58 CADT一键释放测试环境 基于 ALB统一流量调度和监控 7.CADT一键释放测试环境 步骤1 上述测试完成后，登录 CADT控制台，单击应用>我的应用，找到 2.2.通过 CADT 部署资源部署的应用，单击编辑架构图。步骤2 展开底部的部署清单，单击释放全部资源。文档版本：20210915 59 CADT一键释放测试环境 基于 ...
企业多账号环境下的安全资源统一管控最佳实践
某地产公司在上海、杭州设有两个分公司，公司使用阿里云支撑各分公司的 IT 业务系统，这些系统由各分公司独立负责，包括独立负责云上业务账号的创建、员工权限的分配管理、资源的购买、IT 风险的管控、安全管理等。由于公司业务发展较快，各分公司创建了非常多的业务账号来承载新的业务，每个业务账号独立管理，带来了非常大的管理问题。人员权限管理混乱，离职员工在云上的身份梳理不清难以及时清理造成极大的安全隐患；账号权限过大、使用弱密码可能造成账号被盗数据泄露；公司内部缺乏统一的合规基线和安全管控，各业务系统各自为政，数据泄露、业务中断、安全入侵风险升级。 为了提升云上的管控效率和安全性，总公司成立新的信息安全中心和阿里云对接。信息安全中心的定位是统一采购安全产品，集中保障云上资源的安全性。
使用 RAM，您可以创建、管理 RAM用户（例如员 工、系统或应用程序），并可以控制这些 RAM用户对资源的操作权限。当您的企 业存在多用户协同操作资源时，使用 RAM可以让您避免与其他用户共享云账号密 钥，按需为用户分配最小权限，从而降低企业信息安全风险。详见：...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
比如日志中的数据，可通过日志采集等工具被实时上报到消息队 列 Kafka中；数据库中的数据，可通过数据传输服务 DTS被实时数据同步到消息 队列 Kafka中。3.数据加工：消息队列收到的原始数据，往往存在格式不齐或内容不全，需要经过数 据清洗（ETL）之后，才能更好的被下游业务使用。而整个 ETL过程，是实时数 仓架构设计上...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
文档版本：20210802（发布日期）91阿里云最佳实践金融大数据WorkShop 利用QuickBI进行展示 步骤11到我的数据集下查看，已经有了省份分析的数据集，继续单击新建数据集。步骤12继续单击新建数据集，选择数据库shop_a，拖动trade_sku_d到编辑框。步骤13将ds转换为时间维度。文档版本：20210802（发布日期）92阿里云最佳实践...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
企业面对内部的运维问题，如疑似 AK泄露、异常的停机宕机、计划外的资源增删、违法员工操作盘查、故障排查、资源生命周期追溯、异地登录、异常操作、高危操 作等，需要依赖审计日志进行排查和分析。文档日期：20210726 48 云上持续审计合规最佳实践 操作审计 3.1.1.前序工作 创建资源目录：请按照资源管理最佳实践中 2.1至 ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
实例优化 在开发和测试环境，我们往往能够通过停机不收费的方式，大大节约资源，降低成本，比如非工作日、每日下班时间，都可以通过脚本或者定时任务将云服务的资源进行停 机操作，本实践将以 ECS的停机不收费来练习。2.1.停机不收费 停机不收费功能可以在保留云服务器 ECS 的前提下回收部分资源，从而降低整体费 用。支持...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
第一个函数调用第二个函数 目前两个函数都创建好了，下面的工作就是由第一个函数接收到数据后拉起第二个函 数发送消息给 Kafka。我们只需要对第一个函数做些许改动即可。步骤1 进入函数计算控制台，找到我们创建的服务下的 fun01这个函数，需要在函数详情页在 线编辑 Python代码，代码修改如下：#-*-coding:utf-8-*-import ...
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施，集团 旗下有多个分公司（如制造分公司和销售分公 司），各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴，拟达到以下 业务目标： 1. 各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建，分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
开启 SLS日志服务 步骤1 创建跟踪之前，需要先登录日志服务控制台，开通日志服务。（https://sls.console.aliyun.com/）若 SLS已开通，可跳过该步骤。3.3.4.创建操作审计跟踪 步骤1 登录 操 作 审 计 控 制 台 跟 踪 列 表 页 面，单击创建跟踪（https://actiontrail.console.aliyun.com/cn-hangzhou/trail-list ）。文档...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
步骤1 登录 CADT控制台，在应用>我的应用页面，找到这个 flink-yitian应用，单击查看 架构图。步骤2 打开资源清单，单击释放全部资源。文档版本：20230801 21 MRACC加速倚天 ECS实例 Spark集群性能 一键释放资源 步骤3 确认后，需要点击确定按钮。步骤4 需要用户再次确认，点击确定后，如果是主账号会触发风控（手机校验等...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
Filebeat 可以监听指定的日 志文件或位置，从中收集日志事件并将其转发到 Elasticsearch或 Logstash进行索引，本实践采用 Filebeat收集 game-server的日志，并转发到 kafka。步骤1 在 ECS服务器上面，下载 Filebeat,为了兼容消息队列 kafka版本，推荐下载 filebeat-6.4.0-linux-x86_64：wget ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
Flume Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日 志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机 制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单 的可扩展数据模型，允许在线分析应用程序。文档版本：20200330 IV 自建Hadoop数据迁移到...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
文档版本：20210803（发布日期）17阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 重要提示：这里的工作空间名称（上图标记的⑤）后面需要用到，请打开电脑的记事本，记下此 名称，参考如下图：3.1.3.控制台开通DataV和QuickBI 请在对应产品控制台开通DataV和QuickBI产品，过程不再赘述。注：第一次使用可以选择个人...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
说明：这个 case下由于我在 DLF里面创建了其他数据库，所以和 EMR集群的数据 库不一致，实际是正常的。2.4.元数据服务切换到 DLF 步骤1 为了避免在迁移过程中元数据发生变化，建议在业务低峰期时先停止 HiveServer2和 Hive MetaStore，再进行切换(在正式开始迁移之前，建议先拿测试库跑所有流程，没 文档版本：20220125 24 ...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
验证信息审核一般需要 3至 5个工作日。14.3.使用准备好的免费证书 因为签发证书需要 3-5工作日，为了顺利完成演示，需要提前准备一个免费的证书，适用于*.lustre.site域名。免费的证书不能被浏览器验证签发单位，所以浏览器上显示 的 https是红色的；使用正式的商业证书时是绿色的。步骤1 登录 SSL证书控制台。...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
- 产品推荐
- 这些文档可能帮助您