MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
遇到这类问题请先去控制台人工进行资源清 理后，在 CADT中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单，点击释放全部资源。文档版本：20240426 30 MSE云原生网关解析 body内容进行路由转发 方案验证 步骤3 确认后，需要点击确定按钮。步骤4 需要用户再次确认，点击确定后，如果是主账号会触发风控...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
遇到这类问题请先去控制台人工进行资源清理 后，在CADT中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单，点击释放全部资源。文档版本：20240506 29RocketMQ性能压测快速方案 一键释放资源 步骤3 确认后，需要点击确定按钮。步骤4 需要用户再次确认，点击确定后，如果是主账号会触发风控（手机校验等），...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
sudopodmanrun-d-namees-p9200:9200\-e"discovery.type=single-node"\-e"ES_JAVA_OPTS=-Xms2G-Xmx2G"\-v/data:/usr/share/elasticsearch/data\ elasticsearch:7.17.3 文档版本：20240418 34基于MSE云原生网关同城多活最佳实践 释放环境 步骤4 检查ES部署状态 执行如下命令验证是否部署成功 curlhttp://${Elasticsearch所在...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
持续剖析 持续剖析可以有效发现Java程序中因为CPU、内存和IO导致的瓶颈问题，并且按照 方法名称、类名称和行号进行细分统计，最终协助开发者优化程序、降低延迟、增加 吞吐、节约成本。步骤1 获取ACK集群对应的网段地址。有两种方式任选 方式1：可以通过CADT架构图获取当前的网段信息192.168.0.0/16 方式2：通过terway组件...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
文档版本：20240311 25SAE-ACK应用双跑 场景验证 打开Consumer-SAE工程中的ConsumerService类，将下图中红框部分改为From ConsumeronSAE'request.将Provider工程文件夹复制一份，将两个Provider工程文件夹重命名，Provider-ACK，Provider-SAE。将代码导入常用的IDE（IDEA，VSCode等），打开Provider-ACK工程中的 Provider...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
使用 Java代码方式生成公私钥（可选）JWT 认证鉴权时需要公钥私钥信息，本案例中我们直接通过 jdk 自带的 java.security.KeyPairGenerator工具类生成公私钥，生成的公私钥的测试代码如下：import java.security.KeyPair;import java.security.KeyPairGenerator;import java.security.PrivateKey;import java.security....
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
遇到这类问题请先去控制台人工进行资源清 理后，在CADT中再次释放资源即可。步骤1 打开需要释放的应用 步骤2 打开资源清单，点击释放全部资源。文档版本：20240229 25Kafka性能压测快速方案 方案验证 步骤3 确认后，需要点击确定按钮。步骤4 需要用户再次确认，点击确定后，如果是主账号会触发风控（手机校验等），请按照提...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
遇到这类问题请先去控制台人工进行资源清理 后，在CADT中再次释放资源即可。步骤1 打开资源清单。步骤2 点击释放全部资源。文档版本：20240415 40基于MSE和SAE的微服务部署与压测 场景验证 步骤3 确认后，需要点击确定按钮。步骤4 需要用户再次确认，点击确定后，会触发风控（手机校验等），请按照提示进行操作。步骤5 释放...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
遇到这类问题请先去控制台人工进行资源清理后，在CADT中再次 释放资源即可。步骤1访问云速搭，查看已部署的应用 步骤2点击底部资源清单，可以查看到“释放全部资源”按钮 步骤3确认后，需要点击“确认按钮”：步骤4需要用户再次确认，点击确定后，会触发风控（手机校验等），请按照提示进行操作。文档版本：20240229基于...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
其优点是学习成本低，可以通过类 SQL语 句快速实现简单的 MapReduce统计，不必开发专门的 MapReduce应用，十分适 合数据仓库的统计分析。EMR：阿里云 E-MapReduce(EMR)是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上 使用开源技术建设数据仓库、离线批处理...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
如下图所示，公网访问的实现路径：云服 务暴露 Internet公网服务入口，用户通过 EIP出公网，走公共互联网访问目标服务。使用 PrivateLink实现 VPC私网访问有如下优点：流量不会离开阿里云私网，大大减少数据泄露可能性 同可用区转发，时延更低，抖动更小 支持访问带宽和安全组访问控制 无需担心地址冲突，简化网络管理 应用...
大数据workshop
大数据workshop
系统架构设计 下图为所设计的系统架构设计，主要包括数据源（两类业务数据：用户行为日志和 业务后台数据库）、日志采集、日志传输、实时计算、数据存储和同步、数据展现 这几大模块共同构成实时大数据数据仓库。注：对于 DIM（维度层）的维度数据可以主要使用 MySQL、HBase、Hologres三种 存储引擎。对于维表数据比较少的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
在配置页面输入 path搜索，设置图中两个字段为 true，即优先使 用作业中的类，并保存配置。文档版本：20211203 52 SLS多云日志采集、处理及分析 创建 Hadoop集群（spark）步骤3 保存配置。文档版本：20211203 53 SLS多云日志采集、处理及分析 创建日志服务 8.创建日志服务 说明：本文为了模拟他云日志写入日志服务，日志...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute支持 SQL、MapReduce、UDF（Java/Python）、Graph、基于 DAG的处理、交互式、内存计算、机器学习等计 算类型及 MPI迭代类算法。大幅简化了企业大数据平台的应用架构，具有强数据安 全、低成本、免运维、极致弹性扩展等特点。MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
vi/etc/profile 在文件末尾加入以下内容：export JAVA_HOME=usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/to ols.jar export PATH=$PATH:$JAVA_HOME/bin 3.使新增的全局变量生效。source/etc/profile 4.确认安装成功...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
yum install-y java java-1.8.0-openjdk-devel.x86_64 ssh slave1"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave2"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave3"yum install-y java java-1.8.0-openjdk-devel.x86_64"步骤5 下载并解压缩 Hadoop 2.10.1文件包。1.下载软件包，下面两...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
下载安装之后默认的目录为：/usr/lib/jvm/，查看目录：根据实际情况来配置环境变量，如下示例(注意先查看自己当前的版本替换 java home路径，下面实例的版本可能和你安装的不一致)：JAVA_HOME=usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$...
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
支持将所有的应用服务全部展示在拓扑图中，同时根据应用服务之间的调用关系进行串联，从而渲染出覆盖全部应用服务及其之间调用关系的全景拓扑。每个节点还支持快捷展示黄金指标.可视化展现应用关键指标、上下游依赖组件等关键信息，即时掌握应用总体健康情况.立体展示应用、服务、主机健康状况，应用上下游依赖关系。快速...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您