SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）、或者IDC等业务数据或应用系统产品的日志数据等，汇总处理后，通过标准的通用的协议Kafka，数据入湖到阿里云SLS日志中心，进行统 一分析和处理。主要步骤：1.通过CADT快速完成SLS数据入湖Kafka最佳实践需要的...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
1、正常版本 apiVersion:apps/v1 kind:Deployment metadata:labels:app:springbootdemo-default name:springbootdemo-default namespace:default spec:replicas:1 selector:matchLabels:app:springbootdemo-default template:metadata:labels:app:springbootdemo-default spec:containers:env:name:JAVA_TOOL_OPTIONS value...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
（函数中的代码在后续需要进入函数计算控制 台补充） vCPU规格：1c（函数计算有多种CPU资源规格，可以根据实际情况自行选择） 内存规格：2048MB（函数计算有多种内存资源规格，可以根据实际情况自行选择） 硬盘大小：512MB（函数计算提供免费的512MB的存储空间，如果超过512MB，会提供10GB的存储空间，但是会有额外...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
单击目标服务，在基础监控区域查看服 务各个版本的流量情况。QPS：该应用各个版本的QPS数据。Errors：该应用各个版本的出错请求数。RT(ms)：该应用各个版本的请求响应耗时。步骤2微服务治理可观测 文档版本：20240429 34基于MSE云原生网关实现全链路灰度最佳实践 在MSE微服务治理的全链路灰度页面，单击目标应用，在QPS数据...
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力，代码提交后可以触发自动构建，并部署应用到SAE，部署完成后，应用自动产生访问域名，外部请求通过域名可以直接访问应用。SAE提供了内置的可观测，灰度，回滚能力，通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云，客户只需要提供代码仓库，后续的CICD，应用访问，弹性管理，运维监控，SAE都提供了内置的集成能力
基于SAE 2.0的一站式 Web服务托管方案 业务架构 场景描述 Web服务在互联网架构中有广泛的应用，通过 SAE提供的一站式方案，可以快速完成 CICD整 个流程，并且通过 SAE的内置能力，可以快速完 成灰度发布，应用观测，异常回滚等能力。应用场景 通过 SAE提供的内置 CICD能力，代码提交后可 以触发自动构建，并部署应用到 SAE...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
直播系统/APP里发起对函数计算的 API 调用，并带上直播流地址。函数计算根据用户发起的请求，动态弹性伸缩，对直播流进行录制。录制结束后，把文件写入 OSS，并发出通知到消息队列 MNS。整个方案中，函数计算的代码实现和详细配置，要在产品控制台上进行，详细步骤参见后续内 容。在函数计算控制台上，基于需要可以在已有...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（函数中的代码在后续需要进入函数计算控制 台补充） vCPU规格：0.35c（函数计算有多种CPU资源规格，可以根据实际情况自行选择） 内存规格：512MB（函数计算有多种内存资源规格，可以根据实际情况自行选择） 硬盘大小：512MB（函数计算提供免费的512MB的存储空间，如果超过512MB，会提供10GB的存储空间，但是会有额外...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
基于 FC实现的 Web端视频录制最佳实践 业务架构 场景描述 解决问题 在很多互娱场景，在线教育领域会有直播视频录制的 解决 Web端全屏录制复杂度高的问题。需求，但是往往一个页面上的内容是多种多样的，不 解决 Web端全屏录制灵活扩展性的问题。止有直播流，可能还有白板，评论等其他元素，如果 只是录直播流，那内容是不...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
apiVersion:apps/v1 kind:Deployment metadata:labels:app:jwt-demo name:jwt-demo namespace:default spec:replicas:1 selector:matchLabels:app:jwt-demo template:metadata:labels:app:jwt-demo spec:containers:env:name:private_key value:>-LwiKz79Mpc2zOm7yEi5+dB15/DPGhDwCPsqO+i9cL8JeGbXDVF/eZrbn9W8hFsLiNoNLiQG...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
填写要做熔断的接口/hellorest，如下图所 示：配置防护规则，设置统计窗口时长（5秒），最小请求数目（1）、阀值类型选（慢调用比例），慢调用RT（3000ms），熔断比例阀值（30%）并开启：文档版本：20240229基于SpringCloud玩转MSE 上图对应的规则：5秒终内只要有10%的请求响应时间超过3S，并且最小请求数目>1就触发熔 断。...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
基于日志服务构建业务可观察性系统 部署架构 场景描述 现在已知的各种监控数据的工具，以及对应的监 控系统有非常多的选择，比如 ZABBIX，Prometheus，Skywalking等。但是这些系统都存 在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用 到很多的辅助设备，仪表盘，行车记录仪，...
Web与移动App云上部署解决方案
Web与移动App云上部署解决方案，方案可轻松在云上部署计算、数据、存储等云服务实现Web/App等互联网核心应用上云，助力企业快速构建互联网弹性高可用的应用架构，提升业务系统的高可靠性，满足未来可灵活的延展性和较低的运营成本 。
适用于有较大业务流量的Web、移动App系统上云，需要保障业务安全稳定运行.高性能支持，负载均衡SLB具有即开即用、超大容量、稳定可靠的特点，云数据库RDS MySQL性能可达MySQL社区版3倍.中型互联网企业。拥有Web、移动App业务的大型传统企业.适用于有阶段性大流量业务的Web、移动App系统上云，需要保障系统的高性能和可用性...
来自：
解决方案
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
文档版本：20210915 49 PTS压测 基于 ALB统一流量调度和监控 5.PTS压测 本章节主要通过 PTS对 orders.api 和 users.api 应用进行流量推送，为后续 SLS监 控提供分析数据。步骤1 登录 PTS控制台（https://pts.console.aliyun.com/），若提示开通服务，单击确认。步骤2 重新进入 PTS控制台，若是新用户，系统提示如下优惠，请...
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云，配置自动化 2. 城域内 Internet 就近接入，快速高效 3. 数据加密传输，满足安全性要求 4. 阿里云控制台统一配置管理
可以在自定义的一个或多个专有网络中快速构建 DNS 系 统，实 现 私 有 域 名 映 射 到 IP 资源地址。详见：https://www.aliyun.com/product/pvtz 文档版本：20211008 III 中小企业基于 SAG APP实现云上移动办公最佳实践 目录 目录 文档版本信息.I 法律声明.II 名词解释.III 目录.1 最佳实践概述.2 前置条件.3 1.环境构建.4 ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
尽可能避免跨库查询：关联查询的数据尽量分散到同一个分片中，跨库查询对系 统性能损耗很大。避免跨分表联表查询的方式有：a)剥离出高频访问的表，与核心表 1:1关系的，进行反范式设计，将核心表加 宽 b)如果与核心表是 N：1关系的，将高频访问字段冗余到核心表中 c)低频访问数据，业务功能设计上，避免一页展示大而全，...
阿里云云原生可观测套件
阿里云云原生可观测套件围绕Prometheus服务、Grafana服务和链路追踪服务，通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。
道旅使用ARMS搭建基于大数据平台的业务实时监控系统，充分发挥数据监控时效性的同时提升IT人员效率.核桃编程使用 ARMS 前端监控体系减少了30%以上的运维工作量，缩短了60%以上的故障定位平均耗时.比邻东方在大型线上课程选课和促销活动之前选用阿里云ARMS产品进行全方面的技术准备，从而顺利完成活动.叫叫阅读通过 ARMS ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您