- 相关产品：
- 数字政府解决方案 传媒智能内容生产解决方案 影像云解决方案
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
基于日志服务构建业务可观察性系统 部署架构 场景描述 现在已知的各种监控数据的工具，以及对应的监 控系统有非常多的选择，比如 ZABBIX，Prometheus，Skywalking等。但是这些系统都存 在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用 到很多的辅助设备，仪表盘，行车记录仪，...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
调整系统参数可 能涉及数据库重启生效，请谨慎操作。步骤1 返回到 CADT 控制台（https://bpstudio.console.aliyun.com/ ），在架构图中双击 ECS实例对象，点击 前往控制台。文档版本：20220506（发布日期）20 云上高并发系统改造 RDS数据库初始化 步骤2 登录运维服务器。注意：构造和导入测试数据耗时较长，为防止远程连接...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
函数计算为您准备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性 能监控和报警等功能。对象存储 OSS：对象存储 OSS，是海量、安全、低成本、高可靠的云存储服务。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性扩 展，多种存储类型供选择全面优化存储成本。容器镜像服务 ACR（Alibaba ...
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
丰富的预置集成组件，覆盖阿里云、开源主流监控系统.支持短信、电话、钉钉、邮件、飞信等多种通知方式，同时也支持对接aone/jira/pagerduty等多种协同系统.支持多种告警策略，如通知策略、升级策略、静默策略、抑制策略等，其中通知策略支持通过定义事件匹配规则，对告警事件进行精准识别，满足一类告警通知策略的统一配置....
来自：
云产品
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
2017.10.1执行的《民用运输机场安全保卫设施》(MH/T7003-2017）做了如下要求：要求新、改、扩建视频监控系统应采用高清摄像机；通常至少，码流。1.1080P 4Mb/s 2.要求视频监控系统要符合GB/T28181《安全防范视频监控联网系统信息传输、交换、控制技术要求》，包 括停车场区域也要实现联网整合；摄像头要支持ONVIF协议。3....
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
2.2 引擎规格 1核2G 集群节点数 3 网络类型 专有网络 公网带宽 0 实例监控 可观测监控Prometheus版 节点 属性 配置 说明 开通产品 应用实时监控服务 arms 默认 服务规格 试用版 节点 属性 配置 说明 实例名 PTS压测包 商品类型 按量抵扣资源包 资源包类型 基础版 PTS压测包 最高虚拟用户(VU)5万 VUM 3万 购买时长 预付费/按...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
文档版本：20211008 7 Function Compute计算搭建前端 CICD系统 环境搭建 步骤4 替换代码以及 oss 和 AK参数后,单击保存并部署。步骤5 打开触发器页签，保存路径,后续第 2章节需要用到。文档版本：20211008 8 Function Compute计算搭建前端 CICD系统 环境搭建 步骤6 开通日志服务，便于查看后续函数调用过程中的日志。文档...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
分区数：每个规格有默认免费赠送的分区，最少赠送 1000 分区，这里是当赠送的分区 数不够时，额外购买的设置项，根据实际情况填写。部署实例-版本：开源 Kafka 的版本，阿里云 Kafka 目前支持 2.2.0，2.6.2，这里选择 2.6.2。创建 Topic：u Topic 名称：根据实际业务自行填写。u Topic 描述：根据实际业务自行填写。u 分区...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
性能压测.51 文档版本：20210806（发布日期）1 Function Compute构建高弹性大数据采集系统 最佳实践概述 最佳实践概述 概述 当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系 统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游 戏运营，产互行业中的数字营销，...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的文件。详见 https://cn.aliyun.com/product/nas 对象存储 OSS：海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处 理能力弹性扩展，多种存储类型供...
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
c.mapreduce.job.maps参数为 500，teragen生成数据参为 100000000，mapreduce.job.reduces参数为 1000；d.yarn集群 memory2.1TB,vcore560。1.1.2.测试方法 连续运行 3次 TeraGen&Terasort测试，收集测试结果。1.1.3.指标 a.Teragen“Total time spent by all map tasks”耗时每次都不能超过 xxx毫秒；b.Terasort“Total ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
如“基于SpringCloud应用玩转MSE”步骤4 模板中资源大部分参数已经按照资中的规划配置完成，双击对应产品图标核对产品参 数细节。需要关注及修改的包括：1.首次使用ACK无法选择ECS节点，先问ack控制台并进行授权 2.ACK的ECS需要单独调整登录密码 3.SLS需要调整Project名称 文档版本：20240229基于SpringCloud应用玩转MSE ...
通过云速搭创建具有IPv6地址的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实，以及工业互联网、物联网、5G 等前沿技术的快速发展，各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业，提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景，提供一键部署模版，进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
产品 配置 备注说明 云速搭（CADT）预置模板 可根据预置模板按需进行相关参 数的修改 VPC与交换机 地域：上海 本次示例通过 CADT 新建 VPC名称：vpc-qa-ipv6 VPC和交换机建议不需要修改。VPCIPv4网段：192.168.0.0/16 也支持导入已有资源，调整后，需 选择分配公网 IPv6地址 要进行存量资源导入。2408:4002:1039:b00:/56 ...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
可以监控系统性能、控制 网络配置、管理系统升级和系统安全管理。 审计管理员：是针对本系统执行审计管理操作。其中，系统管理员和系统审计员需要由安全管理员开通，且只能通过数据库审计实例 的公网IP地址访问系统。步骤1 单击实例下的配置，在公网访问控制选择白名单访问模式，在配置白名单里填入本机 IP。文档版本：...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
高效的办公协同能力解决多端数据协同问题围绕钉钉、企微、飞书等 OA 系统深度的场景集成应用，从看数预警、诊断决策、行动督促，帮助企业构建一体化的业务参谋中心，助力多管理层级高效决策协同。安全和开放的企业级能力解决多业务系统集成问题通过低代码实现高效的嵌入式分析，开放数据服务拓展企业数据消费场景。Quick BI...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
可对接企业内部统一监控告警系统（prometheus）.动态修改作业的配置，无需启停即可对配置进行在线调整.对常见问题提供智能化诊断和快速日志定位分析.常见问题给出调优或者修改建议.连动自动调优能力帮助用户定位问题.原厂运维服务兜底，SLA 99.9%保证.全链路自动容错能力，支持 JobManager 容错.提供单点快速容错能力，灵活...
来自：
云产品
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
大数据近实时数据投递 MaxCompute 最佳实践 业务架构 最佳实践 解决问题 场景描述 混合云环境下，现有业务系统零改造，打通数据 本文介绍离线大数据场景使用 MaxCompute构建云 上云链路。上近实时数仓，打通云下数据上云链路，解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题，满足高级数据...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
此外，请密切监控和调整升级后的资源使用情况。部分属性无法转换 例如：FairScheduler可以使用 minResource和 maxResource选项。但是，由于 集成管理器 UI 不支持绝对资源，fs2cs 工具在转换过程中会忽略原有的 maxResources配置。这意味着，在自动转换之后，Capacity Scheduler队列都会 具有 100％的 maxResources。在升级...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
文档版本：20201020 43 基于 Dataworks的大数据一站式开发及数据治理 数据治理 步骤4 添加规格，比如本例监控错误数的波动情况，如果波动上升进行报警，即错误率飙升 的时候给我们报警，进一步查询错误原因。步骤5 可以先试跑测试数据规则。步骤6 关联调度，每次调度后都会检测数据规则。步骤7 添加 hive_log节点进行关联，...
大数据workshop
大数据workshop
系统架构设计 下图为所设计的系统架构设计，主要包括数据源（两类业务数据：用户行为日志和 业务后台数据库）、日志采集、日志传输、实时计算、数据存储和同步、数据展现 这几大模块共同构成实时大数据数据仓库。注：对于 DIM（维度层）的维度数据可以主要使用 MySQL、HBase、Hologres三种 存储引擎。对于维表数据比较少的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
- 产品推荐
- 这些文档可能帮助您