基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
本案例已经将代 码集成到相关镜像中，因此大家只需要根据本章节步骤，在容器中配置相关的环境变 量即可完成 Trace采集配置。不 同 的 语 言 接 入 方 式 不 同，详 细 可 以 参 考文档：https://help.aliyun.com/document_detail/208894.html 3.2.1. 添加配置参数 步骤1 登录 Kubernetes控制台...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
另一部分需要将数据写入 OLAP系统，经过多维分 析给业务方使用。5.数据挖掘：从历史中预测未来一直是人类的梦想，对公司来说，能对未来趋势作出 正确的判断才能基业长青。机器学习就是通过历史数据对未来进行预测的一种手 段，可以使数据发挥最大的作用。6.业务系统：经过处理的数据，可直接服务于相关业务方，如运营、决策...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
阿里云最佳实践分享群 产品列表 VPC、Flink、Kafka、RDS、EMR 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 开源Flink迁移 实时计算 Flink全托管版 最佳实践 文档版本：20211222 文档版本：20150122（发布日期）II 开源 Flink迁移实时计算Flink全托管版 文档版本信息 文档版本信息 文本信息 ...
大数据workshop
大数据workshop
BI分 析，整个过程中使用到通过 VPC、ECS、RDS、Flink、DataHub、DTS、Hologres、QuickBI和 DataV等资源，本章通过 CADT工具部署资源。本实例架构图:文档版本：20210628（发布日期）9 阿里云最佳实践大数据 WorkShop 最佳实践项目实践（注：CADT暂不支持创建实时计算 Flink集群，下一章节将通过页面创建）需要注意：使用 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
Serverless图片分类和身份证过滤
场景描述 场景一：大型图库智能管理通过深度学习算法，自动识别图像中的常见的场景，客户可以基于函数计算对接智能媒体管理的图像识别功能，轻松实现图片的自动管理和分组，完成大型图像库的智能管理。 场景二：身份证图片过滤 通过扫描存储在OSSbucket中的图片，通 过智能媒体管理进行身份证识别，找到海量图片中的身份证图片，对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
文档版本信息 文档版本信息 文本信息：属性 内容 文档名称 Serverless图片分类和身份证过滤 文档编号 009 文档版本 V2.4 版本日期 2020-01-20 文档状态 外部发布 制作人 弦望 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/01/31 弦望 明中、敬海 创建 V1.1 2019/02/21 弦望 游圣 增加成本估算 V1.5 2019/...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
MaxCompute 交互式分析（Hologres）是为大数据设计的实时交互式 分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进 行高并发、低延时的分析处理，兼容PostgreSQL协议，可以使用您最熟悉的BI 工具对海量数据进行自助的多维分析透视和业务探索，同时也支持超高QPS点查 能 力，满 足 数 仓 分 析、服 务 一...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
文档版本信息 文本信息 属性 内容 文档名称 企业构建统一 CMDB数据源 文档编号 224 文档版本 V1.0 版本日期 2021-08-27 文档状态 对外发布 制作人 七凌、遥方、瀚涛 审阅人 厉博 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-08-27 七凌、遥方、瀚涛 厉博 创建 文档版本：20210827 I 企业构建统一 CMDB数据源 ...
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
SAP S/4HANA上云最佳实践 云部署架构 方案概述 本实践以 SAP S/4HANA上阿里云的场景 为原型，阐述了如何通过 CADT在阿里云 上快速交付符合最佳实践的基础云架构。其他适用的 SAP产品 SAP S/4HANA SAP Suite on HANA SAP BW/4HANA SAP NetWeaver on HANA 方案涵盖内容 1、云架构设计 2、云资源选型 3、CADT一键部署资源 4、...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
20150122（发布日期）II 在线教育流量洪峰最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 在线教育流量洪峰 文档编号 191 文档版本 V1.0 版本日期 2021-01-20 文档状态 对外发布 制作人 久诚 审阅人 敬海 昭泰 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-01-20 久诚 长春 敬海 昭泰 创建 ...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
步骤2 设置查询的时间范围（本例为 4小时，可以根据实际需求灵活调整），在搜索框中输入 查询代码，点击查询/分析：*and event.serviceName:OSS and event.eventName:GetBucketLocation 说明：查询代码格式为：*and event.serviceName:and event.eventName:本例中将 替换为 OSS，替换为 GetBucketLocation。步骤3 单击统计...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
行动策略：主要是通知渠道的设定、分派，除了支持非常丰富的通知渠道如：短信、语音、邮件、Webhook、企业微信、钉钉、Slack、飞书等，还支持强大的用户组、值班组、轮岗代班等功能。2.2.添加用户 步骤1 登录 SLS控制台（https://sls.console.aliyun.com/lognext/profile），单击用 CADT创建 好的 SLS实例：sls-bp235。步骤...
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
大数据系统基准性能测试 最佳实践 部署架构图 场景描述 本方案适用于大数据系统基准性能测 试的场景，这里以 Terasort&Teragen 测试，以及 TestDFSIO测试，来衡量 大数据系统的基准能力。解决问题 1.使用 CADT快速构建大数据系统 测试环境 2.进行 Terasort&Teragen 3.进行 TestDFSIO测试 产品列表 EMR 云服务器 ECS 云速搭 ...
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
SpringCloud应用托管到 ACK服务 最佳实践 部署架构图 场景描述 本实践适用于将 SpringCloud应用托管到 ACK 服务的场景中，创建容器服务 ACK后，利用 Helm 一键部署 SpringCloud应用，将 SpringCloud应 用托管到容器服务 ACK。解决问题 将 SpringCloud应用托管到容器服务 ACK 产品列表 容器服务 ACK 云服务器 ECS 云速搭 ...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
本例中根据投递到 Kafka的数据结构编写 的 UDTF核心代码如下：MAP List 文档版本：20240419 37 大数据近实时数据投递 MaxCompute Struct 可通过调整 data_for_p 的时间转换格式实现动态分区，本实例中按天分区。完整示例代码库通过以下命令下载。文档版本：20240419 38 大数据近实时数据投递 MaxCompute git clone ...
阿里云最佳实践容器workshop
通过本篇最佳实践，可以熟悉容器及k8s的基本操作。基于eci的高弹性架构，能有效的应对业务流量洪峰，同时提升资源使用效率。
阿里云ACK容器服务workshop 文档版本信息 阿里云 云原生应用 workshop 最佳实践 文档版本：20220301（发布日期）文档版本：20220301（发布日期）I 阿里云ACK容器服务workshop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 阿里云 ACK容器服务 workshop 文档版本 V2.4 版本日期 2022-03-01 文档状态 对外发布 ...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
基础配置：说明：因为 7.0以下版本的需要指定 mapping的 type，7.0以上版本默认为_doc，这 一点在创建索引的脚本代码中有所区别，本实践用的是 7.0以上的版本。配置项 说明 付费模式 按量付费 选择服务 阿里云 Elasticsearch 通用商业版 7.10 场景初始化配置 通用场景 配置完成，单击下一步：集群配置。文档版本：20210517 ...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
Function Compute 实现弹性音视频处理系统 最佳实践 架构图 场景描述 本示例通过 Function Compute 部署一个高弹 性高可用的音视频处理系统。尤其适合视频网站 使用，每天有大量的上传视频，需要及时转码处 理以适配各种终端及网络条件，要求短时间内准 备大量的计算资源进行大规模并行转码处理，同 时希望基于 FFmpeg自建...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
本示例提供了一套基于 NVIDIA的 RAPIDS Demo代码及数据集修改的示例代 码，演示了在 GPU实例上使用 RAPIDS加速一个从 ETL到 ML Training端到 端任务的过程。其中，ETL时使用 RAPIDS的 cuDF，ML Training时使用 XGBoost。本文示例代码基于轻量级大数据框架 Dask运行，为一套单机运行的 代码。2 文档版本信息：20191209 ...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 AK防泄漏最佳实践 文档编号 142 文档版本 V1.2 版本日期 2022-02-11 文档状态 发布 制作人 游士 审阅人 云魁、宋宇 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-02-12 云滴 云魁、宋宇 创建 V1.1 2020-02-17 筱晖-文档工程师优化 V1.2 2022-02-11 游士-...
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
利用 Elasticsearch高可用性和易用性，能够快速处理网站/APP丢给它的文 本、数字、日期、IP 以及地理数据。本文提供全流程完整的 Demo演示，可作为客户、架构师 PoC验证使用。应用范围 互联网行业、电商行业等网站、App、小程序应用内搜索场景。可扩展到各类网站搜索场景使用。名词解释 专有网络 VPC：Virtual Private ...
- 产品推荐
- 这些文档可能帮助您